甘夫人生于微贱的家庭，幼小的时候乡里会看相的说：“这个女孩子此后贵不可限，当位极宫掖。”等她长大后体貌与一般女子不同。十八岁的她玉质柔肌、态媚容冶，刘备将她召致白绡帐中，在户外观望，甘氏就如同月下凝聚的白雪一样。河南有献媚刘备的人送给刘备一支高三尺的玉人，刘备把这个玉人放在甘夫人的身边，常常在夜晚叫甘夫人脱光衣服，与旁边的玉人作比较。他白天与谋臣谈论军国大事，夜里就抱着甘夫人玩弄那个玉人，自己还常说：“玉之所贵，比德君子。况且雕凿为人形，而难道可以不玩么？”甘夫人与玉人洁白温润没有二致，看见的人都分不清哪一个是甘夫人哪一个是玉人。嬖宠者不仅仅妒忌于甘后，也妒忌那个玉人。甘夫人常想将玉人毁去，她对刘备说：“以前子罕不以玉为宝，春秋上赞美他。现在吴魏未灭，怎么能玩物丧志呢？凡是淫惑生疑的东西，不要再拿进来。”刘备听从了甘夫人的话，撤下玉人再也不玩了，取嬖者见没有机会可趁都退靠后了。当时的君子议论以为甘夫人是位神智清醒的夫人。

　　刘备从陶谦手里接管了徐州之后，用糜竺、陈登为辅佐。袁术自接邻的扬州起兵与刘备争夺徐州。建安元年吕布袭取徐州的治所下邳，守将张飞嗜酒误事，刘备的家眷都陷落在城里。刘备溃退到广陵收集败兵散卒，以图后举。糜竺与陈登辗转找到了刘备，糜竺原来是一个商人，家产十分丰厚。糜竺在广陵遇到刘备，刘备问及自己的家眷，糜竺说还在下邳城里。刘备丢了城池失去了甘夫人，弄得两手空空，无奈只有叹息一番。

　　糜竺有一个年已及笄的妹妹，长得很美艳。为了安慰刘备，他便将妹妹送给了刘备，并将家产倾囊而出充作军资。刘备正是穷困潦倒的时候，好像天下掉下一个馅饼，不仅使危军复振，而且还得到一个美女相伴。他写信给吕布请他送还家眷，互释嫌疑。吕布只是为了得到徐州的地盘，与刘备本来没有什么个人恩怨，便了得做个人情，将家眷送还了刘备，并且还格外开恩让没有地方安身的刘备驻扎在徐州的小沛。

　　甘夫人回来后，却发现刘备战场失意情场得意，又娶了一个小妾。不过她没有表现出不快的神情，古代男子三妻四妾本来是很平常的。甘夫人与糜夫人相见后寒暄了一番，然后暗中彼此偷偷打量对方，再将自己与对方做了一番比较。不过这是妻妾心中的小波澜，外人不得而知。

　　虽然吕布归还了甘夫人，但是刘备与吕布已经互生嫌怨。建安三年春，吕布派人去河内买马，半路上被刘备将马匹都抢走了，吕布正好没有借口，便遣部将高顺、张辽率兵攻打小沛。刘备知道自己的力量不支，飞书向许都的曹操求救。曹操立刻派遣夏侯惇领兵往援小沛。