刘备不是一个好色之徒，因此对他的情爱生活史书记载极少，但孟子还说“食、色，性也。”意思是食欲和性欲都是人体的本能，刘备也不例外，只有在情色上才可以见到刘备的另一面。
刘备的夫人沛国人甘氏是三国时代著名的美女之一。刘备起兵后在豫州小沛纳甘氏为妾。刘备好几个嫡妻先后丧生，甘夫人便以嫡妻的身份摄掌内事。后来随刘备到了荆州依附刘表，生下儿子阿斗(即后来的蜀后主刘禅)。
曹操大军在当阳长阪追到刘备一行，刘备丢下老婆孩子一个人跑了。全靠赵云的保护，甘夫人才幸免于难。当初桃园结义的时候张飞与关羽都杀了自己的妻子跟随刘备，那句有名的“朋友如手足，妻子如衣服”的话就是刘备说的。可见在他眼里妻子不过是随时脱随时换的衣服鞋子一类的东西，所以此时抛下甘夫人一个人逃命符合刘备的性格。
甘夫人生于微贱的家庭，幼小的时候乡里会看相的说：“这个女孩子此后贵不可限，当位极宫掖。”等她长大后体貌与一般女子不同。十八岁的她玉质柔肌、态媚容冶，刘备将她召致白绡帐中，在户外观望，甘氏就如同月下凝聚的白雪一样。河南有献媚刘备的人送给刘备一支高三尺的玉人，刘备把这个玉人放在甘夫人的身边，常常在夜晚叫甘夫人脱光衣服，与旁边的玉人作比较。他白天与谋臣谈论军国大事，夜里就抱着甘夫人玩弄那个玉人，自己还常说：“玉之所贵，比德君子。况且雕凿为人形，而难道可以不玩么?”
甘夫人与玉人洁白温润没有二致，看见的人都分不清哪一个是甘夫人哪一个是玉人。嬖宠者不仅仅妒忌于甘后，也妒忌那个玉人。甘夫人常想将玉人毁去，她对刘备说：“以前子罕不以玉为宝，春秋上赞美他。现在吴魏未灭，怎么能玩物丧志呢?凡是淫惑生疑的东西，不要再拿进来。”刘备听从了甘夫人的话，撤下玉人再也不玩了，取嬖者见没有机会可趁都退靠后了。当时的君子议论以为甘夫人是位神智清醒的夫人。
