，容貌已毁，不能见陛下，惟愿陛下多多关照昌邑王和我的哥哥、弟弟。”汉武帝坚持想看一看，甚至不惜以赏赐黄金及封赠她的兄弟官爵作为交换条件，但她仍执意不肯，只是独自啜泣。武帝只好走了。
汉武帝离开后，李夫人的姐妹们都埋怨她。李夫人叹气说：“我本出身微贱，皇帝眷恋我，只因平时容貌而已。现在他如果看见我没有平时漂亮，必然心生嫌恶，惟恐弃之不及，怎么会在我死去后照顾我的儿子和兄弟？”
几天后李夫人去世。
李夫人拒见武帝，非但没有激怒他，反而激起他无限的痛苦，他将李夫人用皇后礼安葬，命画师将她生前的形象画下来挂在甘泉宫，思念之情日夕递增，对她的儿子钟爱有加，对她的哥哥和弟弟也都极力提拔重用。
有一天武帝去了昆明池，昆明池东西各立一个石人：一是牵牛，一是织女，做成天河的样子。时值秋日，武帝坐在小船中，见夕照西斜，景色凄凉，不禁触事怀人，想到李夫人生前的种种好处，于是自做新词一首，名《落叶哀蝉曲》。
武帝出来游昆明池，本为散闷解颐，谁知反添了许多新愁，于是回到延凉室中休息。他觉得很疲倦，睡眼之间，忽见一人袅袅走进。原来竟是李夫人，她手携一物，赠与武帝，并说：“这是蘅芜香。”武帝忽然惊觉，回忆刚才的梦境，历历如在眼前。又闻到一阵香气，芬芳经久不息。他记起李夫人梦中所赠的香，到处摸索却找不到。但是枕席衣襟，却不知怎么沾染了香气，因此改延凉室名为“遗芳梦室”。
武帝怀思转切，召来一个方士，让他在宫中设坛招魂，好能与李夫人再见一面。于是在晚上点灯烛，请武帝在帐帷里观望，摇晃烛影中，隐约的身影翩然而至，却又徐徐远去。武帝痴痴的看着那个仿如李夫人的身影，凄然写下：“是邪？非邪？立而望之，偏何姗姗来迟。”原来深海里有潜英之石，颜色发青，且轻如毛羽，天气寒冷石头却是温的，当暑热时反而变冷。把这种石头刻成人像，可以说话，方士将石像置于纱帐里，宛若李夫人生时。但因石头有剧毒，不可接近，只可以在远处观望。
汉武帝直到年近六十时，还迷恋上了十七岁的赵钩弋，以满足其难填的欲壑。
赵钩弋是河间人。相传汉武帝北巡河间，看见空中有青紫色的雾气，他询问术士，术士说这地方必定有奇女子。于是武帝派人挨家查访，果然有一个赵家少女，长得艳丽绝伦。但有一件怪事，她从出生时两手就拳曲不开。有人告知武帝，武帝亲自去验看，果然如此，于是命从人试图解开赵钩弋紧握的双手，却没有一个人可以扳开。待武帝亲自去解，赵钩弋那紧握着的两只手却慢慢展开，手中握着一个碧绿的玉钩。武帝大为惊异，于是将赵钩弋载入后车，带回宫中。当即特地建了一间宫室，让她居住，号为钩弋宫。封赵钩弋为夫人，称作钩弋夫人。
一年后，钩弋夫人怀孕，但十四个月后才生下一个男婴，汉武帝对此很高兴，因为传说古圣人尧，就是在娘胎十四个月才生出来的。武帝盛爱之下，决定立为太子，又担心这个小太子将来管不了他年轻聪明的母亲，就找借口指责钩弋，钩弋委屈而莫能申辩，叩头谢罪，但武帝主意已定，下令处死。
惟才是举，知人善任
汉武帝在位的54年，是中国历史上少有的一个人才盛世，群星灿烂，各尽其能。他们辅佐雄才大略的汉武帝，造就了不朽的历史功业。
为了加强中央集权，武帝在执政期间，曾先后八次下诏征选贤能良才。中间虽曾一度出现人才济济的局面，这和他兴办官学、广开仕途、注重奖惩、因材授职的人才政策是分不开的。
汉武帝即位后对汉初的用人政策作了大刀阔斧地调整，汉初用人看重资历，担任一定的官职还要有相应的财产