平刚巧有件事，也许使他看了袭人格外有点感触。
吴世昌著“从高鹗生平论其作品思想”──载文史第四辑──内有：“高鹗在戊申中举前似乎还有一妾（？）和他离异，自去念佛修行。‘砚香词’的末一首‘惜余春慢’显然即指此事。原词曾有涂改，照录如下：
春色阑珊，东风飘泊，忍见名花无主。钗头凤拆，镜里鸾孤，谁画小奁眉妩？曾说前生后生，梵呗清禅，只侬（原作‘共谁’）挥尘。恰盈盈刚有，半窗灯火，照人凄楚。
那便向粥鼓钟鱼，妙莲台畔，领取蒲团花雨？兰芽忒（原作‘太’）小，萱草都衰，担尽一身甘苦。漫恨天心不平，从古佳人（原作‘红颜’），总归黄土。更饶（原作‘纵凭’）伊槌（原作‘打’）破虚空，也只问天无语。
此妾大概原为乐户或女伶（‘名花’），［按名花通指妓女，倘称女伶为名花，恐怕会被打嘴巴子。］在高家还生下了孩子（‘兰芽忒小’），又要伺候高鹗的衰迈老母（‘萱草都衰’），大概也是受不了痛苦（‘担尽一身甘苦’）才离开他的。据本书末所附的‘砚香词校记’，知‘惜余春慢’词下原有标题‘畹君话旧，作此唁之，’知此女名畹君，与高鹗结识已久。离异以后，他还常去找她。集中有一首‘唐多令’的小题是：‘题畹君话箑’，其下片全是调笑之词。另有一首‘金缕曲’，原稿上有被重钞此词的纸片所掩盖的题记：
不见畹君三年矣。戊申秋隽，把晤灯前，浑疑梦幻。归来欲作数语，辄怔忡而止。十月旬日，灯下独酌，忍酸制此，不复计工拙也。
词中说畹君是他‘故人’，呼她为‘卿卿’。又说，‘一部相思难说起，尽低鬟默坐空长叹。追往事，寸肠断。’下片似乎说畹君要他‘重践旧盟’，使他十分为难，以致回家以后，还在‘怔忡’。另有一首‘南乡子’，题为‘戊申秋隽喜晤故人’，中有：‘今日方教花并蒂，迟迟！’等语，即指‘金缕曲’中与畹君相晤之事。又有‘临江仙’，题为‘饮故人处’，也是艳情，则此‘故人’亦即畹君。‘遗稿’七律‘幽兰有赠’：‘九畹仙人竟体芳，托根合傍沅湘’，似亦赠畹君。（注：‘兰’、‘畹’意义相关，系从‘离骚’‘余既滋兰之九畹兮’一语而来。）”
畹君在高家“担尽一身甘苦”，似乎中馈乏人，只有这一个妾操持家务。高鹗一七八一年死了父亲与妻子，一七八五年续娶张船山妹。这该是丧妻后续弦前的四年间的事。出来是否与续弦有关？
在那个时代，婚前决不会先打发了房里人，何况已经有了孩子。想必是她自己要走。“兰芽忒小。孩子那么小，大概进门不多几年，极可能在前妻死后。高鹗那时候是个不第秀才，教读为生。青楼中人嫁给一个中年塾师，也许是图他没有太太，有一夫一妻之实。也许答应过她不再娶。因此一旦要续弦，她就下堂求去。
“钗头凤拆”句用陆放翁故事，显指与婆婆不合，以致拆散夫妻。这位高老太太想必难伺候，畹君的地位又低，前妻遗下子女成行，家里情形一定复杂，难做人。姨太太当家，倒像拙著“怨女”里面，不过那姨太太本是母婢，这是外来的妓女，局面的爆炸性可想而知。“萱草都衰”显然不止他一个母亲，畹君方面也有父母靠她，想必也要高鹗养活，更是一条导火线。
也甚至于高太夫人也像“怨女”内的婆婆，用娶填房媳妇作武器，对付子妾，老闹着要给儿子提亲。刚巧有这张家愿意给，因为家境太坏，做填房可以省掉一副嫁妆。十八岁的能诗少女，从前的读书人大概谁听了都怦然心动，也难怪高鹗禁不起诱惑。
吴世昌推测畹君是因为带孩子伺候婆婆太辛苦，“（‘担尽一身甘苦’）才离开他的”，仿佛是他死了太太，家务都落在她一个人身上，操劳过甚而求去，适得其反。