琏入吏部，二人也认为不妥，此举不但引起了东林党内讧，还授阉党以柄；此外对东林党一些人排除异己的做法，二人也一直持有异议，他俩对近年来大批的文官投入魏阉怀抱的怪事，一方面鄙视他们毫无骨气，另一方面也做了反思，东林中确有人一党独尊，譬如在鉴定人品时，以与东林厚薄为标准，且树敌过多。稍微与东林看法不同的，便被视为邪党，必排斥出朝，造成的结果是使那些信奉有奶便是娘的官员齐聚魏阉门下。这中间黄尊素特别提到了赵南星，他指出侪鹤先生掌吏部失之过激，圈子画的太小，恩怨太明，性子又刚愎。黄曾对李应升说过“过激容易生变！” ，今果不其然 ？李应升赞同的说，其实依附东林的，并不完全是君子；攻东林的也并非一定是小人，他引用一个局外人说过的一句话“一入其党（指东林），而贪可为廉 ？” ，借此说明确有一些投机分子混在东林党中。当赵高杨左陈五大臣被撵出朝廷，东林大势已去，黄李二人曾聚在一起叹息，黄尊素讲道：“每事必尽忠告，无奈诸君子不听 ？”李应升说：“追论往事，我二人也多此告戒，眼下的结局是天时人事互相促激而成。我党难脱其中的失误？……”
黄尊素在桥头眺望多时，才瞅见李应升沿着姚江乘船而来。三十二岁的李应生一上岸，便回头指着水势湍急的蓝溪，###的说“活像一条小百龙 ！”两个人一面朝村里走去，一面谈笑着，诗人李应升说：“还是你这里好！你看这水多清亮，能让人忘记烦恼，还能引发诗思。”黄尊素含笑问：“你这个诗人闲居无事，又有不少佳作吧 ？”李应升神色有些黯然，说：“哪有心思写诗，一想起杨左魏大中袁化中的音容，我心中就沉甸甸的。”
二人进了黄家，落座后，黄尊素忙指挥妻子上酒上菜，黄指着盘中的一条大黄鱼说：“这是今早网上的，你尝个新鲜。此地离宁波不远，宁波有道菜叫‘彩熘黄鱼’，就是这个！”说完他满满给李应升倒上一杯酒。席间，李应升谈起被免职后的情形，说自己扁舟南下，五月才回到常州府江阴家中，如今自己足不入城，在乡间建了个书房叫“落落斋” ，闭户静休，日子倒也过得闲适，有父子兄弟之乐，也有读书饮酒之欢。黄尊素笑吟吟说“彼此彼此 ！”
接下来李应升叹了口气，说：“廓园（魏大中号）死矣，如此清廉之士，冤哉 ！如今风波未息，我二人许诺的虎丘、西湖一游，不知何时兑现 ？”黄尊素若有所思，随口答了一句：“但愿太平无事！”紧接着二人谈到了“驿路传诗”的雅事。黄是先期遭劾离朝，他预知李应升不久也要出京，便在回江南途中的驿舍墙上留诗，与李应升唱和，今日二人重逢忆起这段往事，不禁又感慨一番。
吃过饭，开始喝茶，黄尊素对李说：“那弹劾你我的曹疯子，在疏中说你我在一乡则乱一乡，在天下则乱天下，真高抬了我俩？哈，在乡乱乡这话只有曹孟德（曹操）足以当之，我辈自愧良多呀 ！”
李应升说：“白安（黄的大号），你知道吗，那曹钦程今年正月也被停职了！”
黄尊素惊讶的问：“竟有此事 ？”
李应升告诉黄尊素，那曹钦程最是无耻，自参倒你我后，逢人便说“我做此好事，吏部为何不升我官？” ，后冯铨命吏部升他做了太仆卿。这曹疯子日夜都泡在魏忠贤家中，卑谄之极。就连他的同类，那些“五虎”“五彪”“十狗”也都瞧不起他，最后连魏阉也烦了他，把他赶走了。曹临行前，给魏阉叩头说：君臣之义已绝，父子之恩难忘。白安你听听，他可真是个万世不复的奴才！
黄尊素听了，脸上露出鄙夷的神情，他语气略带深沉，说：“如今是妇寺窃柄，淫刑滥赏，忠良惨祸。历朝国家将败，未有不起于小人倾害君子，而我朝不同，是权阉和谄附的外廷官员结合起来残害君子，我担心