待舟中更無旁人，顧炎武等這才又再申謝當年相救的大德。韋小寶謙遜一番，跟著說起吳六奇和陳近南先後遭害的經過，眾人相對唏噓不已。
顧炎武道：「江湖上流言紛紛，都說韋香主貪圖富貴，戕師求榮。呂兄、查兄和兄弟幾人，卻知決計不確。想我們三人和韋香主素不相識，韋香主竟肯甘冒奇險，殺了吳之榮那廝，救得我們性命，以這般義薄雲天的性情，怎能去殺害恩師？」
查繼佐道：「我們聽江湖上朋友說起此事的時候，總是竭力為韋香主分辯。他們卻說，韃子皇帝聖旨中都這樣說，難道還有假的？可是韋香主身在曹營心在漢，種種作為也不能跟外人明言。自來英雄豪傑，均須任勞任怨。以周公大聖大賢，尚有管蔡之流言，何況旁人？因此韋香主也不必放在心上。」韋小寶聽不懂他說什麼周公管蔡，只有唯唯諾諾。
呂留良道：「韋香主苦心孤詣，謀幹大事，原也不必在這時求天下人諒解。只要最後做了驚天動地的大事業出來，大家自會明白先前是錯怪了你。」
韋小寶心想：「我會有什麼驚天動地的大事業做出來？啊喲，不好，他們又是來勸我行刺皇上。怎麼跟他們來個推三阻四、推五阻六才好？我得先把門兒給閂上了。」說道：「兄弟本事是沒有的，學問更加沒有，做出事來，總是兩面不討好。兄弟灰心得很，這次是告老還鄉，以後是什麼事都不幹了。」
呂毅中見他年紀比自己還小著一兩歲，居然說什麼「告老還鄉」，忍不住「嗤」的一聲，笑了出來，顧炎武等也都覺得好笑，相顧莞爾。
黃梨洲微笑道：「韋香主英雄年少，前途不可限量。無知之徒的一時誤會，那也不必計較。」韋小寶道：「這個較是要計一計的。黃先生，你做了一部好書，叫做……叫做明……明阿姨什麼什麼花花綠綠的？」黃梨洲大為奇怪：「這人目不識丁，怎會知道我這部書？」說道：「是《明夷待訪錄》。」韋小寶道：「是了，是了。你這部書中講到有個美貌姑娘，叫做明明阿姨嗎？又有許多話痛罵皇帝的，是不是？」
黃梨洲等都吃了一驚，均想：「連這人都知道了，只怕又是一場大大的文字獄。」
顧炎武道：「也不是罵皇帝。黃兄這部著作見解精闢，說明為君之道，該當如何。」
韋小寶道：「是啊。皇上這些日子中天天讀黃先生這部書，不住贊你做得好，呱呱叫，說不定要請你去做狀元，做宰相。」黃梨洲道：「韋香主取笑了，哪有此事？」韋小寶於是將康熙如何大讚《明夷待訪錄》一事說了，眾人這才放心。黃梨洲道：「原來韃子皇帝倒也能分辨是非。」
韋小寶趁機說道：「是啊。小皇帝說，他雖不是鳥生魚湯，但跟明朝那些皇帝比較，也不見得差勁了，說不定還好些。他做皇帝，天下百姓的日子，就過得比明朝的時候好。不過做人嘛，總歸愛自稱自贊，兄弟沒學問，沒見識，也不知道他的話對不對。」
顧查黃呂四人你瞧瞧我，我瞧瞧你，想起了明朝各朝的皇帝，自開國的明太祖直至末代皇帝崇禎，若不是殘忍暴虐，便是昏庸糊塗，比之康熙，人人天差地遠。他四人是當代大儒，熟知史事，不願抹煞了良心說話，不由得都默默點頭。
韋小寶道：「所以啊。皇帝不太壞，天地會眾兄弟更是好的。皇帝要我去滅了天地會，我決計不干。天地會眾兄弟要我去行刺皇帝，我也決計不干。結果兩邊都怪我，兄弟左思右想，只好告老還鄉了。」
顧炎武道：「韋香主，我們這次來，不是要你行刺皇帝。」韋小寶喜道：「那好得很，只要不是行刺皇帝，別的事情兄弟義不容辭。不知四位老先生、兩位小先生有什麼吩咐？」顧炎武推開船窗，向外眺望，但見四下里一片寂靜，回過頭來，說道：「我們來勸韋香主自己做皇帝！」