次日天明，張三丰攜同周芷若，與常遇春、張無忌分手。
無忌自父母死後，視張三丰如親祖父一般，見他就要離去，不由得淚如泉湧。張三丰溫言道：「無忌，乖孩兒，你病好之後，常大哥便帶你回武當山。分別數月，不用悲傷。」無忌眼淚仍不斷涌流。周芷若從懷中取出一塊小手帕，給他抹去了眼淚，對他微微一笑，將手帕塞在他衣襟之中，這才上岸。
無忌目送太師父帶同周芷若西去，見周芷若不斷回頭揚手，直走到一排楊柳背後，這才不見。他霎時間只覺孤單寂寞，淒涼傷感，忍不住又哭了起來。
常遇春皺眉迨：「張兄弟，你今年幾歲？」張無忌哽咽道：「十二歲。」常遇春道：「好啊，十二歲的人，又不是小孩子了，哭哭啼啼的，不怕丑麼？我在十二歲上，已不知挨過幾百頓好打，從來不作興流半滴眼淚。男子漢大丈夫，只流鮮血不流眼淚。你再妞兒般地哭個不停，我可要拔拳打你了。」
張無忌道：「我是捨不得太師父才哭，人家打我，我才不哭呢。你敢打我便打好了，你今日打我一拳，他日我打還你十拳。」常遇春一愕，哈哈大笑，說道：「好兄弟，好兄弟，這才是有骨氣的男子漢。你這麼厲害，我是不敢打你的。」張無忌道：「我手上半點力氣也沒有，你為什麼不敢打？」常遇春笑道：「我今日打了你，將來你跟著你太師父學好了武功，這武當派的神拳，我挨得起十拳麼？」張無忌「哈」的一聲，笑了出來，覺得這個常大哥雖相貌兇惡，說話倒也有趣。
常遇春雇了一艘江船，直放漢口，到了漢口後另換長江江船，沿江東下。那蝶谷醫仙胡青牛所隱居的蝴蝶谷，在皖北女山湖畔。常遇春是淮河沿岸人氏，熟知路途。
長江自漢口到九江，流向東南，到九江後，便折向東北而入皖境。兩年之前，張無忌曾乘船溯江北上，其時有父母相伴，又有俞蓮舟同行，旅途中何等快活，今日父母雙亡，自己淒悽惶惶地隨常遇春東下求醫，其間苦樂，實有天壤之別。他生怕常遇春發怒罵人，雖然傷感，卻不敢流淚。身上寒毒發作時又痛楚難當，他咬牙強忍，只咬得上下唇傷痕斑斑，而陰寒侵襲，日甚一日。
到得集慶下游的瓜埠，常遇春舍舟登岸，雇了輛大車，向北進發，數日間到了鳳陽以東的明光。常遇春知道胡師伯不喜旁人得知他隱居所在，待行到離女山湖畔的蝴蝶谷尚有二十餘里地，便打發大車回去，將張無忌負在背上，大踏步而行。
他以過去經歷，只道這二十餘里路轉眼即至，豈知他身中番僧的兩記陰掌，內傷著實不輕，只走出里許，便全身筋骨酸痛，氣喘吁吁地步履維艱。張無忌好生過意不去，道：「常大哥，讓我自己走吧，你別累壞了身子。」常遇春焦躁起來，怒道：「我平時一口氣走一百旱路，也半點不累，難道那兩個賊和尚打了我兩掌，便叫我寸步難行？」他賭氣加快腳步，奮力而行。但他內傷本就沉重，再這般心躁氣浮地勉強用力，只走出數十丈，便覺四肢百骸的骨節都要散開一般，他兀自不服氣，既不肯放下張無忌，也不肯坐下休息，一步步向前挨去。
這般走法，那就慢得緊了，行到天黑，尚未走得一半，而且山路崎嶇，越來越難走。挨到了一座樹林之中，常遇春將張無忌放下，仰天八叉地躺著休息。他懷中帶著些張無忌吃的糖果糕餅，兩人分著吃了。休息了半個時辰，常遇春又要趕路。張無忌極力勸阻，說在林中安睡一晚，待天明了再走。常遇春心想今晚就算趕到，半夜三更地去驚吵胡師伯，定要惹他生氣，只得依了。兩人在一棵大樹下相倚而睡。
睡到半夜，張無忌身上寒毒又發作起來，劇顫不止。他生怕吵醒了常遇春，一聲不響，強自忍受。便在此時，忽聽得遠處有兵刃相交之聲，又有人吆喝：「往哪裡走？」「堵住東邊，逼他到林子中去