洪武三十一年中秋节后，吴杰收到了辽王让他“便宜行事”的指示。
他当时还没闹明白什么是“便宜”，直到见到张辅邀请他一起撤回辽东，才知道辽王和朝廷闹翻了。
“安陆侯，朝廷忘恩负义，咱们一起回辽东吧。”
“这……我好不容易整合好广东、广西和交趾三地水师，刚刚组建好南海舰队，海南岛的港口还没有建好。如果现在拍屁股走人，前面的努力恐怕都要打水漂了。”
“难道你忘了辽王殿下对你的知遇之恩？”
“我只是觉得，交趾刚刚平定，还需要海军的支援。”
“我想起来了，你现在是朝廷任命的南海舰队司令，不再归辽东管了。”
“张将军不要笑话我了。辽王深明大义，让我便宜行事，恐怕早就对此有考虑，让我留守交趾。”
“好吧，人各有志，不能强勉。但是我和其他兄弟们要回辽东，你不会反对吧？”
“不会的。我让马欢带领最大的“天鹅城号”战舰和几艘补给舰跟你们回辽东吧。等交趾彻底平定，我会把其他军舰也还给辽东的。”
当张辅邀请他一同退回辽东的时候，吴杰确实感到十分为难。
在经历一阵内心痛苦斗争后，只好让张辅带领主要舰只撤离交趾，自己率其余中、小舰只仍然留在交趾下龙湾和海南岛一带。
即使如此，海军官兵还是人心惶惶，有的家人在辽东，有的更相信辽王，有的觉得辽东的待遇更好，时不时有人找机会溜回了辽东。
不到一年的功夫，离开辽东这个平台后，吴杰的南海舰队维修保养、弹药补充、人员训练都成了问题，最后只剩下“金州号”和“辽阳号”两艘中型军舰充门面，其余都是义州号之类的小舰只。
南海舰队也就是风光了一年，又从深海大龙虾变成了浅水小虾米了。
辽王离京之后，建文帝很是惊慌了一阵子。
后来见太上皇并未过多斥责，辽王也只是派人送来一首看似看破红尘世事的《临江仙》，辽东军也未敢上门兴师问罪，他慢慢稳住了心神，想起了自己的身份：大明天子，而天子是不受指责的。
没过几天，京城里头又闹起了满城风雨。
“大家听说了没有，新皇帝逼走了功高震主的辽王爷！”
“我还听说，辽王爷的船走到丹徒就莫名其妙沉了。说不定就是新皇帝派人悄悄把那船凿了个窟窿，想谋害辽王爷。”
“好在咱们辽王爷能神机妙算，又有夜行神器，早从陆路回到了辽东。”
“……”
驻守京城的京军羽林前后两卫有不少骨干出自辽东军，对辽王是相当的崇拜，闻讯后群情激昂，纷纷要求调回辽东。
建文帝只好找来齐泰商量对策。
“齐泰，最近外面都在传言说朕谋害辽皇叔。朕听说京军不少原来的辽东千户、百户们也要出走啊？”
“陛下，那些传言都是无稽之谈。羽林卫有几十位骨干眼中只有辽王，没有陛下，特别是那个叫慕华的指挥佥事，职位最高，闹得最凶。”
“你堂堂兵部侍郎就没有办法吗？”
“臣建议先把慕华抓起来法办。还有张辅目无朝廷，竟然未经请旨，擅自带领辽东军撤离交趾，回辽东了。臣建议褫夺张辅爵位，交兵部和吏部议处。”
“算了。连皇爷爷都忌惮辽皇叔，说辽东军不过万，过万则天下无敌。你就不要把事儿惹大了。”
“臣只想维护陛下龙威。”
“你记住，连朕的皇位都是辽皇叔让的，哪有什么威望可言？你和山寿还是交出几个手下吧，给辽皇叔和辽东军一个交代，就说丹徒沉船事件是这几个人擅自作的主。”