反复权衡之后，关羽终于做出了决定，先保住广信县，然后再考虑其他问题，他一方面派人急赴番禹，向大哥刘备汇报广信县的不利，另一方面，他又派人通知关平和所有漓水守军全部撤回广信县。
应该说，这就是黄忠的围魏救赵之计，令王平和刘正从陆向广信县施压，并且虚兵为一万人，使关羽摸不清底细，他只得被迫撤回漓水上阻碍汉军南下的军队。
而汉军真正的主力却是从水南下，得知交州军已从离人堡撤离，天后，数艘五石战船满载两万军队和各种物资抵达了离人堡。
离人堡原名叫做漓人渡，位于广信县西北两里处，原本是漓水两岸民众过河的渡口，它是一块突入江中的巨石，使这一带的漓水河面宽不足十丈，便于渡河，同时它又有很重要的军事价值，只要守住漓人渡，便可扼断漓水上南来北往的船只。
在年前，交州军便在巨石上修建了一座军堡，叫做漓人堡，久而久之，大家都称它为离人堡，堡内驻兵两人，用来盘查漓水上汉军派来的斥候，或者逃税的盐商。
尽管离人堡地势险要，可以居高临下打击江中的船只，但要让它抵御汉军主力的进攻，也几乎是不可能，所以关羽在撤回关平的军队后，也知道离人堡的守军没有意义，性将堡中的两人也一并撤回，只在堡中留下十名士兵，用来点燃烽火。
早在八艘汉军战船距离离人堡还有数十里时，北方的烽燧便已点燃，警示大队汉军来袭，离人堡随即也点燃了烽火，十名士兵弃堡而逃，不仅是离人堡，漓水沿线的十座烽燧也纷纷点燃，将汉军主力杀来的消息传到了广信县。
但汉军并没有杀向广信县，而是在离人堡停止了前进，两万汉军士兵在大将蒋钦的率领下，开始在离人堡旁边修筑军城，树木被砍伐，大块岩石被采来，仅仅数天时间，一座周长十里的军城便被打下了根基。
当然，汉军绝不会只修建这一座军城，在距离广信县约里处，有工匠和士兵在寻找另一座军城的建造地址，很明显，汉军在重施祁山道旧计，沿漓水修建军城，使汉军能牢牢控制住漓水，为汉军夺取苍梧郡打下坚实的基础。
汉军在漓水开始大规模修建军城，引起了刘备的恐慌，如果苍梧郡失守，汉军就会很快杀到番禹城。
越王宫内，刘备独自一人坐在房间里，思虑着汉军即将对交州的进攻。
他在长安同样也有情报机构，虽然消息来得比较晚，往往在事情发生一两个月后，他才能得到消息，但一些情报还是令他浮想联翩。
刘备最关注刘璟入住未央宫的消息，这是发生在去年秋天的事情，距今已有数月，但刘备依然很看重这条消息，他可以从中体会到刘璟的一些细微心理变化，这说明刘璟登基为帝的**愈加强烈了。
同时也说明刘璟已等不下去，所以他在刚开春便对交州发动攻势，正好映衬了刘璟的这种迫切心理。
汉军的南下方案很明显，修建军城，储存粮食和军资，在苍梧郡境内建立后勤重地，这种手段和汉军夺取陇西如出一撤，刘备也不得不承认，这是一个稳健而有效的办法，对汉军攻打交州影响深远。
他绝不能让汉军这样从容不迫的修筑军城，最终一步步蚕食苍梧郡，但苍梧郡的军队明显不足，关羽手中只有八千人，而汉军很可能会增至万人，这就意味着他必须向苍梧郡增兵。
问题是怎么增兵？他手中一共只有万军队，张飞在庐陵郡的一万人要防御豫章郡的汉军，不能轻举妄动，而只有调用番禹城的一万守军，可一万守军调走，番禹城就成了空城，两难权衡，着实令刘备难以决策。
这时，一名侍卫在门口禀报：“启禀主公，军师来了。”
“快快请他进来！”
刘备心中大喜