更北的地方通过。
但从韶州府（今广东韶关地区）至广州府之间，这一路沿北江北上都有清军的据点，第51团没有渡口也没有船只过北江西岸。本来这些清军据点是为了支持广州城的清军对付联军而用的，现在清廷已与五国和解，这些据点连成一线却成了阻碍第51团西进的防线了。而且第51团在花县附近等候广州军情站支援的地方向导时，被敌军发现，遭到联军与清军一万多人的不断追击，有几次都差点陷入险境。要不是孙大雄果断改变部队前进方向，可能第51团还处于联军与清军的围追堵击之中呢！这个时候，孙大雄非常感谢曾成志把所有的俘虏处理掉了，不然部队还要腾出至少一个连的士兵看护，那真是一个很大的累赘啊！
第51团不敢再向西进，折向东，然后再向北，到了广州府东北部的从龙县，才算彻底摆脱掉联军与清军的追击。西进是参谋部制定的既定方针，第51团还得再度寻找西进的突破口。在人民军军情部广州情报站情报员的带领下，第51团向北挺进，一路上过关斩卡，翻越广东省中部的青云山脉后，最北处到达韶州府（今广东韶关地区一带）滑石山脉。在滑石山地区不断与清军捉迷藏一个多月后，第51团设计攻下清军设在韶州府英德县的西头渡口，并强渡北江，这才算顺利冲破清军的封锁线。
在肇庆府的北部是多山的少数民族地区，此地清军势力薄弱，人民军第51团渡过北江天险后，南下至肇庆府的广宁地区，并智取广宁县城，在此休整一段时间后，第51团有人提议部队继续西进，可以进入广西梧州府，他们认为作为在外征战几年的第51团也该回到人民军根据地好好休整休整了。这个建议都是第51团那些出来几年的老兵们面对就在前面的人民根据地自然地勾起了思乡想家的情绪而提出来的。
参谋部的命令能违抗吧？政治部的人与团部领导怎么能接受这种建议呢？在孙大雄严厉的督促下，部队继续南下，从肇庆府的高要县外侧穿过，进入肇庆府的新兴县地区，并在大云雾山山脚进行了自转移以来的第三次休整。
第51团自公元1854年8月底开始西进，几经周折，辗转几千里，经历大小战斗无数，历时十个多月，才顺利完成人民军林逸主席与参谋部下达的军事命令。第51团依托大云雾山占据有利地势，掐住广州至粤西交通的中段，并俯视平坦的阳江州与赤溪厅地区，处于可进可退的有所作为的有利位置。
在公元1855年5月联军大规模进攻粤西人民根据地时，第51团主动出击，多次搔扰联军大部队的进军路线，大大延缓了联军的进军速度。要不是第51团对联军第一集团法第11师及英第15师的搔扰，可能法第11师和英第15师至少要提前两个时辰到达马贵镇人民军第七师第20团的阻击阵地，那么也就等不到人民军第6师的到来解救人民军第20团了。这样的话，粤西人民军的大撤退可能还会更提前，可能还有更多的老百姓遭殃。
人民军第51团必竟兵力有限，他们并无力改变整个联军进攻的势态。在粤西人民军大撤退时，为了尽量能给粤西的人民军减轻一些压力，他们更加主动地搔扰联军后勤补给线，至到他们的弹药消耗过巨，已无力再发动任何像样的进攻后，他们才退入大云雾山，进行第四次休整。
粤西人民军大撤退之后，奉命进入敌后阳江州地区展开运动战的人民军第6师，在军情部情报员的引领下，与在大云雾山休整的第51团接上了头。两军建立联系后，并没有汇合在一起，第六师仅仅只是派遣师后勤连队给第51团送去大量补给并传达人民军参谋部对第51团的最新作战命令。参谋部要求第51团进入赤溪厅展开特种作战，打击联军陆上的后勤补给线路。
第51团尽管很失望参谋部还是没有命令他们回师根据地