仙霞关破，岳乐岿然不动，是因为其延平大营囤积粮草极多，完全可以支应到多尼的到来，更重要的是，其身后还有通往江西的杉关，自古有‘闽之有仙霞、杉关，犹秦之有潼关、临晋，蜀之有剑阁、瞿塘也。一或失守，闽不可保矣’。
但陆军从闽北进入江西则造成态势完全不同，江西一直是满清后方，江西精锐多西调加强西南的攻势，剩余的兵马或在沈永忠麾下效力，堵在赣州，挡住梅关北上的琼藩军队，或从杉关入闽，加强延平大营，如今江西被寇，后方失稳，更可怕的是，陆军一路西进，便可破广信、抚州、建昌三府，这意味，江西与福建的交通被完全切断，在江西兵马无法阻挡的情况下，唯有延平大营的清军回撤，才能保住后路。
永历十二年四月下旬，清军开始从延平城撤退，岳乐亲自指挥撤退行动，首先是江西绿营回防杉关，保住退路，继而是浙江、江南绿营，岳乐亲率麾下八旗押阵福建绿营殿后，步步为营，全面后撤。
计划非常完美，但实施起来却状况百出，江西、浙江绿营先后发生大规模的哗变，抢劫延平、邵武两府，一路烧杀返回江西，这些外地客军如此表现，其原因源于缺饷，两广会战之后，满清一路高歌猛进的局势为之消失，取而代