前秦进兵攻取梁、益二州，以杨安镇守成都，毛当镇守汉中，姚苌镇守垫江，王统镇守仇池，东晋军退据巴东。
晋孝武帝司马矅开始亲政，谢安晋升为中书监、录尚书事，总揽朝政，陈郡谢氏成为东晋的最后一个当轴士族。同年苻坚统一了中国北方，前秦与东晋的战争已经临近了，当时的东晋，长江上游由桓氏所掌握，下游则属于谢氏当政，谢安尽力调和桓谢两大家族的关系，以为即将爆发的战争作准备。
广陵缺乏良将防守，谢安不顾他人议论，极力举荐自己的侄子谢玄出任兖州刺史，镇守广陵，负责长江下游江北一线的军事防守。谢安则是自己都督扬州、豫州、徐州、兖州、青州五州军事，总管长江下游。
谢玄不负叔父重托，在广陵挑选良将，训练精兵，选拔了刘牢之、何谦等人，并且训练出一支在当时的整个中国最具有战斗力的精兵北府兵。
为了充实长江下游的军事力量，拱卫首都建康和制衡上游桓氏势力的东山再起，抵御前秦南下，谢安成立了新军。朝廷任命谢玄为南兖州刺史，负责筹组新军。
谢玄随即把南兖州的军事治理机关从京口移到广陵，南徐、南兖两州侨户纷纷应征入伍。当时彭城刘牢之等数人以骁勇应选，谢玄任