命刘牢之为参军，率领精锐作为前锋，因为晋朝百姓称京口为北京，所以当时人称这支军队为北府兵。前秦将领俱难、彭超部队进攻淮南，并且包围了三阿，北府兵援救三阿，一战告捷，迫使前秦兵向北退逃。
在淝水之战，北府兵更是表现神勇，成为击败前秦的中坚力量。北府兵的军事实力使它成为各集团争夺的对象，北府将领也成为左右东晋政局的重要力量。
东晋大门阀谢家，把北方流民、流氓、以及原来驻军的精锐整合，组建了一支拱卫京师、足以对抗北方骑兵、间接听命于大门阀的军队北府兵。谢家对于北府兵的整合，对自己的家族、东晋政治、乃至中国政局都产生很大影响。
从谢家整合开始，北府兵就成了名副其实的精锐部队，这支部队的著名将领如刘牢之、刘裕等人也成了举足轻重的人物，哪个门阀能控制北府兵，他就能控制了江南汉人的政权。北府兵从谢玄整合开始，就成了大门阀的雇佣兵，东晋朝廷对它的指挥都不灵。
徐、兖二州本是北来侨民的集中地，人多劲悍，富有战斗经验，桓温曾说：“京口酒可饮，箕可用，兵可使。”谢玄召募劲勇，徐、兖人民纷纷应募入伍，彭城刘牢之、东海何谦、琅琊诸葛侃、乐安高衡、东平刘轨、西河田洛