谢安感到深深的痛，枪杆子里面出政权，没有嫡系部队，就像现在没钱一样，说话不硬气。他任命谢玄为建武将军、兖州刺史、领广陵相、监江北诸军事，后来又兼任徐州刺史，于是一流的军队北府军就此诞生了。
北府是什么意思呢？
徐、兖两州基本合二为一，治所在京口。京口在长江以南，东晋时属于扬州，兖州、徐州在江北，八竿子打不着，相当于这个省的省会放在了另一个省的地盘上，太奇怪了吧。
原来从东晋初，京口虽然是扬州的亲生儿子，但早就过继给了徐州，和徐州成了父子关系。
当初祖逖渡江避难，到达泗口后，被司马睿任命为徐州刺史，后来他继续南下，就住在了京口。祖逖誓师北伐，也是从京口渡江北上。苏峻攻破京城后，北方的流民帅郗鉴为了围攻建康，也是以京口为作战大本营。平定叛乱后，郗鉴任徐州刺史，大本营也在京口。
当时东晋把徐州、兖州、青州这三个州以及扬州的晋陵郡包括京口划为同一都督区，郗鉴就是这个大军区的负责人。因为京口处在建康的东北，而且管理的地盘多在北方，所以习惯上称为北府。
郗鉴在世时，为了安置北方的流民，从中挑选精壮的人，训练组军，成了北府军的雏