玄封东兴县侯。
当时不在前秦统辖之内的，只有偏安东南的东晋。苻坚自恃兵力强大，决心要灭掉东晋，统一全国，他发动了历史上有名的淝水之战。
这时东晋当政的是谢安，谢安颇识大体，使统治阶级关系协和，当时人把他比作为王导，且有文雅而强过王导。与他合作的桓冲，桓冲为中军将军，都督扬、豫、江三州各军事，扬、豫二州刺史，镇守姑孰。桓冲能顾全大局，虽然与谢安有冲突，但能尽忠于王室，忠言嘉谋，每尽力心，桓冲自以为德望不及谢安，故委以内相，而四方镇捍以为己任。
谢安、桓冲一个在朝廷，一个在上游，当时桓、谢两家手里都掌有兵权，两家合作共处，晋廷自南渡以来，难得政治安定。
淝水之战的前夕，东晋以北府兵为主力。北府兵是一支精干强大的军队，北府指的是京口；北方兖州、徐州南来的流民，多集中居住京口、常州一带。东晋朝廷设置了南兖州、南徐州来安置这些侨民。
这些来自北方的侨民人多劲悍，招募他们为兵，组成一支劲旅。谢玄担任兖州刺史，领广陵相，监督江北各军事，谢玄以刘牢之为参军，率领精锐为前锋，百战百胜，号称为北府兵，使敌人畏之。
北方流亡到南方的侨民