却说顾雍说动张羡，于是张羡遂据长沙而反。因张羡于零陵、桂阳有恩信。张羡又以利诱之。零陵、桂阳两郡太守亦随张羡反。
刘表闻荆南三郡叛乱，大惊失色。荆州总领七郡，自己来了之后，将南阳一分为二，新设了个章陵郡。也不过八郡罢了。如今南方三郡一叛，武陵郡危险不说，却是把豫章文聘等荆州将士的后路给断了。
于是刘表一边命蔡瑁、庞季等人出兵平叛，一边紧急传命给豫章的文聘，让他不要在豫章纠缠了，速速自江夏退回荆州。
文聘得了信，连忙来见刘繇，道：“刘公，我家主公来信，孙坚已说反荆南三郡，如今我腹背受敌，不得不退耳。还请刘公与太守早早准备，随我北返荆州。”
华歆与王朗听了，也只能相对苦笑，刘表犹豫不决，孙坚却是先下手为强了。如今攻守势易。除了撤兵豫章，还能有什么办法呢？
于是只好从文聘之言，率了家人，与文聘一道退出南昌城，径往海昏与刘磐会合去了。刘繇临行，樊能、张英等诸将拜泣道：“吾等家小皆在江东，不能随主公往荆州也。”
诸将皆是江东豪族，刘繇当年来扬州，借诸人之力，方能与袁术相抗。如今自己一败涂地，又如何能够苛责