北魏皇帝知道羊侃的造反，不但没有惩罚他的意思 （其实那时朝廷也没有余力来惩罚他），反而大肆给他升官：骠骑大将军、司徒、泰山郡公。
羊侃不为所动，将皇帝派来的特使斩以示决心，并派人去南朝跟萧衍请降，萧衍马上派大将羊鸭人前去接应，可惜北魏已经被羊侃彻底激怒，派余晖为大将、高欢和尔朱阳都为副将统领十万人马前来围剿，很快羊侃的人马就伤亡惨重，一路南逃，武器装备都损耗的厉害，一度连弓箭都没有箭枝可射。
他们到达淮南地时，将士们唱着悲伤的思 乡之曲，因为羊侃的军队大部分都是北方人，之所以跟他造反打自己人无非是因为敬佩他的为人，折服于他的勇武，此时只要过了长江，羊侃就算是完成了父亲的遗愿，可是这些将士们却从此和家人分离，羊侃于心不忍，于是在江边说道：“事到如今，我很感激你们，你们也怀念故土，我也不能强迫大家跟随我，或去或留你们自己决定，我们就在这里分手吧。”
一些将士们纷纷流着眼泪拜别羊侃而去，羊侃度过长江收到萧衍的隆重欢迎，封他为使持节、散骑常侍、都督瑕丘征讨诸军事、安北将军、徐州刺史。兄长羊默、弟弟羊忱、羊给、羊元，也都被任命为刺史。真正的一人得道鸡犬升