在上谷之时，还未等高欢有所动作，杜洛周便起义了，高欢莫名其妙的成了杜洛周的下属。庸碌之辈岂能呼虎驱豹，高欢便密谋取掉杜洛周，常同手下亲信好兄弟蔡俊，姐夫尉景，连襟段荣等人一起商议此事。不料被杜洛周察觉，高欢当机立断，连夜带着妻儿老小，及手下诸人向南逃跑，投奔葛荣。杜洛周闻讯大怒，命令手下骑兵前去追赶，高欢等人狼狈不堪，匆匆如丧家之犬，慌忙忙如漏网之鱼。娄昭君骑在牛上，抱着年幼的女儿和儿子高澄，高澄坐在母亲身后，因路途陡峭，高澄时常从牛背上摔下来，娄昭君连忙停下来，把他扶上去，一而再再而三耽误了行程，眼看追兵将至，高欢先是破口大骂，后来更是弯弓搭箭，要将儿子亲手射杀。娄昭君连忙向姐夫段荣大喊救命，段荣跳下马来，把高澄抱到自己的马鞍之上，高欢方才作罢。
众人逃到葛荣营中，却遭到葛荣的故意冷落。杀主之人岂言忠心，若将其杀之，此时羽翼未丰，便杀投降之人，恐为天下人耻笑，高欢不等他时机成熟，便又举家携口向西投奔秀荣的尔朱荣。光明磊落，率性而为的真汉子，往往抵不过善于算计，精于谋划的城府之辈，自古皆然，项羽如此，尔朱荣也如此