部将陈智略、张童仁先后带领自己的队伍归顺了李密。原先，宇文化及在东郡留下了一些军需物资，派遣他设置的刑部尚书王轨看守，到这时王轨一看宇文化及大势已去，献出东郡投降了李密。李密最终大败宇文化及，宇文化及只好率领残部向北逃亡。
宇文化及的人马行进到徐州时，由于水路不通，他又下令掠夺当地的牛车2000辆，把宫女珍宝共同装车；他的戈甲兵器，也让兵士背着。由于道路遥远，人困马乏，三军将士怨声载道。大臣司马德戡、赵行枢和大将陈伯图等都先后打算杀掉宇文化及，又都因为谋划不周，而被宇文化及所杀。随后，大多数将士开始逃亡而去，追随他的不足2万人。
退到魏县后，宇文化及一看大势已去，说了一句很有名的话：“人生故当死，岂不一日为帝乎！”于是毒杀了自己一手扶上位的傀儡秦王杨浩，自立为帝，国号为许。
宇文化及原准备攻下魏州作为自己临时的栖身之地，但一连攻打了几十天，仍没拿下魏州，反被防守魏州的元宝藏打败，部将亡失1000多人。无奈，他又带兵奔向东北的聊城，打算招诱那一带的贼盗入伙。不料，却被手下出卖，被燕赵霸主窦建德活捉，并俘虏了他的部众。随后，窦建德将他装入囚车，押送