事首鼠两端，李密知其一直在观望，不肯真心归附，私下劝说杨玄感斩之以谢众，玄感没有听从，依旧使用，大有制衡内部的想法。
韦福嗣道：“回杨将军，根据最新战报，杨义臣、屈突通依旧渡过黄河，还有一日的行军，就能抵达洛阳十里外，来护儿率军已经攻克了黎阳城，把我军沿途攻下的城邑全部收回。此外，各路勤王之军，已经从各地赶来，如张须陀、王世充等，现在我军粮草紧缺，没有了后方支援，恐怕鏖战下去，也挺不住十日，必须早作打算，迟则军心一乱，势必崩溃。”
杨玄感忧心忡忡，决定退军了，派出斥候带着军令，通知守在西进道路的杨玄挺，加速攻打朝廷守军的防御，尽快拿下渑池、崤谷，攻克函谷关。
他们从洛阳撤军，抵达函谷一带，还需要一段时间。
军令一下，义军连夜撤退，向西进发。
夜色下，李密、王伯当策骑同行，随军出发，后者看到蒲山公脸色阴沉，忍不住道：“先生，你为何脸色这么差，是否身子抱恙？”
李密摇了摇头，压低声音道：“我有一种预感，这次起义要失败了。”
王伯当吃了一惊，也把声音压得很低，问道：“先生，那我们还继续同行吗？”