但他知道，安边城易守难攻，又有郭子仪这样厉害的将领驻守，想要攻破城池非常的不容易，而后方的人马遭受袭击，又是自顾不暇，根本无法有效的增援安边城方向。
当然，更让李踏固担忧的，是唐军援兵已经有消息了，据斥候探查，驻守在云中郡的云中守捉，已经调遣七千兵马，向桑干河上游一带逼近，另外，一支从朔方赶来的精锐骑兵也抵达了朔州，估计几日之内就可以抵达蔚州。
唐军援兵的逐步靠近，让李踏固感到万分紧张，他原本自信自己的兵马，野外作战实力在唐军之上，三万兵马以下的唐军，根本不足为惧，但通过李安不足百人部队的连续打击，让他觉得自己部落骑兵的实力可能不如唐军，如此，自然也就没有信心与唐军援兵决战了。
李踏固当机立断，下达逐步撤离的决定，他要求分布在桑干河上游一带的部落群众，立即向妫州方向撤退，并经妫州返回饶乐都督府。
而由于部落有大量的牛羊，此次南下又劫掠颇多，所以撤离的速度必然不是很快，为了确保不被唐军援兵追上，李踏固要求留下一万兵马殿后，另一万人马护送部落百姓，和劫掠的唐人百姓、牲畜、财物等迅速撤离。
而李踏固与麾下的五千精锐骑兵