杨玄感在后方造反了，正在围攻东都洛阳，由于海军还在山东东莱没有出发，所以前往攻打高句丽各城池的部队已经没有作用了，于是杨广命令各军紧急撤退，而围攻辽东城的主力部队中有杨玄感的内应斛斯政，他投奔辽东城去告诉辽东城的守将。隋军因为有上次杨广重赏跑得最快的卫文升的前例，因此此时大家全部抛弃辎重装备，没命似的向回国的方向狂奔。
辽东城的高句丽守将问迭刺耶律亮要不要全军出击阻绝杨广西归，迭刺耶律亮回答：“这正是他们的叛徒希望我们干的事，只有这样造反才有可能成功，但是灭了杨广我们以后去那里找这么笨的对手？他们的新政府只要派一个心智正常的将领率领十万人马就够我们忙的了。”
于是辽东城的守军等待杨广和大部分的隋军都远远离开后才出城收拾隋军遗留的物资，这些武器装备粮食让高句丽未来五十年都兵强马壮。
杨素的长子杨玄感，长得高大威武，从小在富贵家庭中生养，他的武功很好，骑马射箭、刀、枪、棍、棒样样精通，也非常喜欢读书，学识渊博，然而从未亲自领兵打过仗，没有什么实质的功绩却当官当到礼部尚书，高居六部首长。
由于杨素的关系，杨家满门都是朝廷的高官，而且富可敌国。俗