连夜集结商用船只有数百艘，船中铺草，让人马踏在上面不会发出声音，全军悄悄渡过黄河，拂晓攻击，一鼓就拿下蒲州，控制蒲津关，确保将来大军可以顺利渡过黄河。杨广召回杨素，正式任命杨素为讨伐大元帅，统领所有能够及时动员的军队。
响应杨谅起兵的有十九个州，二、三十万部队，杨谅没有从西边渡过黄河去攻打京城，反而分兵北攻代州，南攻河南，显然是打着裂土为王，分而治之的算盘，想在他的根据地并州偏安割据，简单的说他只是不想向他哥哥下跪磕头而已。
杨素率领着大军进入杨谅的势力范围，杨谅派他的大将赵子开领十多万人马封锁并州四周的所有交通线，赵子开自己驻守高壁这个地方，连营五十里。在杨素的进军路线上有绛州、晋州、吕州是效忠杨谅的，杨素对每个城都只派出二千人马去监视，防止他们骚扰大军的后方。
杨素命令属下各将领继续向前挺进，而自己率领五千人的突击队，进入霍山，沿着悬崖峭壁前进，出了谷口以后，全军安营休息。隔天杨素自己搬个行军椅坐在营门口，叫行军司马李靖进入营中去挑选三百人留守看守营具跟辎重。很多士卒都很害怕敌人的人数众多，所以都想留守，你争我抢，吵吵闹闹，拖拖拉拉，搞了半天没有