在这个方针指导下，杨谅派出自己封的几位将军分头出击。大将军余公理，从太谷出发，前往河阳；大将军綦良从滏口出发，攻打黎阳；大将军刘建从井陉出发，夺取燕赵地区；柱国乔钟葵从雁门出发。在这几路大军之后，才是让裴文安担任柱国，与纥单贵、王聃、大将军茹茹天保等率军直指京师。
到了距蒲津关一百多里处，杨谅听说杨广命令杨素带领大军平叛，又开始胆寒，于是改变主意，命纥单贵破坏黄河大桥，坚守蒲州，召回裴文安。裴文安返抵晋阳说：“军事行动，必须诡秘神速，为的是要出敌人意料之外，大王既不亲征，我又被调返，使敌人计成，大事就会永去。”杨谅不回答，任命王聃为蒲州刺史、裴文安为晋州刺史、薛粹为绛州刺史、梁菩萨为潞州刺史、韦道正为韩州刺史，张伯英为泽州刺史。
杨素久经战阵，清楚杨谅根基不足。等到听说杨谅的动作之后，更是放心，不等大军动员、集结，直接率领先头部队出击。他亲自率领五千轻骑前去偷袭蒲州，隐蔽在渭口，夜间悄悄渡河，黎明时发动进攻，茹茹天保大败而逃，王聃因害怕而开城投降。
拿下蒲州之后，杨素直接率军攻打太原。晋州、绛州、吕州州城都被杨谅控制，杨素各派两千人去牵制他们，自己