公元625年，李世民基本把长江以北最大的几个割据势力全部消灭。
随后李世民马不停蹄，杀向北方最后一个盘踞朔方的梁帝梁师都，梁师都一直依附于突厥，经常带领突厥南下烧杀抢掠，可以说是突厥的走狗，李世民非常痛恨。
梁师都，体态雄健，身材高壮，容貌极有阳刚之气，一双眸子炯炯有神，却又精气内敛。他是隋朝夏州朔方郡人氏，家中有财有势，世代为郡中的豪门望族。长大成人后，梁师都从军，因累立军功做了隋朝朔方鹰扬府的郎将；隋炀帝大业末年被罢去官职，回到了家乡。当时天下反隋浪潮已成铺天盖地之势，隋帝国的擎天大厦已被汹汹浪潮冲荡得东倒西歪，即将轰然坍塌。
隋大业十三年（公元617）二月初，刚刚回归故里、对朝廷一肚子不满的梁师都联结党徒数十人造反，杀了郡丞，占据朔方郡扯起反隋大旗，他自称大丞相。
梁师都自知势单力孤，难以自立，便主动结好雄踞北方的突厥，倚为靠山。
隋将张世隆率军前来征剿，梁师都出兵迎战，大败隋军，乘势攻取了雕阴、弘化（后世的甘肃庆阳县）、延安等郡，实力大增。
有兵马有地盘，不能没有名号，梁师都遂于公元61