开皇十九年，突厥侵犯隋朝边境，隋文帝任命杨谅为行军元帅，想让他率兵攻打突厥，但杨谅最后未去临阵统兵。
杨谅自认为住在天下精兵之地，又因长兄太子杨勇被进谗言而遭废黜，秦王杨俊被罢官后病死而时常怏怏不乐，私下里有了反叛的图谋。他于是上书劝隋文帝说：“突厥正强大，高句丽也不安分，太原即为重镇，应加强防备。”隋文帝听从了他的话。于是大发民工劳役，修缮兵器，贮存在并州。他又招纳亡命之徒，和身边的无户籍之人，将近数万人。任命南梁将军王僧辩的儿子王頍为咨议参军，又重用以前是南陈将军的萧摩诃作为主将。
杨坚因为突发情况被两个和尚刺杀之后，杨广即位，杨谅惴惴不安。杨广派车骑将军屈突通带着隋文帝的诏书，召杨谅回朝，尚未做好准备的杨谅犹豫不决，不敢起兵又不敢回朝，干脆在并州称病。
等到废太子杨勇被赐自尽；蜀王杨秀被查出使用巫蛊之事诅咒隋文帝及幼弟汉王杨谅，被剥夺官爵贬为庶民软禁于内侍省之后，杨谅心下害怕，干脆举兵造反。
总管司马皇甫诞劝谏不可，杨谅大怒，囚禁了皇甫诞。
他的谋主咨议参军王頍劝他说：“大王手下将领士卒的家属们，都在关西（函谷关以西