后，便接手了杨素的这些人脉。
杨玄感此人颇好文学，当时四海闻名的大学问家基本都在他的门下。当今万岁猜忌心重，见他的门客太多，便对他进行监视，还不断的打压。
杨玄感心中越来越不安，私下便与他的几个弟弟商议，准备废掉杨广，另立立秦王杨浩为帝。
后来跟随杨广征讨吐谷浑，回来时到了大斗拔谷，当时随从官员都很狼狈，杨玄感想袭击行宫。他叔父杨慎对他说：“朝士的心还是一致的，皇上还没有垮台的迹象，不可胡来呀！”杨玄感这才作罢。
当时杨广喜欢四处征伐，杨玄感便想趁着这种机会，多多拉拢将领，掌握军队。
大业九年春，杨广二征高丽，命杨玄感在黎阳督运粮草。这时，天下已经烽烟四起。杨玄感于是和武贲郎将王仲伯、汲郡赞治赵怀义等谋议，趁着押粮的机会，让杨广的军队断粮挨饿，因此常常逗留，不按时发运粮草。
杨广的军队前进速度慢下来，便派使者来逼促。杨玄感就说水路有很多反贼，不能冒然送粮，担心被反贼截取，就这样把杨广骗了过去。
一直到了六月间，等杨广的军队已经接近辽东后，杨玄感悄悄将在辽东前线的弟弟武贲郎将杨玄纵、鹰扬郎将