到了襄阳，他认为应该收回关陇权贵的种种特权，把默契捐赠换成正常缴纳税赋，但李渊生怕引发关陇权贵不满，而导致屡屡战败、丢失关中的唐朝轰然坍塌，出于国基稳定来考虑，李渊继续执行之前的默契。
李渊的考虑其实十分合理，任何一个王朝，在开国之初都不敢贸然对支持者下手，但李建成认为改得越晚困难越大，而且会在大唐形成特权群体。
李渊想着唐朝江山会慢慢扩大，人口和土地也会越来越多，这样就不会影响朝廷税赋收入，于是坚持自己的观点。不料李唐疆土没有扩大，反而不断缩小，而巴蜀是关陇权贵的后花园，最肥沃天府之国都被关陇权贵和地方豪强占据，偏偏他们这些人个个享受免税待遇，再加上关陇权贵和入驻巴蜀的关东士族、南方士族行使晚杀一村、翌日占领田地的残暴一套，致使朝廷能够征收税赋的土地越来越少、税赋也一年比一年少了起来。
之前，各大门阀无路可走，只能跟着李唐一路黑到底，是一荣俱荣、一损俱损的关系，所以甭管李渊要粮钱还是人口，都会大力支持，可随着杨侗放出和解的声音，又见到李唐苟延残喘，前途暗淡，一个个都生怕惹得新主不满，纷纷停止了对李唐王朝钱粮的支持，导致李唐陷入缺钱少粮的窘境，