家大族不但在朝堂上有一席之地，更多的是在天下那些大大小小的郡县中。世家的族长就像一个巨大的蜘蛛，家中那些重要的子弟就是一个个蛛网上的节点，通过这些节点，世家大族可以轻易的控制一郡甚至几郡之地，包括人事任免。
杨坚当时制定这样的人事制度时也是给世家一点儿好处，算是一种妥协或者交换，让他们不至于来全力对付皇帝。可是到了杨广手中的时候，事情就变得复杂起来。
因为杨广非常痛恨世家大族，他通过三征高句丽来削弱北方世家在军队中的势力，可惜三次都失败了，世家也被他逼到了绝地，那么反扑就是一定的了。
所以杨广后期很多郡县的低级官吏根本就是各大世家自己任命的，后来连朝廷都不上报了，到了杨广末年，他自己都不知道治下到底有多少个郡县的县令是他能够控制的。
另外还有一种情况就是各地的起义风起云涌，许多郡县的官员不是被叛军杀死了，就是在叛军来的时候开城投降了，这样一来，朝廷根本就不知道那些县令是自己人，那些是叛军的人。后来索性只要一郡一县被叛军攻打过，那这里的县令郡守就都被朝廷的人直接替换了，不管他是死了还是降了，甚至根本就没有见过叛军，反正当场就撤职了。