世家门阀是一个庞然大物，不仅是对秦墨如此，对李二也是如此，其影响力大到恐恐怖的地步。
唐初士族，主要有四个地域集团，并各有所尚：山东士族尚婚娅，江左士族尚人物，关中士族尚冠冕，代北士族尚贵戚。李唐起自关中，唐政权中关陇士族最强，左右着唐初的政局。
江左和代北士族，至唐朝已经没落；以崔、卢、郑、李、王为首的山东士族，虽经农民战争打击，但根深蒂固，到唐朝时，仍有一定势力。
房玄龄、魏徵都与山东士族联姻，就连老程的老婆也是崔氏，山东士族依然保留着他们的社会地位。
“五姓七家”，“恃其族望，耻与诸姓为婚”，傲慢地进行着内部通婚，以保持高贵的血统。到了高宗时“二四三”期，李治甚至颁布发令禁止他们自行婚娶，士族门阀的影响力可见一斑。
士族势力的强大，对皇权不利，李二为此命高士廉等刊正姓氏，修撰《氏族志》，但是修成之时，博陵崔氏的地位竟然高于皇族。李二不能忍，于是下令将皇族列为一等，把崔氏降为三等，提高李氏皇族的地位，扶植庶族，压制士族势力，加强皇权。
就连李二都要用这种小手段，士族的恐怖实力可见一般。