全家贪污受贿而无事，忍不住与中书侍郎李友益谋划驱逐李义府，被李义府探知消息，密告李治。
上朝时，杜正伦当着李治的面批评李义府，李义府也大声争辩，大有当年褚遂良脱帽进谏的架势。李治很不高兴，喝斥二人停止争吵，象综艺主持人一样控制住了朝堂场面。
事后，十一月六日，贬斥杜正伦为横州刺史，李义府为普州刺史，李友益流放峰州。杜正伦不久在横州逝世。朝廷职事不可空缺，九日，任命侍中许敬宗为中书令，大理卿辛茂将为侍中。
本来武后想在显庆三年就动手除掉太尉派的，结果李义府又捅了漏子，只好拖到下一年。
显庆四年正月，武后召见了许敬宗，一起商议如何除掉太尉派的事。
武后认为太尉长孙无忌接受了十车礼物却不赞成废王立武，违背人情，又不愿意朝拜皇后，失去人臣之礼。
许敬宗深以为然，也讲了自己劝说长孙无忌的事，劝他认清形势，摆正位置，知道进退、利害、得失，但他不听，还当面斥责自己。于是二人面对共同的敌人，制定了斗争方略。
武后又劝李治广纳贤才，以作储备，当一批官员被拿下后，储备官员能够立即顶上，不至于国家机构停摆。李治