不过，名气大也并非好事，就像后世的好人设明星，一旦有个什么出轨赌博吸毒嫖娼的渣男渣女形象，基本立马就乐子大了，李三才就是如此。
那时，李三才已准备好入阁，这样便可以和叶向高联手，对于其他党派了。
其他党派当然不能让李三才如意，费尽心机终于让他们查到了李三才偷盗皇陵木，皇陵木是帝陵修建所用，不得买卖，臣子更不能私用，不然那就是偕越。
就这样，随着政敌立即弹劾李三才的偕越之举，这位本来意气风发入阁的东林元老，不仅因为偕越丢了实权官职，甚至还因为偕越之事给东林蒙羞了。
东林一直标榜他们个个清正廉洁，为民请命，忠心大明，反贵族反大地主，结果自己的元老人物敢偕越偷盗皇陵木，不敬皇帝和大明，这不是赤裸裸向天下自己打自己脸吗？
正是因此，才会让后来东林上下为李三才奔走，废了不少代价，将他偷盗皇陵木一事压下去，并且查无实据，才没事。
至于所谓偷盗皇陵木，其实不少京师达官贵胄都在干，当然了，他们不是真的敢去派人开伐皇陵树木，那明显是故意找死的行为，他们的皇陵木，不过是从走私犯里买来的小树木而已。