刚开始时，像于谦这样和陆缜关系良好，且知道他做这一切也是为了朝廷和百姓的官员还出声为其辩护几句。可随着争论的深入，批驳者把事情说得越来越严重，甚至上升到国家兴亡层面时，这些官员也有些招架不住了。
不光是他们，就是有意保陆缜的天子，也明显感到了沉重的压力，都不好直接反驳臣子了。
这还不算，真正让人不敢再在此事上为陆缜说话的，是民间一些读书人对其的非议。这些人很快就把此番之事与陆缜之前压制迫害孔家的事情给连到一起，然后再大做文章，直言他是来颠覆儒家学说的异端，若任由其继续在山东为官，必然会造成当地的大乱，从而波及全国……
这种说法其实有着很多的漏洞，奈何百姓们却很容易就信了，于是就是一般百姓也对陆缜抱有了极大成见，眼看他的名声都彻底臭了……