是畏于当朝权贵的威势而不敢辨？这个就无从知晓了。反正这个说法出自于于慎行的官场回忆录《谷山笔尘》，而于慎行按说是张居正的门生，也即徐阶徒孙辈。
总之，徐府子弟使用投献、诡寄、挪移、飞诡、洒派、虚悬、寄庄……等各种舞弊手段，大肆侵吞国有资产，兼以盘剥乡里百姓，夺取他人赖以谋生的田舍，是不争的事实。而徐阶作为一家之主，究竟是始终被蒙在鼓里，还是心知肚明而默许甚至暗中支持，那就只有徐阶自己知道了。
唯一可以确定的是，海瑞时对徐阶的理解，显然倾向于从负面角度出发，对徐阶的贪吝多有不满。这里还有一桩事：海瑞刚上任时，曾因为吴中饥荒向当地富人募捐，在海青天的威名震慑之下，当地富豪还是不得不给面子的，譬如溧阳的一名官商富豪就直接捐出三万两白银，而海瑞去华亭县募金，徐阶在万般无奈之下，才不情不愿地拿出了几千两银子应付他——这恐怕还是因为海瑞本身是徐阶此前所推荐的缘故。
当时徐府挂名家人多至数千，招摇在外，海瑞建议徐阶削去那些假借的户籍，使他们不能继续妄借声势为非作歹，谁料徐阶竟然表示为难，没有答应。这两桩事，大概给海瑞留下了相当不好的印象，乃至影响到后来处徐府