事干，在海南岛在那地方待着，他没事干，没事干干嘛呢？
写写笔记，写写日记，写写自己为官几十年来的宦海见闻，想把文字传给子孙后代，中国古代圣贤，立德、立贤、立功为三不朽，现在立功的机会没有了，就立言把一手史料传给子孙，这样做也算对得起祖宗。
结果秦桧拿到，怒道：“你诽谤当今，你写野史诽谤当今，史书应该谁来修，应该官修史书，你写这东西是什么意思？”
于是李光一家受到了株连，不但李光被迫害致死，他的儿子因此还入狱，最后迫害致死，所以两个前任宰相都被迫害致死的。
第三个人遭到他严重迫害的是胡铨，胡铨写的词慷慨悲歌，壮怀激烈，这样的一个大臣，胡铨是坚决反对跟金议和，就是他提出来的要把秦桧、王伦的脑袋砍下来，插杆上立在街上，然后把金国的使臣扣下，激励三军将士讨伐金国。
胡铨说：“如果你们要是跟金国议和，我宁可跳东海去死，我也不愿意在小朝廷存活。”
他这话一说，高宗皇帝也急了，本来是想把胡铨杀掉的，但是因为胡铨是个文人，祖宗家法文人是不能杀，于是贬了胡铨，给他贬到广东，看仓库大门去。
结果秦桧的妻舅到那里视察，把犯人