面子，爽快同意了奏请。褚遂良到桂州以后，一方面游历桂林山水，排遣一年多来胸中郁结，一方面加强州府治理，修缮守备。
且说武后的成功得益于小人物的通风报信，所以武后十分重视对“耳目”的培养，不惜重金奖赏，宫内耳目密布，监视李治和其他妃嫔的动静，宫外也严令拥武派培养“耳目”，监视政敌。
太尉派自以为得计，却不料武后早已令许敬宗、李义府暗中加强对太尉派的监视。褚遂良在桂州的一举一动以及与京城官员的驿马往来，武后都能及时知道，时机成熟就向李治报告。
转眼到了盛夏，许敬宗的监控人员截获了韩瑗与褚遂良的书信，上报给武后，武后又报告给李治。
李治见掌握了太尉派的真凭实据，大喜过望，结合以前收集的材料，指责韩瑗、来济与褚遂良联合起来潜谋不轨，因为桂州是用武之地，所以故意调褚遂良为桂州都督，以为外援。
借此罪名，左授侍中韩瑗为振州刺史，振州在今海南三亚，是天涯海角所在地，比桂林远多了。
又将中书令兼太子詹事来济左授台州刺史，台州在今浙江，这个惩罚相对较轻。因为来济没有书信方面的把柄，又辅助过太子李弘。
再贬黜