褚遂良于永徽六年九月被贬黜为潭州都督，使太尉派受到了沉重打击，太尉派不甘沉沦，展开了营救行动。
侍中韩瑗在废王立武过程中曾经涕泣进谏，与褚遂良保持前后呼应，褚遂良被贬半年后，韩瑗挖空心思写成疏议上奏论理。
大意是说褚遂良勤劳忠诚，体国忘家，从被贬到如今已经度过寒暑，违忤陛下之罪已经受到惩罚，请求宽宥以顺人情。
疏议写得比较长，用情比较深，李治御览后对韩瑗说：“褚遂良的情况朕也知道，但他悖戾犯上，朕无法忍受，所以用忤旨罪名左授他为潭州都督，朕难道有过错吗？卿说了这么多，情感又这样深，是想得太多了吧！”韩瑗默然而退。
这次营救无果，太尉派并未放弃，韩瑗继续与褚遂良书信来往。
显庆二年三月，韩瑗和中书令来济上奏请移潭州都督褚遂良到桂州，以此为条件换取同意拥武派李义府兼中书令。
潭州治所在今湖南长沙，中都督府，管理郴州、永州等7州，而桂州治所在今广西桂林，也是中都督府，管理梧州，贺州等12州，风光秀丽，是历代兵家要冲。将褚遂良移到桂州，看似平级调动，实际上是扩大了实权。
李治给了太尉派一个