然我行我素。
连朝廷也开始对他放心不下了，万一这种“先斩后奏”的行为在朝内蔚然成风，国家岂不失控?更何况人心隔肚皮，如果某些人手握重兵而居心叵测怎么办?
辛弃疾这样不谙世事大而化之的英雄为湖南官场所不能容，不少地方官员纷纷上书，朝廷大员也借机弹劾辛弃疾。当一个人不能与环境相融合的时候，就是时候离开了，在官场尤其如此。树大招风，颇有政绩的辛弃疾在荆湖南路看来是待不长久了。
正当辛弃疾在荆湖南路羽翼已就之时，准备将飞虎军扩充、大干一场的时候，吏部一纸调令把他调到到江西，担任隆兴(南昌)知府兼江西安抚使，荆湖南路的官员们一个个幸灾乐祸，拍手称快，在他们看来，这是为朝廷也为湖南官场除去“一害”。
杨通文在城步寨训练飞虎军仅仅一年，就具备了顽强的战力，颇有成效，飞虎军建成后雄镇一方，为江上诸军之冠。
杨通文因为和辛弃疾走得太近，辛弃疾一走，荆湖南路安抚使就立即解除了杨通文对飞虎军的直接指挥权。
杨通文忿然道：“人走茶凉，概莫如此。朝廷执意不用我杨家将，还故意打压，还怕我杨家抢了赵家的天下不成？我杨家已经出了隋文帝