豪去了安北，李忠立即明白了赵智的意图，把最重要的平州都督以及六万精锐骑兵给了洪成豪，消息传回丰京，赵智对此极为高兴与赞赏，几次密诏李忠，对其赞誉有加，两人相识于微末，私人感情极好，对对方的心意，也是非常了解，你知我知那是最好的，有些话，说明白了，往往会伤感情。
李忠在安北的最后四五年时间，行事变得非常低调，把手中的权利逐渐下放，其中最为重要的人事与度支两个权利，则是交给了洪成豪，这导致很多人的不满，这种不满，有一部分是针对皇帝赵智，很多将领觉得，赵智把洪成豪派到安北，分化权利，是对李忠的不信任，他们不敢埋怨皇帝赵智，只能把心中的不满全部发泄到洪成豪头上，到了最后，洪成豪被孤立，被排挤，只要跟他有关系的人和物，都是受到牵连，比如赵驰，赵驰作战勇猛，性格耿直，只是因为与洪成豪早年就认识，私交还算不错，就是这样，赵驰被所有人针对，最后被逼得没有办法，只能离开。
这种情况，李忠不能任期发展下去，赵智派洪成豪到安北来，是有分权的因素，但更大的意图，是平衡整个安北的军方势力，不能让任何人做大，所以，李忠不管是喜欢也好，不喜欢也好，只能站在洪成豪这一边，把做事最为出头的几