僧孺，他以染患足疾推托。恢复宰相的职位、襄州刺史、山南东道节度使，加食邑到三千户。上朝辞别的日子，皇上还赐觚、散、樽、杓等金银古器，令中使转达告诉他：“卿是个正人君子，特赐给你这些古器，卿但且为朕做短暂的逗留。”
牛僧孺回答：“汉南一带，遭遇到水旱之后，流离庶民等待我去处理，实在不适宜多停留。”于是再三请行，方允许。
武宗即位，李德裕掌权，罢免牛僧孺的兵权，征为太子少保，赠太子太师，谥号为文贞。李德裕是中唐时期牛李党争里李党的领袖人物，因为党争的关系，他多年被排斥在朝廷之外，虽然在地方上做了不少贡献，但总受到压制。
牛李党争是中唐时期牛党、李党两派士大夫进行的朋党之争，两派官员互相倾轧，争吵不休，从宪宗时期开始，到宣宗时期才结束，前后将近四十年。牛党的领袖是牛僧孺、李宗闵和李逢吉，而李党的领袖则是李德裕、裴度和李绅。
唐宪宗年间，举人牛僧孺、李宗闵在科考时批评朝政，考官认为二人符合选择条件，便把他们推荐给宪宗。宰相李吉甫得知，认为牛李二人揭露他的短处，便在宪宗面前哭诉，称二人与考官有私人关系。
宪宗于是将考官降职，牛李二人也未