臣等棉薄之力所能做得到的。”
他告诉同列官职的同僚说：“我现在身为宰相，天子的责备与要求是如此的严酷，怎么可能久居于此地呢？”于是十日之间，三次上奏章请辞退，皇帝不允许。
当李德裕结党专擅，将进入朝廷掌权，牛僧孺因此之故得以引退。皇上既受左右邪说影响，又急于粉饰太平，奸佞小人窥伺强烈的意图，所以投其所好、双管齐下。数年之间，几乎危及宗庙社稷，而独牛僧孺一人，进退之间一切以合乎天道为依归。
士绅的道德沦丧，宦官弄权，牛僧孺嫌自己身处重要职位，上表求归还外地，可是屡次都不允许，在淮甸总共六年。牛僧孺的见识、胆量弘远，心居事件之外，不以细故介怀。后来回洛都建筑宅第于归仁里。任职淮南的时候，嘉木怪石，置之阶庭，馆宇清华，竹木幽邃。常与诗人白居易吟咏其间，自此再无进取之心。
皇上征他为左仆射，恐怕牛僧孺再次退让，命令他赶快赴任金阙。此时恰逢庄恪太子刚死，牛僧孺谈到太子，于是诚恳的陈述父子、君臣之义，人伦大经，不可偏废，否则那就很轻易的摇动国本。皇上听了之后，为之动容流涕。
当时的宰辅都是牛僧孺过去的同僚，未曾造访他的家门。皇上频频宣召牛