等朕郊祭典礼完毕后再放卿回去。”
等到穆宗赴庙郊祭祀后，牛僧孺又上表陈述自己退隐的心愿，于是在鄂州设置武昌军额，以牛僧孺为鄂州刺史。
江夏城风土民情散漫、环境恶劣，很难建立城池的低垣与高墙，只是每年加板添筑，上头简单的覆盖青茆。官商勾结、狼狈为奸，弊病连绵了好几年。牛僧孺到了之后，总计节省茆、苫等板筑的费用，每年有十多万，即刻赋以专属税收，以抵制苫筑的价格。如此五年，高墙低垣尽皆修葺，中间剥削的蠹虫及弊病除去。
李宗闵辅政，屡荐牛僧孺有才干，不宜老居于外围。于是召还，牛僧孺守兵部尚书、同平章事。
此时中尉王守澄专权用事，多采纳小人，私自议论、批评时政，朝廷中的机密事胡说成一气。有一天，在延英殿面对多位宰相，文宗说：“天下有何方法获得太平，卿等有关心此事吗？”
牛僧孺说：“微臣等人，待罪辅佐陛下，无能力使社稷安康、济世救民，然而臣想求得太平盛世也不是很难。当今四夷安抚，不至于入侵犯境，百姓不至于流离失散；上无暴恶之行，下无怨恨之心；私人无强取之财，公众议事无壅塞停滞。虽然不能达到极致，也可说是小康。陛下对太平若别有所求，那就不是