虑短浅，不能经画边事，今国势日蹙，诚不可以备位。又说，朝廷若继续留用唐恪与聂昌，则所有政事不修，威刑不振，人材无一可用，将士不肯用命。
没过多久，胡舜陟就改口建议赵桓逃出东京，前往洛阳或者长安避难，所以，胡舜陟弹劾唐恪的话，其实是乱弹。
汴梁城中的军民这时也普遍认为，唐恪是一个俗吏，昏懦无能，人们甚至都想找机会揍唐恪。
有一天晚上，唐恪乘轿外出，被百姓发现。
百姓皆向唐恪抛砖扔瓦，甚至将他照明的灯笼都打破了。
在卫兵保护下，唐恪弃桥骑马，才得以逃脱。
回家后，唐恪当即上书请求辞职。
赵桓觉得，唐恪已失人心，不适合继续担任宰相，遂免去少宰职务，让他担任观文殿大学士、中太一宫使兼侍读。
唐恪罢相了之后，赵桓任命何栗为门下侍，成为准宰相。
经过赵桓重新调整，朝廷新的执政大臣分别是：门下侍何栗、同知枢密院事孙傅、中书侍郎陈过庭、尚书右丞李回、签书枢密院事曹辅。
尚书左丞冯，此时被完颜宗翰留在军中。
现在唐恪已罢相，何栗重回朝廷，并成为准宰相，