堂之高，则忧其君；处江湖之远，则忧其民”。南宋理宗时，江万里任待御史，其母病危，江万里因公务繁忙不能脱身，只是派其弟回家探望，当他亲自返家里，其母已病故。这时，朝中有人诽议说他“不忠不孝”，这在当时可是不小的罪状，江万里因此在家赋闲12年。宋度宗即位，度宗念江万里之远见卓识，任命他担任同知枢密院事兼参知政事，逢权臣贾似道得宠，与贾曲阿逢迎不同，江万里因刚直不阿而为贾不容，江万里被再次罢官。南宋将亡，宋度宗再次想起曾被自己誉为“国之柱石”的江万里，遂任命江万里为左丞相兼枢密院使。江万里一身领两府，加上时局维艰，公务更为繁忙。因湖北襄阳被元兵围困，临安危在旦夕（军事家有“襄阳破，南宋亡”之说），江万里力主抗元，提出襄阳解围良策，与贾似道相抵触被再度罢官。罢官赋闲后的江万里对前来探望的学生文天祥执手相看泪眼，嘱予国事并寄予殷切的希望。
作为著名学者，史书称江万里“问学德望，优于诸臣”，“议论风采，倾动一时”，是历史公认的与欧阳修、司马光齐名的历史文化名人，文天祥称江万里“都范（范仲俺）、马（司马光）之望于一身”。文天祥曾在《贺江左丞相除湖南安抚使判潭洲》一文中对江万里的学问名节