留下的诟病，之后二帝临终再次托孤李无为时，李无为年已七十八，李无为恐己身将不久于人世便谢绝了二帝，二帝长叹一声殡天，留下遗诏，令起他人为大将军，李无为留任太傅兼太史局，直到三帝三年云海役发生，镇寇将军吕正德一族被三帝罢为庶人后，八十一岁的李无为在朝堂之上为吕将军据理力争，但时任丞相的朱成彦独揽大权，连大将军都压不住他，朱成彦三言两语便说服三帝以疏于职守之罪剥夺吕氏一族的权益，朝臣皆附议，李无为愤而离朝，三帝在位时，再无李无为一语，后起之秀林立，权欲膨胀，物欲横流，世间人已不识李无为，三帝崩，四帝登基时，相传有一老人，蓬头垢面，如风中残烛，贺臣之中年岁高者，凡见此人无不以泪洗面，抱头痛哭，或言大将军，或言李史局，或言李太傅，或言李大人。四帝见来人竟是三朝老臣李无为！算他这一朝便四朝矣，时值李无为一百零七高龄，古往今来无一人如此高寿者，四帝便降旨着封李无为复为太傅兼重掌太史局，破例位列三公……”诸葛贤又没说完又被子婴打断了。
“子婴就是那时见到的李无为先生，没想到他那时已经一百零七岁了！可惊可叹。”子婴恍然大悟道，原来自己是在爷爷登基的时候见到的啊！
一百零七岁