观望。今徙其善者，既伤其意，将令去者不敢复还。”曹操听了他的建议，没有移民，使之前藏窜逃亡者果然都复出归化，郡县皆平。
延康元年（公元220年），曹操去世，朝野危惧，司马懿管理丧葬诸事，内外肃然。同年，曹丕即魏王位，司马懿受封河津亭侯，转丞相长史。当时孙权正率军向西。朝臣们认为樊城、襄阳缺乏粮，不能抵御吴军，请召守将曹仁回驻宛城。司马懿则表示：“孙权刚刚打败关羽，正是他想和魏国结好的时候，一定不敢为患。襄阳是水陆交通要地，不能放弃。”曹丕没听其建议，命曹仁放火烧毁二城。后来孙权果然没来入侵，曹丕悔之不及。
黄初元年（公元220年）十一月，曹丕登皇帝位，史称魏文帝。登基后，任命司马懿为尚书，不久转督军、御史中丞，封安国乡侯。
黄初二年（公元221年），免去督军官职，升任侍中、尚书右仆射。黄初五年（公元224年），曹丕伐吴，司马懿镇守许昌，并改封司马懿为向乡侯，转抚军、假节，领兵五千，加给事中、录尚书事。
黄初六年（公元225年），曹丕再次伐吴，司马懿留守许昌，“内镇百姓，外供军资”。临行，曹丕下诏书给司马懿说：“吾深以后事为念，故以