又从不邀功，再加上曹丕总是在父亲面前讲他的好话，官位不断升迁。几年时间，他从议郎、丞相东曹属晋升到丞相主薄。
赤壁之战后，曹操把主要精力用在平定关中和稳定内政上，取得了成效，再也没有出现当年征伐北方时那种摧枯拉朽的大规模战争。曹操得知刘备取得益州，深为忧虑，作为著名的军事家，他深知汉中是关中和巴蜀的咽喉要冲，也看透了诸葛亮必然要取汉中的计谋，当机立断，亲率十万大军征讨当时控制汉中的张鲁，司马懿作为丞相主薄跟随。
张鲁是张良的后人，但却没有老祖宗的智谋，曹操军至阳平关，他就逃往巴中去了。曹操进军南郑，把张鲁多年的积蓄打包运走，问司马懿如何对付逃跑的张鲁。
司马懿说：“张鲁志大才疏，在乎的无非是名位，只要丞相封他的官，许给他爵位，他就会投降，因为他与刘备是仇家，已经退无可退。”于是曹操命人劝降张鲁，封侯拜将，张鲁就归顺了曹操，曹操收了张鲁的地盘，就要回军。
司马懿谏言：“丞相出师收复陇右，宜乘胜出击。刘备用诸葛亮之计俘虏了刘璋，蜀人尚未归附，这正是破蜀的绝佳时机。丞相陈兵于汉中，益州就会震动不安，再加上张鲁的降兵，我们有十五万人入蜀，刘备、诸