族司马徽，渐渐显出谋略。东汉末年，司马懿生于乱世，所谓“常慨然有忧天下心”。南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他，说他绝非寻常之子。尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“你弟弟聪明懂事，做事果断，英姿不凡，不是你所能比得上的。”可以说是一致看好。
司马懿少年时，和著名隐士胡昭关系很好。因与同郡的周生等人结怨而被谋害，胡昭知道后立刻涉险寻找，在崤山渑池之间找到周生一行，请求他们放过司马懿，周生开始不肯，但胡昭哭泣的诚意最终还是感动了他，这才救下司马懿。
建安六年（公元201年），郡中推举他为上计掾。当时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿见汉朝国运已微，不想在曹操手下，便借口自己有风痹病，身体不能起居。曹操不信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般，这才躲过曹操降罪。
建安十三年（公元208年），曹操为丞相以后，使用强制手段征召司马懿为文学掾。曹操对使者说，“若复盘桓，便收之”。司马懿终于畏惧，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主簿