南阳太守杨俊素以知人善任著称，司马懿二十岁前，杨俊曾见过他，说他绝非寻常之之；尚书崔琰与司马懿的兄长司马朗交好，曾对司马朗说：“君弟聪亮明允，刚断英特，非子所及也”(《晋书·宣帝纪》)。
建安六年(201年)，郡中推举他为上计椽。时曹操正任司空，听到他的名声后，派人召他到府中任职。司马懿见汉朝国运已微，不想在曹操手下，便借口自己有风痹病，身体不能起居。曹操不信，派人夜间去刺探消息，司马懿躺在那里，一动不动，像真染上风痹一般。
建安十三年(208)，曹操为丞相以后，始用强制手段辟司马懿为文学掾。曹操对使者说，“若复盘桓，便收之”(《晋书·宣帝纪》)。司马懿惧之，只得就职。曹操让他与太子往来游处，历任黄门侍郎、议郎、丞相东曹属、丞相主薄等职。司马懿在曹操手下任职，小心谨慎，勤勤恳恳，“至于刍牧之间，悉皆临履”。
