時曹操正任司空，聽到他的名聲后，派人召他到府中任職。司馬懿時年22歲，正血氣方剛，滿懷正義，知曹操為一代奸雄，又嫌曹操出身低微，恥為曹操手下，便借口自己患有風痹病，不能起居，婉言謝絕征召。曹操懷疑司馬懿有意推托，夜間派刺客去探聽虛實。來人把刀架在司馬懿的脖子上，作出要刺殺他的樣子，但司馬懿躺在那里，瞪著兩眼，一動不動，像真的風痹病人一樣。

建安十三年（208年），曹操為漢丞相后，用強制手段，辟司馬懿為文學掾。使者臨行，曹操交代說：“若復盤桓，便收之”（《晉書宣帝紀》）。就是說司馬懿再裝病不來，就解決了他。司馬懿這才害怕了，只得就職。

此后，司馬懿“每與大謀，輒有奇策”。先后升任黃門侍郎、議郎、丞相東曹屬、丞相主簿等職。曹操為了恢復北方經濟，解決軍糧問題，曾苦思良策，司馬懿時任丞相軍司馬，向曹操建議推行包括民屯、軍屯兩類的屯田制度。曹操行之，結果曹操所統治區域，一時“務農積谷，國用豐贍”。以后成為曹魏制度，并設有專門的屯田官。這也是三國時期唯魏獨強的原因之一。

司馬懿是一名戰略家，自隨曹操出戰起，他在軍事上提出過許多重大的建議，這些建議均顯示了他戰略上的深謀遠慮，有些建議的實施甚至對當時的天下形勢發生了重大的影響。如，他曾提醒曹操，說，荊州刺史胡修為人粗暴，南鄉太守傅方為人驕奢，都不應該讓他們駐守邊防，但曹操未予重視。后來劉備襲取漢中，攻占房陵、上庸后，關羽也北攻新野、襄陽，水淹于禁七軍，蜀漢一時“威震華夏”。胡、傅二人果然乘機獻城降蜀。許都危在旦夕，曹操為避關羽鋒芒，一度準備遷都河北。司馬懿和蔣濟及時勸阻，讓他利用孫、劉爭奪荊州的矛盾，聯絡孫權出兵攻取荊州，魏則出兵取漢中、秦川，使劉備首尾不能相顧。由于司馬懿的這一建議，于是才有呂蒙偷襲荊州、關羽敗走麥城、吳蜀彝陵之戰等后事。

司馬懿的這次伐蜀主張，不僅挫敗了關羽的強大攻勢，解除了樊城之圍，而且也使諸葛亮原定的一路向宛洛、一路出秦川的兩面鉗擊中原的計劃無法實現。更重要的是破壞了孫、劉聯盟，蜀國從此勢弱，徹底改變了當時的戰略格局，掌握了三國的主動權。顯示了他作為年輕將領的杰出才能和作為軍事戰略家的博大胸懷。

曹操用人的原則，具有“既重才，又忌才；既用人，又疑人”的雙重性。加之曹操有識人之明，認為司馬懿為人，“內忌而外寬，猜忌多權變”。而司馬懿的相貌，嚴整威嚴，長著一雙像鷹一樣犀利的眼睛，曹操知其“有雄豪志”（《晉書宣帝紀》）。因此，他對司馬懿的猜疑，始終不能釋懷。

當他聽說司馬懿有狼顧之相時，就把他召來，先讓他朝前走，然后讓他回頭。司馬懿居然能臉朝后旋轉90度而身不動。相書上說，有狼顧之相的人，不是奸臣就是國賊。曹操又曾做夢，夢見三馬同槽，很犯忌諱，心中始終有疙瘩郁結。就對曹丕說：“司馬懿非人臣也，必預汝家事。”于是便想趁早把司馬懿解決掉，只是由于曹操太惜才了，遲疑不決，再加上曹丕跟司馬懿的關系很鐵，多有美言，司馬懿才得以幸免于難。

司馬懿為曹操所深忌，只能勤勤懇懇地工作，韜光養晦，明哲保身。“于是勤于吏職，夜以忘寢，至于芻牧之間，悉皆臨履，由是魏武意遂安”。

曹操進封魏王后，立曹丕為太子，司馬懿升任太子中庶子，與陳群、吳質、朱鑠同列為曹丕的“四友”。為曹丕所信任和倚重，是曹丕智囊團的關鍵人物。

建安二十五年（220年），曹操去世，朝野危懼，司馬懿管理喪葬諸事，內外肅然。不久，曹丕威逼漢獻帝禪位，想急不可待地受詔時，司馬懿建議曹丕謙辭推脫，以示謙卑處下，使曹丕在很大程度上免除天下怨謗，爭取了人心，從而鞏固了魏國的社會根基。由于司馬懿為曹丕“篡漢”出了大力，所以曹丕代漢后，司馬懿受封河津亭侯，任丞相府長史，又轉為督軍御史中丞。參與軍事，為曹丕屢出奇謀。

黃初七年（226年）5月，曹丕去世。明帝曹叡繼位，遺詔司馬懿為顧命大臣，遷撫軍大將軍，統領禁軍，輔佐明帝。改封司馬懿為舞陽侯。孫權得知魏文帝去世，于8月出兵攻魏，被司馬懿擊敗，并斬殺吳將張霸。

其后，諸葛亮六出祁山（今甘肅東南部山地），興師伐魏，明帝對司馬懿說：“西方有事，非君莫可付者。”其信任如此。司馬懿為人機警而富于智謀，雄豪豁達，心機莫測，狡詐異常，“堅壁拒守，以逸待勞”。諸葛亮深知司馬懿的厲害，便派人給他送來“巾幗婦人之飾”羞辱他，激他出戰。但司馬懿寧可穿上對方送來的女人服裝，甘心受辱，也不輕易出戰。表面上是弱者所為，但正是司馬懿示弱于對方，使諸葛亮這個咄咄逼人的強者，始終處在無可奈何的焦慮中，始終占不到上風，最后壯志未酬，病逝于五丈原。

強者最后反倒為弱者所敗。

司馬懿笑到了最后。

由此可見，司馬懿在帶兵作戰方面，遠比諸葛亮要厲害得多，是歷史上一個很有軍事才能的謀略家，城府很深，連曹操也看不透他。只是由于后人對諸葛亮的神化，司馬懿才成了反面人物。公正而言，三國英雄，唯曹操、司馬懿而已。

由于司馬懿長期帶兵在秦川跟蜀國打仗，魏國兵權大部分落在他手里。明帝提升他為太尉后，他實際上就成了魏國的軍事統帥。

景初元年（237年），原魏遼東太守公孫淵叛魏自立為燕王，置列百官，定都襄平（今遼寧遼陽）。魏明帝召司馬懿回京，于238年正月，命他率兵討伐。

司馬懿軍至遼水，采用聲東擊西之計，先在南線多張旗幟，佯攻圍塹，吸引敵軍主力，而以主力隱蔽渡過遼水，逼近敵營。接著，不攻敵營，卻揮師直取公孫淵根據地襄平。公孫淵戰死，遼東國滅。粉碎了公孫淵的分裂勢力，維護了已經形成的統一局面。在原定的一年期限內，即勝利班師。

當時司馬懿軍中有的士兵衣單寒冷，向他乞要襦衣，司馬懿不給。對人說：“襦衣是國家的，我作臣子的，不能賞與別人，換取感激。”他十分注意避嫌，以至于寧愿士兵受凍也不自作主張發放冬衣。

明帝派使者到薊去犒勞部隊，增司馬懿食邑昆陽等二縣。

本來朝廷讓他班師后直接到關中去，但當他走到白屋時，有詔書召他火速進京，三日之間，詔書五至。明帝手書說：“間側息望到，到便直排閣入，視吾面”。就是要他趕緊回京，直接入宮，面見明帝，有要事相托。

據野史記載，司馬懿攻破襄平后，曾夢見明帝枕在他的膝上，說：“視吾面。”他即抬頭，看見明帝面有異色，疑天子有疾。如今一見詔書有此語，大為驚訝。于是晝夜兼程，400多里，一夕而至。徑入嘉福殿內，流著眼淚，探問明帝病情。明帝拉著他的手，鄭重地把太子齊王托孤給他，說：“我將不久于人世，能見到你，我也沒有什么遺憾了，現將后事托付于你。望你和曹爽共同輔佐太子。”當天，明帝即去世。

時為景初三年（239年）正月。太子齊王曹芳柩前繼位，是為魏少帝，司馬懿、曹爽同受托孤輔政。