公元220年春天，曹操得了头风病，卧床不起，寝食不安，夜里经常做怪梦，一做梦就看到那些被自己杀掉的人来到面前，赶都赶不走，又惊又吓，病情一天比一天沉重。大家建议请道士来作法事，驱逐鬼魂。曹操说：“圣人云：‘获罪于天，无所祷也。’我天天梦见鬼魂，这说明我的寿命已经到了尽头了，作法事毫无用处，快为我准备后事吧！”又想了想道：“召曹洪、陈群、贾诩、司马懿四人到我床前来，其余的人暂且出去。”
不一会，曹洪、陈群、贾诩、司马懿四人先后来到曹操的卧室中，曹操等四人到齐了后，对他们说：“你们四人是我的得力大臣，我一生东征西讨三十多年，剿灭了许多割据势力，现在只剩下西蜀的刘备和江东的孙权两股势力，我已经不行了，这些事情只有依赖你们去做。我今天请你们来，只想请你们多多帮助长子曹丕继承我的事业……”四人跪拜在地，一一磕头领命。
曹操死后，曹丕继承了魏王的称号，将属下文武大臣一一加封，司马懿作为曹操的托孤大臣，自然也得到了封赏。曹丕向来与司马懿交情很深，国家大事经常向司马懿请教，司马懿这时真正成了曹丕的得力助手。
这年的秋天，天下出了许多奇异的事情，在石邑县（在今河北省境内）发现了凤凰，在临淄城（在今山东淄博市东北），有麒麟出现，在邺（在今河北临漳县西南）郡出现了黄龙。按当时的说法：“龙、风、麒麟等物都是极其吉祥的动物，这些动物的出现，就预示着有一个新皇帝要登基了。”于是，曹丕手下的一大批文武官僚刘晔、华歆等人便商量要立曹丕为皇帝，废除现在的汉献帝。在曹丕的默许下，四十多名文武官僚集体面见皇帝，要求废掉汉朝的名称，将帝号让给魏王曹丕。汉献帝起初死活不肯，被众人软硬兼施，考虑还是保命要紧，只得发一道诏书，废除自己汉朝皇帝的称号，将帝位让给曹丕。诏书一下，曹丕立即就要继位。司马懿对曹丕说：“不能这么快就接受这份诏书！”曹丕问：“为什么？”司马懿说：“现在，名义上还是汉朝的天下，汉献帝将帝位让给您坐，这本是应该的事情，但天下的老百姓不知道内情，朝廷里的一些旧臣也会不服气的，他们会在外面说是您逼着皇帝退位的，这样舆论对您不利，今后也会带来许多矛盾。”曹丕说：“那该怎么办才好？”司马懿说：“从历史上说，尧将帝位让给舜，是让了三次的，并且还筑了一个土台，在台上举行了隆重的让位仪式。这表现出是他诚心将帝位让给别人的，而不是被人强迫着这么做的。今天，您也该模仿古人，先将汉帝的诏书和玉玺退回去，再写一份推辞的信，表明自己不想当这个皇帝。我们再派人将这套仪式告诉皇帝。皇帝再下诏书，不允许您推辞，说明是为国家大事考虑，才将帝位传给您的；您不为自己想，但要为天下的老百姓想，必须接受皇帝的位子。这样做，既符合古代圣明君主的体制，又表明了皇帝让位的诚心，才能使天下人心服口服。”
曹丕本来就很信任司马懿，现在听了司马懿这一番分析，觉得非常有道理而且非常稳妥，不禁对司马懿大加称赞，立即照司马懿的计划办理。经过几次推让，曹丕终于稳稳当当地当上了魏国皇帝。
曹丕当了皇帝后，更把司马懿当作最得力的大臣，任命为尚书，又提升为御史中丞，加封为安国乡侯，第二年又升为尚书右仆射。两年后，曹丕南巡，命司马懿坐镇首都，改封司马懿为向乡侯，转为抚军，总领军事，又加封为给事中，行使宰相的权力。司马懿推辞说：“我为您尽职尽责，这是我的分内事，您给我这么优厚的待遇，反而使我内心不安。”曹丕说：“你助我治理国家，忠诚不二，我给你加封，只是要你多为我分忧，多为国家做点事情，你一定要不辞劳苦地多做事情。如果你不愿接受封号，那就是怕负责任，请你不要再推辞了！”司马懿只得表示感谢皇帝的宠爱，接受了曹丕的加封。曹丕又说：“你是我父亲托孤的重臣，又是我的得力助手。今后，我如果出巡，你就留守；我如果向东，你就镇守西方；我如果向西，你就为我镇守东方，请千万记在心上！”
对于曹丕的信任，司马懿当然感激不尽，更加忠心耿耿地为国家尽力做事，表现出卓越的才能。
公元223年，刘备攻吴兵败而死，蜀国内部新旧交替，人心不稳。曹丕听说后，立即准备乘机发兵攻蜀，并聚集文武百官商议此事，有的说不能打，有的说能打，司马懿大声说：“机不可失，时不再来，应该乘机发兵！”曹丕见司马懿也主张出兵，便问他可有什么妙计。司马懿说：“现在以我们的一国实力打西蜀难以取胜，可发五路大兵，四面夹攻，诸葛亮纵然善于用兵，苦于首尾不能救应，也没有办法对付！”曹丕问：“请问是哪五路大兵？”司马懿举起手来，伸出手掌说：“第一路，派人去见鲜卑国国王，送他一份厚礼，让他从辽西派羌兵十万，从旱路由西平关入蜀；第二路，派使者到南蛮国，令蛮王孟获，发蛮兵十万，从西川南部进军；第三路，派使者到东吴去，与孙权结盟，令孙权发兵十万，从川东、川西峡谷口进攻，直取涪城（在今四川省三台西北部）；再令原西蜀降将孟达从上庸（在今湖北省竹山县西南）发兵十万，向汉中挺进；第五路，由大将军曹真为都督，发兵十万，向西川进攻。五路大军共计五十万人马，诸葛亮本事再大也难以对付！”曹丕大喜，立即颁下诏书，令各自发兵。五路大军发出，虽未取得什么进展，倒确实使蜀国上下大为震惊。这次五路大军的部署，充分展示了司马懿的军事才能。
公元229年，曹丕忽然得了风寒感冒。他这年才四十岁，正当壮年，起初不把感冒当回事，哪知道一天比一天严重，全身无力，竟然不能起床。他似乎已经感到活不下去了，无可奈何，准备安排后事。
曹丕传诏：立即请中军大将军曹真、镇军大将军陈群、抚军大将军司马懿三人入宫，又把儿子曹睿叫到床前，等曹真、陈群、司马懿三人来到之后，曹丕指着儿子曹睿说：“我的病已经非常沉重，是好不起来了，今天请你们三人进宫，就是把儿子托付给你们，我死以后，请你们三人尽力帮助他。”三人齐声说：“您的病会好的，请不要想得太多！”曹丕说：“今年许昌城门无缘无故地崩塌了下来，这是不祥的兆头。现在才知道，这是预示着我的寿命已经到头了。”正在说着，征东大将军曹休回来了，在宫外等候召见，曹丕让他立即进来。曹丕对曹休说：“你来得正好，你与曹真、陈群、司马懿四人都是国家的栋梁大臣，如能团结一心、辅助我的幼子曹睿，我死在地下，也能心安了！”又对曹睿说：“他们都是国家的老臣，你要加以重用，如果有人挑拨他们几人的关系，造什么谣言的话，千万不要相信！”曹丕挣扎着说完话，含着眼泪死去。
曹丕一死，司马懿等人一面办理丧事，一面扶持曹睿当了皇帝。丧事完毕，曹睿分封大臣。他对曹丕托孤的几人特别加封。司马懿被封为骠骑大将军，正好当时的雍州、凉州没有守将，两处又接近边界，是个很重要的地方，司马懿为表示忠诚，主动请求驻守凉州，曹睿同意司马懿的请求，命他总管雍、凉二州的兵马，封为舞阳侯。司马懿谢恩后，率领两个儿子立即赴雍、凉二州去上任。
