1949年12月初，中国人民解放军以摧枯拉朽之势，一举攻下贵阳、遵义后，分兵三路，直指成都。
　　12月8日，国民党“行政院长”阎锡山率“副院长”朱家骅、“总统府秘书长”邱昌渭等人，在一片凄风愁雨中，乘专机飞抵孤岛台湾。
　　阎锡山到达台北后的当天下午，即在寓所召开新闻发布会，正式宣布“国民政府”自即日起迁移台北办公。自此，国民党在大陆的统治彻底结束。
　　阎锡山刚到台湾时，还颇有几分卧薪尝胆、卷土重来的意味。他频频召开新闻发布会，反复宣传到台后的施政方针，并多次发表演讲，批评国民党内的不团结，总结在大陆失败的经验和教训，决心立足台湾好好干一番事业。
　　殊不知，这个时候的蒋介石正在重新考虑“国民政府”的人事安排。
　　蒋介石的用人政策，历来是以我为中心。顺我者昌，逆我者亡。历史上，被称为“山西土皇帝”的阎锡山曾几次倒蒋，甚至在中原大战中与蒋介石直接对垒。蒋介石对他一直心存芥蒂，但考虑到国民党刚到台湾，百废待兴，一切以稳定为好，所以对阎锡山还是比较客气。
　　虽然阎锡山有自己的个性，但他也知道自己这个“行政院长”看似权力很大，其实是一切以老蒋的意见为是，老蒋说什么，他就得干什么。这种仰人鼻息的生活，阎十分讨厌，但也无可奈何。
　　尽管如此，阎锡山还是到处发表讲话，痛斥国民党的腐败无能，同时对国民党内部帮派之间的矛盾十分不满，对国民党的一败再败的战略指导思想，多有责备之意。
　　阎锡山的讲话处处刺到了蒋介石的痛处。这些话如果让老蒋本人来讲，一点事也没有，而阎锡山却毫不顾及蒋的面子，句句话带刺，这就使蒋感到难堪。于是，马上换掉阎的想法在蒋介石的脑子里形成了。
　　早在国民党逃台的前夕，蒋介石就卸去“总统”一职，由“副总统”李宗仁代之。而这时，李宗仁远在美国，按照国民党所谓“宪法”，“总统”、“副总统”缺位时，应由“行政院长”代行其职权。这就是说，阎锡山在台湾就应该是绝对权威。但蒋介石早就把这些所谓的“法统”丢在脑后，对“行政院”的工作，事无巨细，处处过问。特别是人事上的安排，蒋更是牢牢抓住不放。1950年元旦刚过，蒋便把阎锡山叫到办公室，说是与他商量“行政院”改组人选，其实就是通知他应该换调哪些人。在蒋介石的授意下，形成了以下的人事任免名单：
　　一、谷正纲代理“内政部长”；
　　二、陈良任“交通部长”；
　　三、阎锡山辞去“国防部长”职务，由参谋总长顾祝同兼任；
　　四、“政务委员”张群辞职，由丘念台继任；
　　五、关吉玉辞去“中央银行”总裁一职，由俞鸿钧继任。
　　从这个名单可以看出，谷正纲、顾祝同、俞鸿钧等蒋的嫡系接替了阎锡山的人马，就连阎锡山本人任职多年的“国防部长”一职，也失去了。
　　“行政院”改组，引起了国民党各方人士的不满。一天晚上，阎锡山刚刚吃过晚饭，正在院子里散步，一帮四川籍的“立法委员”闯进了阎的官邸，他们气愤地质问阎锡山：“这次‘政府’改组，为什么四川这么一个大省，竟无一人‘入阁’?”
　　这一问，倒把阎锡山问住了。因为他名为“行政院长”，但改组人事他却不能做主。这次改组，他圈子里的人也“改”掉不少，但这怎么好与人明说呢?阎锡山一肚子苦水无处倒，自己没有落得好，反而当了老蒋的替罪羊，处处遭人埋怨。
　　蒋介石频繁干预“行政院”事务，弄得阎锡山十分窝火，时间一长，他就产生了卸任的念头。
　　1950年3月1日，蒋介石一脚踢开李宗仁，在台北正式复职。“登基”仪式完毕，阎锡山便向蒋介石提出了辞去“行政院长”的请求。
　　阎锡山提出辞呈，蒋介石心里很高兴，但嘴里仍假意挽留一番。第二天，蒋介石亲自来到“行政院”阎锡山的办公室，与阎长谈，安抚阎锡山。
　　3月6日，国民党中央常委召开了由蒋介石主持的临时会议。会议批准了阎锡山的辞呈报告，决定由陈诚继任“行政院长”。
　　阎锡山打了一辈子的仗，到了老年，才似乎悟到什么。离职前，“行政院”召开了一个小型茶话会，为阎辞行。会后，有人将老子《庄子·箧》里的两句话“绝圣弃知，大盗乃止”送给阎，阎意味深长地说：“无珠宝而争珠宝，不是不争，是无所争；有珠宝而不争，是自己心上无珠宝，才足为奇。人不污辱你，不和人争，不是不争，是无争；人污辱你，你不和人争，才是不争。”阎锡山的这番话，表明了自己决心与世无争的心态。
　　卸去“行政院长”后，第二天阎锡山就将家搬到了台北地处偏僻的丽水街。搬到新家的当天，他就开始写《人应当怎样》。在这篇文章里，他表述了自己离任后对时势的悲观，同时也对未来充满幻想。
　　从此，阎锡山深居简出，将自己关在家里著书立说。
　　半年后，阎锡山又由丽水街搬往台北市郊的阳明山边的菁山居住。
　　菁山原是日本占领台湾期间兴建的未成的农场。这里地处偏僻，交通不便，平时进城，要步行30分钟，才能到达公路。附近没有村落，也没有电灯、电话、自来水。小道两旁，杂草没膝，人到之时，野兔四处逃窜。
　　阎锡山来到这里之后，让人略加开垦，修建了一座草庐。
　　台北地处台湾北部盆地，每年到夏季酷热难耐，而且台风频频光临。草庐抵挡不住炎热和台风，他便想起了山西老家的窑洞。窑洞冬能御寒，夏能防暑，又不怕台风侵袭，何不在这里也建一座窑洞呢?他找来当地的一些老农询问：“为什么台湾没有窑洞?”那些老农回答说：“这里土地潮湿，不适挖洞。窑洞空气不流通，再说台湾经常闹地震，挖了洞恐怕也受不了震动。”
　　阎锡山认为，窑洞的这三个缺点，都有办法解决：窑洞四周糊上水泥，就可以防止潮湿；将窑洞前后各开一扇窗，就可以解决空气流通问题；至于地震，窑洞与楼房一样，楼房设计能防震，窑洞设计得好，也一样能防震。
　　于是，阎锡山便让人建了一方窑洞。窑洞建成后，他以自己的所谓种能宇宙观，将窑洞命名为“种能洞”。后来，他又向附近的台湾金铜矿物局租了一大片地，建成了一座“种能农场”。阎锡山在农场里，种植了许多柑橘和松树。写作累了，他就在这里锄草种地，打发时光。
　　阎锡山的儿子在美国，他在日本也有许多亲戚。据说，他卸任后不久，曾一度想移居美、日，却没有得到老蒋的批准。让这个多年的政敌自由地出入美、日，蒋介石确实是有些不放心。现在听说阎锡山改变初衷，移居菁山草庐，专心著述，这正合蒋介石之意。没过多久，蒋介石偕夫人宋美龄亲往菁山探视。蒋果然看到脱下军服的阎锡山学问很有心得，一副心境淡泊、超脱世外的神态，蒋介石放心了。
　　阎锡山在菁山一住就是十年。他一心读书写作，非重大的活动，不轻易进城。他生活很有规律，每天早晨７时起床，然后写作；午饭后休息两个小时，下午会见客人，或者思考问题；晚上１０时准时入睡。这期间，蒋介石曾多次上山来看望阎，这对阎锡山来说，也是一种“殊荣”。
　　阎锡山是一个不甘寂寞的人，但是自从卸任以后，便门前冷落车马稀了。这固然是人情冷落、世态炎凉之故，但更重要的一点是，阎锡山来台后，从大陆带来的嫡系少，且从政多年，结怨、树敌太多。如他与蒋介石进行过中原大战，与“政学系”争夺过西南地方权力，与白崇禧争夺过“国防部长”之职……无形中把自己放到了与众人为敌的位置上。所以，他在菁山十年，除老蒋去看过他两三次，陈诚接手“行政院长”后，出于礼仪，去看过他一次外，国民党政要中再没有其他人上山看过他。倒是一些报刊、电台影视记者，对这位经历了清王朝、辛亥革命、北洋军阀统治、国民党统治以及残留在台湾的国民党统治的“五朝元老”颇感兴趣，屡屡造访菁山。所以，阎锡山潜心研究的所谓“大同主义”中和哲学，常见之于台湾报刊，这对处于世人冷漠之中的阎锡山，多少也有了些慰藉。
　　1959年，阎锡山已是77岁。一天晚上，他伏案写作完毕，准备上床休息时，忽感心脏不适。第二天，他到台湾大学附属医院检查身体，已经患上比较严重的心脏病。医生便劝他住院治疗。他在医院住了一个多月，因时时记挂尚未完稿的《三百年的中国》一书，没等痊愈便匆匆赶回了菁山。
　　1960年元月，《三百年的中国》一书终于完稿。阎锡山又雄心勃勃，开始重新研究《二十五史》及《十三经》。
　　这一年的5月2日，阎锡山忽然腹泻，第二天起床便发现腿部浮肿。经过医生治疗，身体很快康复。可是到了5月10日，阎早上起床后又感到不适，遂请医生来家治疗。第二天半夜，开始气喘。医生诊断为感冒转气管炎，建议入院治疗。这时，台大医院内科主任蔡锡琴赶到，诊断为急性肺炎并冠状动脉硬化性心脏病，病情已十分严重。
　　5月23日上午，阎锡山被送进医院抢救。到中午1时30分，阎病情加重，大口喘气，不久心脏便停止跳动。虽经医生大力抢救，但最终回天乏术，宣告不治身亡。时年78岁。
　　阎锡山死后，台湾为他举行了隆重的葬礼。葬礼由何应钦主持，蒋介石亲临致哀，并送一块匾额，上写“怆怀老勋”。
　　阎锡山死前，曾嘱其家属七点：
　　一、丧事宜简不宜奢；
　　二、来宾送来的挽联可收，但不得收挽幛；
　　三、灵前供无花之花木；
　　四、死后早日出殡不做久停；
　　五、不要过于悲痛放声大哭；
　　六、碑墓上刻着他的日记第100段和128段；
　　七、七日之内每天早晚各读他的《补心灵》一遍。
　　夫人将他的日记打开，找到了第100段和第128段，只见上面分别写着：
　　义以为之，礼以行之，逊以出之，信以诚之，为做事之顺道。多少好事，因礼不周，言不逊，信不孚，致生障碍者，比比皆是。
　　突如其来之事，必有隐情，惟隐情审真不易，审不真必吃其亏。但此等隐情，不会是道理，一定是利害，应根据对方的利害，就现求隐，即可判之。
　　阎锡山的墓地就选在他生前居住的菁山草庐地区后面。这里茂林修竹，远山如屏，淡水、基隆两河流左右萦绕，山下的台北市历历在目。
　　阎生前，曾制作挽联数副，嘱其家属在他死后，刻在他的墓地。其中有一副挽联写到：“有大需要时来，始能成大事业；无大把握而去，终难得大机缘。”阎锡山一生积极反共，在死前，还痛惜自己不能追随蒋介石“回大陆去，而深感遗憾”。他一生从政从军，不得意的时间居多。这副挽联，正是他临死前的心境表露和无可奈何的哀叹。