1946年6月，內戰爆發，已經50歲的薛岳時任徐州“綏署”主任，開始了“反共、反人民”的戰爭，也正是這場內戰使薛岳的軍事生涯開始了下坡路，直到跌入人生的最低谷。起初薛岳還比較順利，指揮所屬部隊向蘇北、山東進攻，8月19日，參謀長陳誠和薛岳在徐州召開軍事會議，商討進攻淮陰的計劃，會后國民黨軍兵分三路：中路李延年集團主攻淮陰，北路馮治安集團攻打臺兒莊和魯南，李默庵在蘇中鉗制粟裕。截止到8月底，薛岳部隊消耗了解放軍的大量兵力，并將解放軍華中野戰軍主力牽制在了蘇中地區，有效配合了國民黨軍在淮南和淮北的戰斗。

但是在9月份的魯南戰役中，薛岳連連失利，丟了國民黨軍兩個師。而更令蔣介石無法接受的是，他把蔣的家底、機械化部隊第一快速縱隊給報銷了。于是，蔣介石非常生氣，派參謀總長陳誠親自坐鎮徐州督戰，實際上是剝奪了薛岳的兵權。不料，陳誠在徐州的表現比薛岳還要差，由于他和蔣介石的瞎指揮，第二綏靖區李仙洲集團在萊蕪被解放軍全殲。蔣介石親自干預的戰斗一敗涂地，感覺很沒有面子，而薛岳自然成了替罪羊。

1947年3月3日，蔣介石以“指揮無力，名聲低落”的罪名撤了薛岳的職，換以穩重著稱的顧祝同統一指揮徐州、鄭州兩個綏靖公署的部隊。其實，在薛岳指揮失利的戰斗中，戰斗失敗也不能全怪他，而是當時國民黨軍士氣低落，沒有戰斗力，再加上解放軍英勇奮戰。這在粟裕得知薛岳被撤職后所說的話中可以得到證明：“薛岳用兵尚稱機敏果斷，而顧祝同則歷來是我軍手下敗將，以庸才代替干才，在高級軍事指揮人員上的更迭，正象征著國民黨的日暮途窮，最后必然會走向崩潰?！敝髧顸h整編第74師在孟良崮上全軍覆沒，與此也并非沒有關系。由此可以看出，當時薛岳部在后期戰爭中的失利表現是大勢所趨，并非薛岳本人所能改變的，并非薛岳的指揮一無是處。

1947年5月，薛岳出任南京政府參軍長，次年轉任總統府參軍長。1949年2月，調任廣東省主席，在任期間，他積極整頓保安部隊，對解放軍粵贛湘邊縱隊進行了有效打擊。1940年代末，在國民政府窮途末路的時候，蔣經國在上海整頓金融秩序，強迫市民把金銀都兌換成金圓券，把上海市面搞得天翻地覆。當時桂系的黃紹竑問薛岳：“如果小蔣硬要你把金子去兌金圓券，你怎么樣呢？”薛岳開口就罵：“丟那媽！我們辛辛苦苦搞了幾十年，出生入死，才掙得這些金子，如果兌成了轉眼一錢不值的金圓券，以后我們吃什么？他敢來，我就開機關槍打死他?！?/p>

1949年10月，解放軍入粵，廣東國民黨軍無力抵抗，薛岳只好逃到了海南。12月1日，薛岳任海南防衛總司令，統一指揮海南陸、海、空三軍，阻止解放軍解放海南。戎馬半生的薛岳當然知道，海南守軍戰斗力不堪一擊。1950年1月，薛岳飛赴臺北面見蔣介石，要求撤出海南，但蔣介石以海南不戰而棄損害臺灣的民心士氣為由，拒絕了他的請求。3月5日，解放軍發起海南戰役，海南守軍兵無斗志，如薛岳所料一觸即潰。4月22日，薛岳征得蔣介石同意后，命令所部撤退，1950年4月底，薛岳從海南島飛往臺灣，從此客居他鄉。

國民黨退往臺灣后，蔣介石為了加強國民黨的實力，維持一黨專政和個人獨裁，開始排除異己，培植自己的親信勢力，進行國民黨軍政權力轉移。這是國民黨繼孫中山改組之后的第二次全局性權力調整，即以蔣介石為首的國民黨第二代活動家開始把權力向以蔣經國、陳誠為首的第三代活動家過渡。蔣介石在大陸時期就有讓蔣經國接班的想法，在軍界大力培養黃埔系軍官，培植三青團，大搞黨團合并，以擴大蔣經國的勢力，增強其在政治中的影響力。但黃埔系軍官在反共戰場上節節敗退，尤其是三年內戰使國民黨軍潰不成軍，而蔣經國在中央政治學校成績平平，上?！按蚶匣ⅰ币惨辉偈茏瑁@些都使蔣介石丟盡了臉面。

在臺灣，蔣介石進一步抓緊個人獨裁統治，為兒子蔣經國的接班鋪路。為了排除異己，他將潰敗的國民黨軍隊進行改編，制定了《軍官假退除役辦法》，從而將閻錫山、白崇禧、楊森等解除軍職，消除了他們的威脅，徹底清除了在大陸時期就產生的派系之爭。

薛岳由于屢建戰功，難免好大喜功，從小便開始軍事生涯的他又性格暴躁且喜好煙酒和賭博，同時他也和其他國民黨要員一樣喜用私人，其弟薛仲述、薛叔達、薛季良均在其手下任軍職，其襟弟丘國維，內叔方學芬及方人矩，內弟方興及方介均曾在薛左右任要職。再加上和蔣介石關系幾十年來一直很微妙，在這場變動中薛岳當然也難以幸免。作為四大家族之一的陳果夫到臺灣后不久便病死，陳立夫也被蔣介石放逐美國新澤西州，“中統”也隨之解散，蔣經國聯合陳誠開始在蔣介石的支持下控制黨政大權。經過這番變動，國民黨許多軍政大員的權力逐漸被轉移到蔣陳為首的實力派手中，被削弱職權的軍政大員失去了往日的實力，從此落魄臺島，任人宰割。

薛岳失去軍權后，被任命為所謂“總統府”一級上將戰略顧問，其實只是一閑職。從此賦閑家中，一直未再得到啟用。薛岳自幼就仰慕岳飛，喜歡臨摹岳飛字體，這樣也算給他一個靜坐家中習文練字的機會，幾年下來他寫出的字更加蒼勁有力，頗具岳飛遺風。1950年，薛岳與小他三十歲的第三位妻子結婚，次年移居花蓮港，以為從此避開世間紛擾，過著清幽生活。

然而，蔣介石對他仍然無法釋懷，擔心他與白崇禧、李宗仁等人暗中有往來，1952年，蔣介石以其具有勾結“第三勢力”的嫌疑，命臺灣警備司令部對其住所進行搜查，家中里里外外被翻了個底朝天，甚至地板也都揭開，同時被搜查的還有白崇禧。薛、白二人打電話質問蔣經國，蔣經國稱是奉總統之命，“你不信，打電話去問總統好了”。薛、白又打電話質問蔣介石，蔣回答說：“知道此事，不僅對你們兩人如此，人人都應該這樣來一次?！碑斎?，實際上被搜查的只有薛、白兩家。另外他還被懷疑在廣東省主席任內有“大筆公款用項不明”，遭一些立法委員攻擊。以后，薛岳意志消沉，平日請一國文教師在家教書，有時與楊森一道打獵。1952年10月任國民黨中央評議委員，且此委員連任數屆，但也不過是一個虛職。

直到1958年8月，陳誠繼俞鴻鈞后出任“行政院長”，為裝點門面，才邀請薛岳等國民黨各界資深人士出任政務委員。而薛岳本人由于多年潛心練字，修身養性，再也提不起從政的興致了。1966年5月，薛岳又被任為國民黨“光復大陸設計委員會”主任委員，手中并無實權，也無事可干。

星轉斗移，轉眼間二十多年過去了，其間蔣介石、蔣經國父子相繼去世，高壽老人薛岳仍健康無恙。1990年2月，臺灣召開“第一屆國民大會”第八次會議，選舉正、副“總統”。國民黨臺灣當局為安撫資深國大代表，收攬軍系國大代表，以保證總統選舉的順利進行，居然推出96歲高齡的薛岳，讓其擔任“國大”八次會議開幕典禮的“主席”，主持開幕典禮。沉寂了許多年的薛岳又意外地出現于公眾面前。

其實早在1984年“國民大會”第七次會議的第一次預備會議上，就原定會議主席為“國大”元老薛岳，舊仇新恨，薛岳稱病未出席，在之后的“副總統”選舉大會時，原定主席也是薛岳，但是他主持了五分鐘后便表示“今天我發燒、頭痛，腰也酸，請郭驥代替我”而離場。結果，次日致送“副總統”當選證書也是由大會代主席郭驥代替的。但時過境遷，今非昔比。臺灣民進黨代表不顧形象大鬧會場，反對薛岳做開幕典禮主席，使薛岳感到不快。不久，李登輝順利當選，薛岳的歷史使命完成后，復歸沉寂。

薛岳和很多跟隨蔣介石逃往臺灣的國民黨軍官一樣，雖然遠居臺灣，幾十年來卻非常思念家鄉故土，每有機會，總要打聽家鄉的狀況。樂昌的鄉親也曾多次給他寄信、照片和錄像帶，希望薛岳能夠看到家鄉的新面貌，還經常托回樂昌探親的臺胞把故鄉親人的深情問候和祝福傳達給薛岳，這一切都讓客居他鄉的薛岳異常感動。新中國成立后，人民政府也沒有忘記這位抗日英雄，專門撥款對他在九峰的故居進行修葺，他的祖祠文物以及他在西石巖福地所建的“伯陵堂”等建筑物都得到了妥善的保管。