1948年春，劉峙當選為第一屆國民大會代表，3月參加國民代表大會，選舉蔣介石為總統。此時解放戰爭進入戰略決戰階段，國民黨軍隊連受挫折，危局難支。劉峙眼見出山的機會難得，連連找機會向老長官何應欽輸誠。果然，1948年5月，何應欽擔任國防部長后，立即推薦劉峙為徐州“剿總”司令，掌管關內絕大部分中央軍部隊，看護南京的大門。蔣介石也明白，劉峙雖然打了一些敗仗，終究忠信可靠。輔之以杜聿明等虎將，可收短長互補之效。劉峙久閑無事，被蔣介石再次起用，受寵若驚，當面向蔣介石表示：“要我做官，不能奉命；要我拼命，義不容辭！”

表完了態，1948年6月14日，劉峙飛抵徐州就職。此事在國民黨軍隊內部引起一場小小波瀾，第五軍軍長邱清泉素來驕橫，干脆直言道：“徐州是南京的大門，應派一員虎將（指薛岳）把守。不派一虎，也應派一狗（指顧祝同）看門。今派一只豬（指劉峙），眼看大門守不住。”一切似乎被邱清泉言中。就在劉峙就職的第9天，河南開封被解放軍陳毅、粟裕部攻克。緊接陳毅、粟裕率領的解放軍又全殲趕來增援開封的區壽年兵團5.4萬余人，生俘區壽年。9月下旬，濟南解放，山東綏靖公署主任王耀武被俘。劉峙、杜聿明一度還有收復濟南的計劃。但是10月15日，傳來錦州被圍的消息，蔣介石急令杜聿明飛往北平，急得劉峙六神無主，反復念叨：“光亭（杜聿明字）走了，這可如何是好？北進誰能做主？真是料想不到的事！”劉峙坐臥不安，一連21天，徐州的部隊一直保持杜聿明走前的狀態。

11月6日，淮海戰役打響，劉峙在徐州緊張得坐立不安，連電告急。蔣介石被迫改變決心，決定在徐蚌地區與解放軍進行戰略決戰。劉峙按照蔣介石的命令，急電李延年，命令第一百軍星夜開赴海州，以加強海州和連云港一線的防務。但2天后，劉峙又決定放棄海州，再電李延年兵團向徐州靠攏，并命令第一百軍返回。在李延年兵團開始撤退時，劉峙又命令正在撤退中的黃百韜兵團及李彌兵團一部，在運河以東、隴海線以北掩護李延年。

一切都晚了。解放軍集中7個縱隊的絕對優勢兵力，對黃百韜兵團實施攻擊。11月22日，黃百韜兵團全軍覆沒。蔣介石急令劉峙抵蚌埠坐鎮指揮，將徐州近郊各軍交給杜聿明指揮。北上增援的黃維兵團在11月27日被解放軍全部包圍于雙堆集，黃維兵團10多萬人悉數被殲，黃維被俘。1949年1月6日，解放軍分東、北、南三方面向杜聿明集團發起總攻，很快攻破其防御體系，9日發動炮火攻擊，俘獲杜聿明，擊斃第二兵團司令邱清泉，淮海戰役宣告結束。此役，劉峙指揮的國民黨軍隊被人民解放軍殲滅了5個兵團、22個軍、56個師（內有4個半師起義），總計55萬余人。

55萬人全軍覆沒，劉峙從蚌埠逃回南京，知道這一回自己禍闖得太大，嚇得不敢去見蔣介石。蔣介石恨透了劉峙，于1949年1月20日下令將其撤職查辦。第二天，蔣介石自己離開南京，下野引退。劉峙兵敗淮海，蔣介石的政權根基隨之崩潰，兩者關系之緊密由此可見一斑。劉峙這個位列“五虎上將”之首的“福將”，就這樣結束了自己的軍旅生涯。從此之后，劉峙再沒有帶兵打仗的機會。劉峙被撤職后，還是想盡辦法找機會東山再起。首先自然是要取得蔣介石的原諒。為此，劉峙不惜剃光臉上的胡子，然后托人捎信給蔣介石，說自己這是剃須明志，不消滅共軍發誓不再留胡子。但隱居奉化老家的蔣介石正在氣頭上，根本不理睬敗軍之將劉峙。

蔣介石下臺后，何應欽重新得勢。蔣介石這是將何應欽推到前臺，代自己主政。按蔣介石的旨意，接受李宗仁邀請，何應欽出任行政院長。碰巧何應欽在杭州做60歲大壽，劉峙明白蔣介石的路子走不通，能幫自己的只有老長官何應欽了。他認為此機可乘，趕忙備齊禮物，趕到杭州，向老長官何應欽祝壽。果然，在何應欽的庇護下，“查辦”沒了下文。風頭過了，劉峙被委任為總統府戰略顧問。不過劉峙再也沒了兵權，有的只是一個虛職而已。

逃脫一場劫難的劉峙，明白國民黨大勢已去，開始為自己安排后路。他先帶著最受寵愛的三姨太黃佩芬，返回江西吉安老家，最后一次祭掃祖墳。從此，劉峙至死也未能返回故鄉。不久，解放軍發起渡江戰役，國民政府全面崩潰。劉峙一度前往廣州，希望能再度領兵，跟蔣介石“共赴國難”。但無論是下野的蔣介石還是“代總統”李宗仁，沒人瞧得上淮海一戰喪師55萬的劉峙。劉峙的多方努力還無結果，在廣州的唯一收獲是應“保定系”老友顧祝同之約，重游黃埔軍校舊地。眼見當年的黃埔軍校如今是一片荒蕪，景色破敗，劉峙不由流下眼淚。睹物傷人，他真是不知道自己的前途在何方。

1949年9月20日，劉峙滿心悲涼離開大陸，來到香港九龍。1949年12月7日，國民政府在大陸垮臺后，劉峙自思去臺灣不會有自己的好日子過，便以治糖尿病為名，向蔣介石告假留在香港。1950年3月1日，蔣介石在臺灣“復職視事”，重任“總統”。劉峙得知這一消息后，馬上聯合流落在香港的何成浚、陳武民等人致電祝賀。誰能料到，蔣介石沒看到電報還好，無非是暫時將劉峙遺忘。一見電報，蔣介石頓時想起還沒追究劉峙兵敗淮海的責任，當即下令——因劉峙“滯港久不歸隊”，將劉峙的“總統府戰略顧問”職務撤銷。劉峙從此丟掉全部軍職，成了一介白丁，流落香港，無法再去臺灣。絕望之下，劉峙留在香港當了寓公。好在這些年劉峙在大陸積攢了不少錢財，生活不用發愁。

沒想到，樹大招風，一伙逃亡在香港受窮的昔日部屬們，認為劉峙的錢財理應有他們的一份。部屬們不顧情面，登門強拿硬取，與到劉峙家打劫無異。事后劉峙向香港皇家警察報警，說自己遭到了盜匪搶劫。但這種案子是沒法破的，劉峙白白損失一大筆錢財。經此一事，劉峙心里暗暗拿下主意——香港這地方不安全，不能再呆下去了。香港不安全，臺灣不能去，劉峙要去何處落腳？恰逢此時，劉峙在一個偶然的應酬場合，結識了印度尼西亞雅加達中華總會的丘元榮。丘元榮得知劉峙的三姨太黃佩芬是教師出身，熱心教育，馬上勸他們到印尼去。丘元榮告訴劉峙——印度尼西亞氣候適宜，華僑眾多，華僑教育有待開展，正適合劉峙與夫人去那里開辟新的人生天地。劉峙未及多想，接受了丘元榮的邀請，準備到印尼去定居。

1950年9月24日，劉峙全家六口乘船離開香港，第一站先抵達新加坡。劉峙一家下船游覽新加坡的熱帶風光，竟然不慎遇到一伙強盜，所帶行李大部被搶，損失慘重。劉峙一家不敢再停留，趕緊上船。船繼續南行，抵雅加達海口丹絨不祿碼頭時，丘元榮親來迎接。因為臨時發現臺灣領事也在此登岸，他怕暴露劉峙一家的行蹤，不敢立刻露面，只能改派其他人上船，引導劉峙登岸。旅客入境，在雅加達要經過三個關卡，劉峙一家雖然只帶了大小六件行李，與一般旅客同受檢查，但也費了許多時間，損失了一些行李。好不容易通過碼頭的關卡，迎面又來了軍事檢查哨，公開索賄。劉峙為求生存，只好忍氣吞聲，任人宰割。更難堪的是，油水被榨后，劉峙突然又發現口袋里的錢包也不翼而飛。經過如此幾番折騰，劉峙上百萬的家財已所剩無幾。

此時，劉峙面臨的第一大難題便是為全家大小六口人謀劃生計。本來，劉峙還想通過經商，再來一次翻身。誰知，僅剩的一點家產投入后，不久即血本無歸，劉峙終于成了無產者。劉峙只好搬出雅加達，遷移到西爪哇島的茂物去住，因為那里的消費水平要低一些。又經由印尼華僑幫助，劉峙和妻子黃佩芬獲得了教員許可書，這才完成了在印尼合法定居的手續，把他們原來只可以在印尼暫居三個月的時限，延長到兩年。不久，黃佩芬受聘到當地“中華學校”教書，當上了小學老師。1952年1月，黃佩芬要回香港探親，好不容易弄到的小學教員職位舍不得丟掉，經校長批準，劉峙替她代授高小六年級的國文課和地理課。劉峙就這樣在南洋的異國他鄉開始了自己的教書匠生涯。

劉峙自幼讀過私塾，國文基礎很不錯。他又是堂堂的保定軍校畢業，當過黃埔軍校的戰術教官，對地理更不陌生。牛刀小試，劉峙講的課竟然大受學生歡迎，于是校方又要他增授高小五年級的尺牘課。不久，黃佩芬自香港回茂物時，學校已經舍不得放劉峙走了，干脆對黃佩芬另排課程，著重在她的本行美術音樂方面。劉峙竟一直代課下去，先是教高小，繼而又增加到連初中也要教。國語、作文、尺牘、歷史、地理等等課程，劉峙全都教過。昔日統率數十萬大軍的堂堂上將總司令，如今淪落異域成為中小學生的“猢猻王”，這是劉峙從來也沒有想到過的結局。當時印尼華僑小學使用的課本都是從中國大陸購買來的，“共產黨好，社會主義好”的政治傾向相當鮮明。劉峙以大陸出版的課本作師傳道，授業解困，那番哭笑不得、五味俱全的感受，真是難以言表。為此，劉峙多次寫信與印尼教育部華僑司交涉，終于說服自己所在學校改用臺灣出版的小學課本。此事后來成為劉峙向臺灣國民黨當局夸功的本錢，因為自己的“據理力爭”，才使得印尼的萬千華僑子弟“免受共匪的邪說與毒害”。

自從至茂物定居之后，化名執教的劉峙一直隱瞞自己的真實身份，許多公開場合都盡量避免參加。偏偏事有湊巧，1952年3月的一天，劉峙偶然翻閱報紙，竟然發現有人以他的名義發表談話，刊登在當地一家報紙上。劉峙一打聽才知道，這個“假劉峙”是他當年在保定學校學習時一位同學的堂弟。真劉峙在此，豈容假劉峙冒充。激憤之下，劉峙投書報社“辟謠”，表明自己的立場。劉峙的聲明在報上發表后，立刻引起了轟動。自淮海戰役結束后，人們鮮聞劉峙的名字，有人說他因打敗仗被蔣介石拘禁起來了，有人說他在大陸解放前夕投降共產黨了，還有人說他在香港當寓公。只是誰也沒有想到，堂堂“國軍”上將，搖身一變竟成為一名小學教員。一時間，臺灣和南洋的傳媒競相報道。其間來龍去脈，更成了當地華人津津樂道的話題。

劉峙在印尼教書度日的三年里，不斷給蔣介石寫信，希望能獲得蔣介石的諒解。但是蔣介石根本不理睬他。直到這一次，失蹤多時的“福將”劉峙突然在印尼出現，以及有關“真假劉峙”等一系列頭號新聞的炒作，才引起了蔣介石的注意。當時印度尼西亞已與中華人民共和國建立正式外交關系，兩國在許多國際問題上取得共識，外交往來密切。蔣介石有點害怕了——劉峙在自己這里屢屢失意碰壁，要再制造出令國民黨和他本人難堪的政治笑料怎么辦？更可怕的是，萬一劉峙給共產黨“統戰”回大陸怎么辦？于是，蔣介石示意劉峙的舊部袁守謙等人給劉峙寫信，要劉峙速來臺灣。劉峙接到袁守謙的信，大喜過望，馬上復信表示愿意去臺灣。就這樣，蔣介石于1953年8月正式示諭，接納劉峙與其家人入臺，還讓人給劉峙寄去了“入臺證”和旅費。

1953年11月6日，劉峙帶家人離開雅加達，經曼谷、香港抵達臺灣。在臺北機場，劉峙受到了原西南“剿總”總司令顧祝同、西北“剿總”總司令胡宗南、京滬杭警備總司令湯恩伯等人的迎接。看到這些昔日老友，劉峙想起幾年前與顧祝同重游黃埔軍校的情景，又想起自己這幾年飄零海外，不由得又是落淚。劉峙到臺灣第一件事，自然是去面見蔣介石。見面之時，蔣介石不容他開口，劈頭蓋臉就是一通臭罵。好在劉峙了解蔣介石的秉性，知道罵過后就會風平浪靜。況且，劉峙在大陸時就養成習慣，立正恭聽蔣介石責罵。不管蔣介石罵多久，不管罵什么，劉峙一律唯唯稱是，而且可以保持立正的姿式。這一次，年近七旬的蔣介石體力已不比當年在大陸時，罵了一會兒便感到疲倦，只好住口，吩咐劉峙回去后好自反省。

劉峙從“總統府”退出來，反倒放下了心。跟隨蔣介石多年，他知道蔣介石的一舉一動都有什么含義。蔣介石對他這頓痛罵，是把過去種種舊賬一筆勾銷。果然，一個月后，劉峙受聘為“總統府國策顧問”。1954年2月，劉峙出席“第一屆國民大會”第二次會議，當選為大會主席團主席，10月還受聘為“行政院光復大陸設計研究委員會”委員。這些官職都是虛職，但劉峙曾經海外漂泊教書度日，對這一結局已經相當滿意。1960年2月，劉峙出席“第一屆國民大會第三次會議”，仍當選為大會主席，1966年“國民大會”也是一樣。1967年，劉峙兼任“行政院光復大陸設計研究委員會”臺中區主任，直到去世為止。1962年，在印尼落魄患難的妻子黃佩芬因病去世，這對年邁的劉峙是一個沉重的打擊。不過，劉峙身體狀況向來不錯，多年來保持軍人的習慣，不吸煙，不飲酒，早晚堅持運動。1970年夏天，劉峙中風，半身不遂，住院半年養病，終告不治。1971年1月15日，劉峙病逝于臺中，終年七十九歲。