呂不韋晚年沒有給自己的人生畫上圓滿的句號。

鑒于他和嬴政的特殊關系，在平定嫪毐叛亂后，呂不韋僅被免去了丞相的職務。但是，嬴政自幼年起所經歷的畸形的家庭生活，給他身心留下了太多的傷痛。他親眼目睹了母親放蕩、不檢點的生活，甚至自己都是十七八歲的大小伙子了，呂不韋還明目張膽地入后宮和母親廝混，尤其那個嫪毐，簡直是一頭牲口。嫪毐已被鎮壓，嬴政不擔心了，可呂不韋還在咸陽，他如果哪天再入后宮，和太后舊情重燃，豈不又惹麻煩？

嬴政畢竟是政治家，他從秦國穩定、秦國發展的高度考慮問題，再次做出決定，讓呂不韋離開咸陽，到封地洛陽，“就國河南”。應該說，嬴政做出這樣的決定，依舊給足了呂不韋的面子。到洛陽，你食十萬戶租稅，你還是文信侯，依舊享受榮華富貴，而且遠離了政治中心，還落得個安全、清凈。從這點看，嬴政用心良苦，為呂不韋安排了安度晚年的去處，也算是解決他們特殊關系的最佳方案吧。

呂不韋怎么辦？他要是真聰明，應該心悅誠服地到洛陽去，低調做人，閉門謝客，“韜光養晦”，總結自己從政以來的得與失，安度晚年。

但是，呂不韋沒有這樣做，他自以為在洛陽可以積攢力量，發展勢力，也許還會有些“作為”，甚至東山再起！

來洛陽后，呂不韋果然又活躍起來了，他廣泛交結，家中整日酒席不斷，高朋滿座，前來拜訪、探望的各國使者賓客絡繹不絕。《史記·呂不韋列傳》載：“歲余，諸侯賓客使者相望于道，請文信侯。”

呂不韋在洛陽的活動，很快傳到政治嗅覺很敏感的嬴政那里。嬴政剛親政，需要穩定，沒想到呂不韋不接受教訓，耐不住寂寞，這真不能容忍！嬴政終于感到必須對呂不韋采取最后的一招了。

秦王政十二年（公元前235年）他派人給呂不韋送了一封信，呂不韋打開一看，只見上面寫道：

“君何功于秦？秦封君河南十萬戶？君何親于秦？號稱仲父！與其家屬徙蜀！”這封信是嬴政對呂不韋政治地位和親情關系的徹底否定：

第一，你呂不韋對于秦國無功，不應該享受租稅食邑；

第二，你呂不韋與我無親，不該稱仲父。一個既無功又與我不沾親的人，跟我有何關系，趕快遠遠的離開這里！

按說，君主處死一個失勢下野的大臣，用不著說這么多的話，可是嬴政卻非要對呂不韋給個說法。可是這個說法卻泄漏了“天機”，所謂“無功”、“無親”純屬正話反說，恰恰是“有功”、“有親”。面對這樣一封絕情信，呂不韋無言可辯，他后悔自己的失誤，感嘆自己的命運不濟，但一切都晚了。不久他喝下毒酒自殺。

關于呂不韋之死，還有一種說法，他是在遷蜀路上服毒自殺的。司馬遷在《太史公自序》中說“不韋遷蜀，世傳《呂覽》。”學術界不少人認為，呂不韋得知遷蜀而自殺，未曾至蜀。

從呂不韋棄商從政，建立顯赫功績，到一再失誤，落得悲慘結局，可以看出，他始終以商人投機的心態和“贏利”的價值觀處理事務。他的謀略和活動能量都是超一流的，任丞相一職也名副其實，但他在處理個人問題上就不那么聰明了，他私心太重，有利就鉆，見便宜就占，終于使嬴政改變了對他的看法，政治關系取代了情感關系，呂不韋晚節不保，身敗名裂，為后人留下深深的思索。