顯慶四年（659年），在武則天的授意下，由許敬宗費盡心機，把長孫無忌編織進一樁朋黨案，進行惡毒陷害。許敬宗借處理太子洗馬韋季方和監(jiān)察御史李巢朋黨案之機，誣奏韋季方與長孫元忌構(gòu)陷忠臣近戚，要使權(quán)歸無忌，伺機謀反。唐高宗先是吃驚不信，繼而傷心懷疑，命許敬宗再察，然后面對許敬宗足未出戶編造的關(guān)于韋季方交待與長孫無忌謀反的供詞，哭泣道：“舅若果爾，朕決不忍殺之，天下將謂朕何，后世將謂朕何！”許敬宗舉漢文帝殺舅父薄昭，天下以為明主之例寬慰高宗，又引“當(dāng)斷不斷，反受其亂”的古訓(xùn)，催促其下決心。唐高宗竟然不與長孫無忌對質(zhì)（或者他需要不進行對質(zhì)），就下詔削去了長孫無忌的太尉官職和封邑，流徙黔州，但準(zhǔn)許按一品官供給飲食，算是對元舅的照顧，長孫無忌的兒子及宗族全被株連，或流或殺。三個月后，高宗又令許敬宗等人復(fù)合此案，許敬宗派大理正袁公瑜前往黔州，逼迫長孫無忌自殺。

自從武則天當(dāng)上皇后那一天起，長孫無忌就覺得自己大勢已去，覺得自己斗不過她，便隱忍起來修國史去了。要不然，憑借他的威望和權(quán)勢，怎能任由武則天清除王、蕭，廢黜太子，培植親信，貶黜大臣？

此一時彼一時，現(xiàn)在你是當(dāng)紅人物，而且有皇帝給你撐腰，我就不要犯傻跟你做對了，何況我以前得罪過你。我還是遠離政治吧，只要遠離了政治，你就會覺得我是一個無關(guān)緊要的人，就不會整我了。為了保全我的子孫們，同時為了我能有個善終，我服輸了，我要活下去。其實我什么樣的場面都見過，我并不怕整，但我怕你，因為你太狠了！我惹不起你，還躲不起你嗎？

這是長孫無忌的心聲，所以當(dāng)武則天在整頓朝臣時，他作為首席宰相卻一聲不吭。他不再作為了，于是決定另謀職業(yè)——修國史。長孫無忌這樣做就是想遠離政治，轉(zhuǎn)移武則天對他的注意力。不過，他也無心于政治，因為整個朝政已被李治和武則天控制了，他長孫無忌左右朝政的日子，已成了歷史。

武則天整頓朝臣的日子，也是長孫無忌潛心修國史的日子。從武則天當(dāng)上皇后到顯慶四年四月，他一共編寫了武德、貞觀兩朝國史80卷，梁、陳、周、齊、隋五代史志30卷和顯慶新禮130卷。需要說明一下，李治和武則天外出旅游這一年，長孫無忌也在埋頭修國史，因為他們壓根就沒帶他出去玩。

實事求是地說，長孫無忌為我國的歷史文化工程作出了杰出的貢獻，但再大的貢獻也磨滅不了武則天對他的仇恨，因為當(dāng)年在他幾番拒絕扶持武則天上位，而又黑吃黑的時候，武則天就發(fā)過誓：早晚有一天，我讓你吃進去多少，就吐出來多少，直到把你的老骨頭都吐出來！

武則天是一個有仇必報的人，她絕不會放過長孫無忌。看來，長孫無忌是惹不起她也躲不起她了。

武則天從洛陽旅游回京后，就一直在尋找機會除掉長孫無忌。顯慶四年四月，她終于找到了機會。但在機會來臨之前，她建議李治對宰相班子進行了重組，重組的宰相班子一共有六位：太尉長孫無忌(仍是首席宰相)、司空李勣、太子太師于志寧、侍中辛茂將、中書令許敬宗和黃門侍郎許圉師。在這六人當(dāng)中，李勣和許敬宗是武則天的人，于志寧、辛茂將、許圉師則是中立派，而剩下的長孫無忌就完全被孤立了。

看到這里，明眼人也許會問：兩年前被李治提升為中書令的那個李義府哪里去了？

原來，李義府在顯慶三年(658年)犯事被貶了。前面作過交代，李義府恃寵放縱自己，什么壞事都干。后來他竟然縱容自己的兒子和女婿公然賣官鬻爵，在朝廷上影響極壞，卻無人敢管。新晉宰相杜正倫看不下去了，他偏跟李義府對著干。為此，兩人經(jīng)常在殿堂上大吵大鬧，李治忍無可忍，一怒之下就把李義府貶為普州(今四川安岳縣)刺史，把杜正倫貶為橫州(今廣西橫縣)刺史。

別以為李義府就這樣失勢了，不久之后，也就是李治重組宰相班子之后，他又在武則天的庇護下復(fù)出，擔(dān)任吏部尚書兼同中書門下三品，他還是一個宰相，他繼續(xù)活躍在政治舞臺上，這是后話。

禍起無關(guān)案件

言歸正傳。孤立無援的長孫無忌，猶如一只被圍困起來的獵物，只待武則天捕殺。顯慶二年四月，一件和他毫無關(guān)聯(lián)的案件發(fā)生，直接把他送上了斷頭臺。

事情是這樣的。有一個叫做李奉節(jié)的洛陽人，狀告太子洗馬(太子政事和文理方面的導(dǎo)師，從五品)韋季方、監(jiān)察御史李巢私交權(quán)貴，有搞朋黨之嫌。搞朋黨就是意圖謀反，案子很快被李治獲悉，他命令許敬宗和辛茂將審理此案。許敬宗接手這個案子后，嚴(yán)刑逼迫韋季方供出幕后指使者。這是一起簡單的案子，沒人指使，韋季方是一個有良知的漢子，他不冤枉別人，但也受不了許敬宗的刑訊逼供，他想一死了之，卻自殺未果。