長孫無忌所做的第三件事情就是進一步剪除魏王李泰的黨羽。岑文本、劉洎、馬周雖然已經去世，但房玄齡的兒子房遺愛、柴紹的兒子柴令武等李泰的支持者還在。長孫無忌最想害死的是李泰(此時李承乾已死)。但高宗素來友愛，不僅死活不肯答應，反而對這個落魄的哥哥極為照應。貞觀二十三年(649)十二月，他下詔為濮王李泰開府置僚屬，“車服珍膳，特加優異”。但李泰心情抑郁，于永徽三年(652)十一月病死了。李泰一死，迫不及待的長孫無忌立即就對房遺愛等人下手了。

房遺愛等人雖是李泰的支持者，但是高宗即位后，他們并無不軌的意圖。因此，長孫無忌很久都沒有抓到把柄。但就在李泰去世的當月，一件突發的小事引起了長孫無忌的注意。房遺愛的官職是散騎常侍，此外，他還有另一個身份——太宗的十七駙馬。房玄齡是重臣，因此太宗將自己的十七女高陽公主嫁給了房玄齡的次子房遺愛為妻。

這位高陽公主是李唐宗室女眷中出了名的潑辣放蕩貨。她是公主，懦弱的房遺愛對她只能是惟命是從。房玄齡去世后，高陽公主挑唆丈夫與其兄房遺直分家。因為對分家(分財)結果不滿，不久后她又向太宗誣告房遺直。房遺直如實向太宗稟明。太宗聽了非常生氣，嚴厲地斥責了高陽公主，從此對她不再寵愛。高陽由此“怏怏不悅”

不久后，唐宮內的一件寶貝——金寶神枕被盜。御史經過調查，發現此事與唐玄奘的高徒辯機有關，并在辯機的住所找到了金寶神枕。這位辯機不僅才華超眾，而且容貌俊秀英颯，氣宇不凡。高陽公主初見他便淫心蕩漾，不久便與辯機私通。她送給辯機的錢財數以億計，甚至不惜偷盜金寶神枕給辯機用。為了堵住丈夫的嘴，她甚至買了兩個美女伺候房遺愛。房遺愛樂得享用美女，對妻子和辯機的勾當置若罔聞。太宗聽了御史的報告后，勃然大怒，“腰斬辯機，殺奴婢十余人”。高陽公主對父親越發怨望，甚至連太宗死的時候，她都“無戚容”。

高宗即位后，高陽公主再度挑唆丈夫與大哥房遺直“相訟”。高宗也很惱火，各打五十大板，將房遺愛貶為房州刺史，房遺直貶為隰州刺史。丈夫被貶，高陽索性更加放縱，竟與智勖等數名和尚私通，而且居然還暗中指使掖庭令陳玄運窺探皇宮內祈求鬼神禍福之事。

妻子如此，丈夫也好不到哪里去。房遺愛對高宗將自己貶官之事耿耿于懷。太宗的十五駙馬、丹陽公主之夫、大將薛萬徹在永徽之初也因為犯事而被高宗出名，貶官寧州刺史。他與房遺愛是好友，在入朝時，私下里對房遺愛訴說其對高宗的不滿，并驕橫地說：“今雖病足，坐置京師，鼠輩猶不敢動。”兩人商定：“若國家有變，當奉司徒荊王元景為主。”荊王李元景是太宗的六弟、高宗的六叔。此人也是個野心家，早年曾對人說過，夢見自己手把日月。李元景的女兒是房遺愛三弟房遺則的妻子，因此與房遺愛相識，常有往來。此外還有太宗的七駙馬、巴陵公主之夫、柴紹之子柴令武，借口巴陵公主生病，留在京師，暗中與房遺愛、薛萬徹、李元昌等策劃發動叛亂。

高宗對此毫不知情。沒想到，高陽公主的恣意妄為卻讓房遺愛等人的陰謀意外敗露。高陽公主深恨房遺直，指使小人誣告房遺直非禮自己。高宗派人調查。房遺直為了自保，便將房遺愛和高陽公主的圖謀作亂的事情告訴了高宗，并說：“罪盈惡稔，恐累臣私門。”高宗就派長孫無忌調查。長孫無忌查證屬實。按理說，只要處理房遺愛、薛萬徹、柴令武、李元昌、高陽公主等人就可以了。但長孫無忌覺得，這是剪除一切異己勢力的大好機會。因此，他羅織罪名，將所有沒有參與此事的李泰余黨以及所有在政見上與自己對立的人都牽連了進來。

安州都督吳王李恪，“名望素高，為物情所向”，曾是高宗太子之位的有力競爭者。長孫無忌想除掉他不是一天兩天了，此時便騙房遺愛說，只要他說李恪也參與了他們的陰謀，便可以保他不死。愚蠢的房遺愛信以為真，就誣說李恪也參與了陰謀。侍中宇文節本是長孫無忌的人，但是他和房遺愛關系很好。房遺愛下獄后，他多方走動，四處打點，意圖營救房遺愛，因此而得罪了長孫無忌。長孫無忌就說他和房遺愛“交通”。此外還有江夏王李道宗、左驍衛大將軍執失思力(太宗的八駙馬)，僅僅是和長孫無忌政見不同。但長孫無忌借口他們與房遺愛“交通”，將他們統統牽連了進來。

在長孫無忌的有意夸大之下，高宗最終做出了極為嚴厲的懲處。永徽四年(653)二月，他頒下詔書，房遺愛、薛萬徹、柴令武皆判斬首，荊王李元景、吳王李恪、高陽公主、巴陵公主四人被賜自盡。高宗友愛，不想處死荊王李元景和吳王李恪，曾問大臣：“荊王，朕之叔父，吳王，朕兄，欲匄其死，可乎？”但長孫無忌的黨羽兵部尚書崔敦禮卻堅決反對。最終，荊王李元景和吳王李恪自盡。李恪臨死前，大罵：“長孫無忌竊弄威權，構害良善，宗社有靈，當族滅不久！”宇文節、李道宗、執失思力三家被流放嶺南。李恪的同母兄弟、高宗的六哥蜀王李愔被廢為庶人。房遺直本無罪，卻還是被貶為春州銅陵尉。薛萬徹的弟弟薛萬備則被流放交州。甚至就連已死的房玄齡的配饗都給停了。

長孫無忌這一網下去，廢掉了一個宰相(宇文節)，兩個公主(高陽公主和巴陵公主)，根除房氏家族、柴氏家族、薛氏家族三大豪門，除去了房遺愛、執失思力、薛萬徹、柴令武四位駙馬和荊王李元景、吳王李恪、江夏王李道宗、蜀王李愔四個藩王。從此，朝廷之上，再無異己。若照此情形發展下去，長孫無忌遲早會成為曹操那樣的權臣。但一個女人的出現，卻及時地阻擊了他的野心，并最終讓他命喪黃泉。這個女人就是大名鼎鼎的武則天。