唐玄宗李隆基一天間殺死自己的三個親生兒子太子李瑛、鄂王李瑤、光王李琚，這都是因為壽王的親母武惠妃，武惠妃為皇帝所極寵，她的女兒咸宜公主嫁楊洄，據史書載：楊洄與岳母武惠妃同謀，陷害三位皇子(太子李瑛、鄂王李瑤、光王李琚)，李隆基于開元二十五年四月，將這三個兒子廢為庶人，隨后又賜死于城東驛。武惠妃這樣做，據說是為她親生的兒子李瑁奪取太子地位。

開元初年，由于王皇后無子，而李瑛的母親趙麗妃正被玄宗寵幸，因而李瑛就被立為太子。與趙麗妃同時被寵幸的還有鄂王李瑤之母皇甫德儀、光王李琚之母劉才人。后來，頗有姿色、心計過人的武惠妃寵傾后宮，三位王子的母妃漸漸失寵。而壽王李瑁很受皇上喜愛。

皇太子李瑛也因母親的失寵漸被皇上疏遠，太子地位岌岌可危。

當年還是個黃門侍郎的李林甫探知內情，乘機通過宦官向武惠妃表露：“愿護壽王為萬歲計。”武惠妃就在玄宗那里多次提及李林甫的優長好處，使玄宗漸漸對他關注起來。隨后便升為禮部尚書、同中書門下三品，再進兵部尚書，真的入閣拜相了。

他多次與武惠妃勾結，陰謀除掉太子，讓壽王李瑁取而代之。壽王的親姐夫、那位咸宜公主的丈夫楊洄到處打聽收集太子李瑛情況。

那太子李瑛和鄂王、光王在諸王宅相見后，談及父皇對武惠妃的偏寵，不禁口出怨言。此事正好被楊洄得知，馬上報告給了武惠妃。武惠妃就在玄宗面前哭訴，稱太子拉幫結派，謀害她們母子。

此言正中玄宗的心病。當年李隆基就是靠結交勢力上臺的。他當即想廢掉太子和兩位皇子。但張九齡等人一再力保，并以歷史上皇嗣奪位的慘遭痛教訓勸說，玄宗才隱忍未發。武惠妃見張九齡作梗，便讓人勸張九齡：“有廢必有興，你且武娘娘一臂之力，可永遠為相。”那張九齡卻當即斥責了那人，并將此話告訴了皇上。玄宗沒有表態，卻再也不議太子廢立之事。

張九齡等一幫朝中重臣死保太子的做法，卻從另一面讓玄宗感到太子羽翼漸豐，已經危及皇權了。

李林甫以其特有的敏感窺測到了這一點，感到機會來了。

當時宰相有三人，張九齡是唐朝有名的大詩人、大學者，侍中裴耀卿也是朝廷重臣。只有李林甫資歷尚淺，又不學無術，只會迎合拍馬，因此對這兩人很是嫉妒。特別是那張九齡在玄宗準備任命他為宰相時，曾直諫勸阻說：“陛下今日若以李林甫為相，他日恐怕國無寧日了！”李林甫聞知此事后惱恨不已，表面上曲意事之，卻始終睜大一雙眼睛盯著他的一舉一動。裴耀卿與張九齡友善，李林甫也就把兩人一起視為眼中釘，暗中尋機發力，將其扳倒。

玄宗在位已久，怠于政事。每逢商議政事，張、裴兩人事無巨細都與皇上據理力爭。李林甫則一面巧伺上意，一面尋端覓釁，準備排擠張、裴二相。

開元二十四年十月，唐玄宗巡游東都洛陽后，欲返回西京長安。裴、張二相認為時值三秋農忙時節，皇上返駕，沿途接待的負擔很重，必將影響農忙，因此提議到了冬天再返京師也不遲。

告退時，李林甫裝作腳疼的模樣，獨自落在后面。玄宗問其故，李林甫卻說出另一番話來：“臣下并沒有病痛，只是有事想單獨上奏。長安、洛陽就像是皇家的東宮和西宮，皇上御駕往來，難道還要等待什么時機嗎？假使怕妨礙農事，那就特別恩準免除所經過地方的租賦也就是了。”玄宗聞聽，龍顏大悅，當即決定啟駕而西。

李林甫這個馬屁，可是拍得巧妙之至，一下同兩位耿介忠直的老丞相拉開了距離。從此，玄宗對他總是格外另眼相看。

朔方節度使牛仙客在邊庭帶兵理民都很有政績，唐玄宗很賞識他，準備給他封賞。張九齡就對李林甫說：“封賞要給有大功于國家的名臣，一個邊將工作做得好些，就能馬上封賞嗎？你要和我在皇上面前據理力爭。”李林甫當面答應下來，上朝時張九齡言辭激烈，堅決反對，李林甫卻一言不發。回去后又暗地里把張九齡在皇上面前說的那些話告訴了牛仙客。牛仙客感到受了委屈，第二天入見唐玄宗，便哭著要求辭職。唐玄宗也覺得自己臉上無光，越發堅持要封賞牛仙客。

玄宗又欲擢牛仙客為相，張九齡固諫如初，稱：“牛仙客只是一個邊地的武臣，而且目不識丁，如若重用，恐怕有負眾望”。玄宗對張九齡的固執很是惱火。

李林甫趁機上奏：“只求有真本事，管它什么文學辭章;皇上任用人材，難道還有什么限制嗎﹖牛仙客是塊當宰相的料，張九齡書生之見，不達大體。”玄宗聽后，就加封牛仙客為隴西縣公。玄宗因此事認為李林甫并不專權，有薦賢之風，張九齡卻有拒賢固位的嫌疑，于是開始疏遠輕視張九齡了。

李林甫曾引薦蕭旻為戶部侍郎。蕭旻不學無術，有一次在與中書侍郎嚴挺之“同行慶吊”時，讀《禮記》中一句"蒸嘗伏臘"為"伏獵"。嚴挺之故意再問一次，蕭旻竟仍舊錯讀，嚴挺之深感遺憾，就對張九齡說"朝中竟然有‘伏獵侍郎‘這等人物。”張九齡以不學無術彈劾蕭旻，貶為歧州刺史。李林甫怨恨嚴挺之，暗中尋釁，欲加陷害。嚴挺之的前妻被休后嫁于蔚州刺史王元琰。王元琰貪贓犯法，進了大牢，嚴挺之卻設法營救他。

李林甫使人奏告玄宗，說嚴挺之私袒王元琰，應該連坐。張九齡為嚴挺之辯解，認為其中不應會有私情存在。玄宗卻微笑道："卿不知，雖離之，亦卻有私。"張九齡不便再言，只好轉托裴耀卿代救嚴挺之。李林甫乘機上言："耀卿、九齡都是朋黨。"玄宗早已疏薄張九齡，于是因朋黨之嫌而將張、裴兩人俱罷知政事，貶嚴挺之為洛州刺史。

二相既罷，李林甫怒目送二人離去，公卿大臣都知道這兩人是中了李林甫的暗算，個個都心驚膽顫。唐玄宗還以為李林甫幫自己清除了朋黨，把他升為中書令，牛仙客升任工部尚書，同中書門下三品。牛仙客知道自己全靠李林甫引薦，自然對李唯命是從。