話說這權萬紀也是個“人物”，因為敢于直言，所以從潮州刺史提拔為正四品下的朝廷京官。而身為持書侍御史，權萬紀理當好好珍惜這得之不易的向上升遷的機會，繼續發揮自己直言善諫的一面，結果卻不然。根據《舊唐書》《貞觀政要》等史書的記載，權萬紀升職后，開始利用職務之便“告訐譖毀”——揭發別人的隱私、誣陷誹謗，甚至肆意彈劾別的大臣，惹得朝臣惶惶不安。

最后魏征實在是看不下去了，忍無可忍之下非常嚴肅地向唐太宗上奏說：“權萬紀、李仁發并是小人，不識大體，以譖毀為是，告訐為直，凡所彈射，皆非有罪……附下罔上，多行無禮，以取強直之名。”一針見血地指出權萬紀不過是個意圖騙取直言敢諫之名的小人，認為唐太宗若是出于招攬敢于進言之人的目的，也大可不必將權萬紀這樣的人留在朝中，因為這樣做只會有損自己的名聲。唐太宗聽了之后，欣然采納了魏征的建議。權萬紀后來“奸狀漸露”，被貶為連州司馬，史書上記載此消息一出，朝廷其他官員的反應是“咸相慶賀焉”，可見權萬紀平日里的行徑是有多么的卑劣與不得人心了。

這里可以順帶一提司馬一職，這個職位在唐朝便是貶官的象征。唐朝在每個州都設置了司馬一職，名義上為州郡佐官，實際上就是用來安排京城中那些被貶謫或是閑散的官員。事實上，權萬紀不僅喜歡通過揭發別人隱私來搏取名聲這一點為人所厭惡，他唯利是圖，只重眼前利益的行為也招來了唐太宗的憎惡。權萬紀曾提議可以通過大量開采宣饒二州的銀礦以獲取巨額利潤，唐太宗聽了后十分生氣地說道：“朕貴為天子，所缺的不是錢財，而是沒有利于百姓的好建議！與其多得到數百萬貫錢，不如得到一名賢才！你不曾推薦過一名賢才，就一心專言稅銀之利。你這是想讓我做漢桓帝、漢靈帝嗎？”于是當天就罷免了權萬紀的官職，讓他回家了。

也正因為此，后世之人在點評權萬紀時評價都很低，認為提出多開采銀礦而獲暴利的權萬紀是“敗仁義者”，是“不惟竭忠宣暢本朝而遠獻大珠以求幸媚”的小人行徑，也是“橫斂諸民”這種應摒棄的行為。權萬紀被貶黜后又過了很久，才被唐太宗任命為吳王李恪的長史。結果就在權萬紀擔任長史之后沒多久，李恪就因為打獵時踩壞了百姓的莊稼而被柳范彈劾，唐太宗知道后勃然大怒，認為權萬紀沒能盡到自己的職責罪該當死。柳范勸道：“房玄齡尚且都不能阻止陛下打獵，何況權萬紀呢？”唐太宗這才罷休，不過李恪本人繼和乳母的兒子賭博之后，再次被唐太宗削去了安州都督一職，實封再次被削去了300戶。

而權萬紀經歷了這樣一場驚魂后，對李恪進行了嚴厲的管教，之后的李恪雖然對大唐無甚功勞，卻也沒再犯過什么過錯而再被唐太宗斥責——對比齊王李祐與蜀王李愔這種屢教不改的，已經是莫大的進步了。由于權萬紀終于表現出了“有正直節”的樣子，唐太宗也十分驚訝地發現，權萬紀竟然能管住一直不能安分守己不斷犯錯的李恪，于是將他指派給了另一個喜歡屢屢犯事的皇子齊王李祐，意圖匡正李佑。然而事實證明，唐太宗終究還是高估了權萬紀。因為做了齊王長史后，權萬紀外強中干的“紙老虎”本性再度暴露無遺。

根據《舊唐書》的記載，李祐在自己的封地“溺情群小，尤好弋獵”，又在其舅陰弘智——一個正七品下的尚乘直長的挑唆下，萌生了謀逆之心。而權萬紀接任了李祐長史一職后，自然是兢兢業業，看到李祐胡來就犯言直諫，“驟諫不納”后便把李祐平日里喜歡接觸的那幾個小人統統打發掉，結果李祐又將他們偷偷地找回來，還“狎暱逾甚”變本加厲。

而唐太宗見李祐不能悔過，幾次寫信嚴厲地責備他。權萬紀見狀，唯恐自己會像上次李恪打獵踩壞莊稼那樣受到牽連，于是主動上京向唐太宗信誓旦旦地保證李祐一定會改過。結果李祐認為只有自己被斥責了，對權萬紀極為不滿。而權萬紀生性由褊隘，只知道一味地嚴防死守，不準李祐這個不準李祐那個，惹得李祐大怒甚至想殺了他。不過權萬紀事先得了風聲，將意圖謀殺自己的幾個人全部關進牢里，并將此事上報給了朝廷，最后唐太宗令人將李祐與權萬紀帶回京城，權萬紀奉詔先行，卻被李祐在半路中射死。

總的說來，權萬紀表面上看起來為人挺正直的，然而正如魏征所一針見血指出的那樣，實質上不過是個沽名釣譽之輩。

說他是小人也許還不夠恰當，但半生庸碌、外強中干、唯利是圖的確是權萬紀的真實寫照。因為能夠直言進諫所以被詔進朝廷當官，結果又不能真正有貢獻于朝廷，反而成天只知道誣陷誹謗別的大臣，就連房玄齡、張亮這樣的肱骨之臣都被讒毀過。權萬紀的所作所為絕非一位正直的人會有的。而被外放做官后，權萬紀又不能妥善地處理好與李祐的關系，反而變相地讓其惡行變本加厲。可見權萬紀所謂的“有正直節”不過是表面功夫，“以取強直之名”方是其本質。