高士廉早年曾是隋朝的治禮郎，因受斛斯政牽連，被貶為朱鳶主簿，被交趾太守丘和委任為司法書佐。武德五年，高士廉歸唐，被任命為雍州治中，后協助李世民發動玄武門之變，升任侍中，封義興郡公。貞觀五年，高士廉任吏部尚書，進封許國公。后奉命編撰《氏族志》，加封同中書門下三品。貞觀十二年、，改封申國公，世襲申州刺史，不久又升任尚書右仆射。貞觀十九年(645年)，高士廉任太子太傅，輔佐皇太子監國。貞觀二十一年，高士廉病逝，追贈司徒、并州都督，謚號文獻，陪葬昭陵，后又追贈太尉。高士廉年輕時很有器量，對文史典籍也有所涉獵，與司隸大夫薛道衡、起居舍人崔祖浚是忘年之交，因此得到公卿的贊許。

但他認為自己是北齊宗室，不宜廣交名流，于是隱居在終南山，閉門謝客。隋煬帝大業年間，高士廉出任治禮郎。(大業五年)，高士廉因妹夫長孫晟病逝，便將妹妹高氏接回家中，并厚待外甥長孫無忌、甥女長孫氏。后來，高士廉發現李淵次子李世民才華出眾，便將甥女長孫氏嫁給他，這就是后來的文德皇后。(大業九年)，兵部尚書斛斯政逃奔高句麗。高士廉因與斛斯政有交往，受到牽連，被貶為朱鳶縣主簿。高士廉事母至孝，因嶺南地區瘴癘嚴重，不能帶母親同行，便將妻子鮮于氏留下，代自己奉養母親。他又想到妹妹沒有著落，就賣掉大住宅，買了小住宅安頓妹妹，并把剩下的錢分給母親和妹妹，自己輕裝上路。

當時，天下大亂，朝廷詔令難以到達嶺南，交趾太守丘和便委任高士廉為司法書佐。(武德元年)，欽州俚帥寧長真率軍進攻交趾。丘和打算開城投降，高士廉勸道：“寧長真兵馬雖多，但孤軍深入，肯定堅持不了多久。再說城中兵力足以抵御敵軍，為什么要投降他呢？”丘和于是任命他為行軍司馬，讓他迎擊寧長真。寧長真大敗，只身逃脫，軍隊全部投降。后來，高士廉隨丘和依附蕭銑。

(武德四年)，丘和、高士廉前往江陵(今湖北荊州)朝見蕭銑，途中聽聞蕭銑被唐軍主帥李孝恭擊敗，便轉而投降李孝恭。(武德五年)，高士廉與丘和奉表歸唐，被任命為雍州治中。當時，李世民正擔任雍州牧，因高士廉是自己妻子的舅舅，而且素有聲望，對他非常器重。(武德九年)，李世民與太子李建成矛盾加劇，高士廉與長孫無忌、侯君集等人日夜勸諫李世民，欲誅殺李建成與齊王李元吉。后來，高士廉釋放在押囚犯，發給他們武器，并與他們趕到芳林門，配合李世民發動玄武門之變。李世民被立為太子后，任命高士廉為太子右庶子。

高士廉去世后，唐太宗欲到高府哭靈。房玄齡極力勸諫，太宗道：“高公與我并非只有君臣關系，還有故舊、姻親的關系，豈能聽說他的噩耗而不去哭靈呢？你不必多說！”說完帶領身邊的人從興安門出宮。長孫無忌正在高府靈堂，聽說太宗要來，出門攔住御馬，勸諫道：“陛下正在服用丹藥，不能哭喪，為什么不為宗廟社稷考慮而自珍自重呢！而且舅舅臨終遺言，不愿因自己的死，而讓陛下屈駕前來。”太宗不聽。長孫無忌跪在道中，流著眼淚執意諫阻，太宗這才返回東苑，望南痛哭。