霍光本人身高七尺三寸，皮膚白皙，眉目疏朗，顏值很高，是當時有名的美男子。霍光的父親名叫霍仲孺，在平陽侯家里當小官的時候，和一個侍女勾搭上了，這個侍女懷了他的孩子，剛好霍仲孺任滿要到外地當官，二話不說立馬就跑了，到了外地立刻娶了個老婆，生下了霍光，與那個侍女不再聯系。但是沒想到的是，這個侍女的妹妹最后竟成為了大漢朝的皇后，衛少兒跟隨妹妹地位顯貴，她生下的兒子就是日后名滿華夏的西漢名將——霍去病！

就在霍去病集萬千寵愛于一身時，他突然想起了自己的父親，于是在一次西征途中，他前去尋找到了霍仲孺。當年不愿與侍女結婚而歸家當了個小官的霍仲孺，如今當年的棄子已是權傾朝野的大將軍，面對兒子可有半分羞愧之情？但霍去病沒有過多責怪，他對于這個父親還是有點感情的，給他置辦了大量物品，然后帶著他同父異母的弟弟霍光一同奔赴長安。

霍光才十幾歲，霍去病就舉薦他任郎官，隨后遷任各曹官。元狩六年(前117年)，霍去病去世。霍光升任奉車都尉、光祿大夫等職位，侍奉漢武帝左右，前后出入宮禁二十多年，未曾犯一次錯誤。因此得到漢武帝的信任。在這一期間，霍光是一個小心翼翼侍奉君王的合格大臣，聽君命，得君權，幫君王做事，無功亦無過，僅以謹小慎微著名爾，只是一個忠臣。

霍光不只謹慎，還極有悟性。在武帝身邊的那些年，表面不說的他把什么都看在了眼里記在了心上。武帝托孤，讓他集大司馬大將軍于一身，同時還領尚書事，也就是領丞相事。前兩者是天下最高武職，后者系最高政職。這些權力歸他使用，卻非他所有。也就是說，他不是權力的真正主人，仍屬權奴一族。當一個權力的行使者并不那么容易，他要警惕各方勢力對權力的覬覦，冷槍暗箭都得提防。

漢武帝死后，漢昭帝上臺，霍光政治生涯的第二個時期來臨了。漢昭帝上臺才8歲左右，就讓霍光、金日磾、上官桀、桑弘羊一同輔佐。漢昭帝這人吧，人小心機深，看人也準。知道以權在手，一個人會使權力失去控制，多安置幾個人分權，各自的勢力的削弱了。

本來幾個人合作得挺好的，而且霍光和上官桀、桑弘羊還是親家，可是上官桀倚仗自己的職位，把自家人使勁往上提拔，也不管此人可用不可用，只要能夠壯大自己家的勢力，霍光看不過，就沒答應他上官家提拔的事，也多次駁斥過上官桀。

從此，上官桀和霍光成了生死對頭，上官桀趁霍光度假不在的日子，偷偷在皇帝面前參了他一本，這讓知曉此事的霍光氣十分不悅，既然你這么無義也休怪老子無情，我就要替皇上清理下門戶。在兩者之間，十四歲的漢昭帝的天平偏向了霍光，霍光為人有原則，還可以控制，上官桀們的野心太明顯了。后來上官桀聯系燕王造反，消息泄露，被霍光族滅全家。

漢昭帝執政期間，霍光大權在握，大赦天下，休養生息，與匈奴關系得到改善，西漢帝國國力得到很大程度上的恢復。

漢昭帝死后，漢武帝孫昌邑王劉賀即位。這個王子不僅行為輕佻沉溺聲色，還是個酒鬼，舉天下而為自己一樂。霍光感到憂愁，為漢家天下憂愁，也為自己憂愁。打算為漢室將來，也下一次狠手，把劉賀除掉。于是劉賀一入京，霍光立刻封鎖皇宮，將劉賀家臣全部捉了起來，并即刻處死，為除一個王子，白白犧牲上千人的性命，這也是無奈之舉，以此避免更多的殺戮。

過后，霍光擁漢宣帝劉病已為帝。

他的女兒也嫁給了劉病已成為了皇后。地節二年春三月庚午，霍光病重逝世，在他死后不久，霍家因為謀反之罪被滿門抄斬。