霍去病跟他的舅舅衛(wèi)青一樣，當時他的母親還是平陽公主府的女奴叫做衛(wèi)少兒，他母親與平陽縣小吏霍仲孺私通，但這位小吏不敢承認自己跟公主的女奴私通，于是霍去病只能以私生子的身份降世。雖然出生后的母親并沒有提到他私生子的事實，但是卻擋不住外人異樣的眼光，在這種環(huán)境中長大的霍去病，為自己的出生而不齒，在霍去病的心里，他對母親是又愛又恨，恨母親為何要和男人私通又生下自己，恨自己的不光彩，又感謝母親帶他來到這個世界。

盡管對自己的家庭出身不怎么滿意，但是舅舅的出現(xiàn)徹底照亮了他晦暗的人生。舅舅衛(wèi)青同樣也是一個私生子，與霍去病極其相似的經(jīng)歷，讓霍去病生發(fā)出了“同是天涯淪落人”的感慨，霍去病在舅舅的身上看到了勇敢、果斷和意氣風發(fā)，他發(fā)誓也要像舅舅一樣，成為一個鐵骨錚錚的英雄。心懷大志的少年，一直懷揣著這個夢想等待一個機會，在衛(wèi)子夫當上皇后后，這個機會終于來了。

衛(wèi)青在入宮后，深得皇帝的賞識，因為自身表現(xiàn)出來的在行兵打仗上的天賦，在兵營和戰(zhàn)場上這種天分被發(fā)揮到極致，衛(wèi)青就像是一匹駿馬，一上戰(zhàn)場就很勇猛，無所畏懼一往無前。同時，也不是沒頭蒼蠅般的亂闖亂打，而是有計謀有軍事策略，每次都能直搗敵軍的腹地。衛(wèi)青七戰(zhàn)匈奴沒有一次失敗，足見他的機制與勇猛，衛(wèi)青就是為戰(zhàn)場而生的。

以舅舅為榜樣的霍去病，自然不甘心淪落為一個無名小卒，他雖然此時不如舅舅有成就，但是他也很快在舅舅的影響下成長，迫不及待參與到首戰(zhàn)，迫不及待要在戰(zhàn)場上大顯身手，霍去病這位意氣風發(fā)的少年，憑借出生牛犢不怕虎的勢頭，以快、準、狠的行軍多次立功，讓世人對這名少年，都刮目相看。

他和衛(wèi)青發(fā)起的對匈奴的進攻性戰(zhàn)爭，改變了漢朝長此在對匈奴戰(zhàn)爭中的守勢狀態(tài)，一舉打敗匈奴。從而長久地保障了西漢北方長城一帶，也就是在漠南地區(qū)的邊境安全，此戰(zhàn)為漢朝進擊匈奴最遠的一次。

少年郎，正是意氣風發(fā)的時候，也正是鮮血最滾燙的時候，炙手可熱的英雄怎會沒有人愛？想必仰慕這位少將的女子不在少數(shù)。然而，霍去病卻終生未娶。從十七歲到軍營到二十四歲，這短短的六、七年時間都在軍規(guī)十分嚴苛的軍營中度過，霍去病沒有更多的機會去接觸女人，短短六年里六次出擊匈奴實行遠途奔襲，仗都打不過來，哪還有功夫娶老婆。

不過后世的記載中，的確也提到霍去病是有一個兒子的，這個兒子是他和他府上的一位侍女所生的，也是個私生子，叫做霍嬗。為什么霍去病不娶侍女為妻？因為霍去病看不起侍女的出身，根本就不會娶她，他只認了霍嬗，讓他做了自己的私生子。從這點看上去，霍去病又走了和母親同樣的道路，他對母親所做的事耿耿于懷，看不起母親更怕別人看不起自己，所以他對母親沒多大好感，更多是怨恨。因此霍去病本人看不起女人，究其根本根本都是源自他的母親衛(wèi)少兒。

他對兒子霍嬗也是無感，生下來就放在舅舅家撫養(yǎng)，一直到霍去病去世，倆父子也沒怎么見過面，更別提什么父子之愛的話了。

霍去病死的時候霍嬗才四歲，漢武帝看在霍去病的份上讓這小孩繼續(xù)做冠軍侯，準備把他培養(yǎng)成第二個霍去病，后來漢武封泰山把霍嬗帶上山頂舉行了秘密的儀式，回去之后霍嬗就死了，死因不明，后世猜想是漢武帝想除掉霍家，以免除后患。

霍光的父親名叫霍仲孺，霍仲孺和平陽侯府中侍女衛(wèi)媼之女衛(wèi)少兒私通生下霍去病。霍仲孺在平陽侯家任務(wù)完畢返回家中，另娶妻子生下霍光，和衛(wèi)少兒不再來往。因此，霍光和霍去病是同父異母的兄弟。

霍去病被封為驃騎將軍后，將在家鄉(xiāng)的異母弟弟帶到身邊，后來推薦到漢武帝身邊做侍從，霍去病去世后，漢武帝懷念霍去病，將霍光升任奉車都尉、光祿大夫等職位，侍奉漢武帝左右，前后出入宮禁二十多年，未曾犯一次錯誤。因此得到漢武帝的信任，兩兄弟一個英年早逝，一個平步青云，不知是喜還是悲。