衛青出身低微，他的父親是平陽侯曹壽家里當差的。衛青長大以后，在平陽侯家當了一名騎奴。后來，因為衛青的姐姐衛子夫進宮，受到漢武帝的寵幸，衛青的地位才漸漸顯貴起來。就在李廣在戰斗中被匈奴兵俘虜后又逃回的那年，漢軍四路人馬，三路都失敗了，只有衛青打了個勝仗，被封為關內侯;以后，又接二連三地打敗匈奴兵，立了戰功。

公元前124年，衛青率領騎兵三萬，追到長城外。匈奴右賢王以為漢軍還離開很遠，一點也沒防備，在兵營里喝酒作樂，喝得酩酊大醉。衛青在夜色的掩護下，急行軍六七百里，包圍了右賢王。漢兵從四面八方沖進匈奴營地，打得匈奴部隊四面逃竄，亂成一團。右賢王的酒剛剛驚醒，要抵抗已來不及了，只好帶著他的幾百個親信脫身逃走。這一仗，衛青的人馬一共俘獲了一萬五千多個俘虜，其中匈奴的小王十多人。

匈奴的左右賢王，只比單于低一級。這次戰爭，右賢王全軍覆沒，對匈奴單于是一個很大打擊。漢武帝得到捷報，立刻派使者拿著大將軍印，送到軍營，宣布衛青為大將軍，連他的三個還沒有成年的兒子也封為侯。衛青推辭說：“我幾次打勝仗，都是部下將士的功勞。我那三個孩子還都是娃娃，什么事都沒干過。要是皇上封他們為侯，怎么能夠勉勵戰士立功呢！”

漢武帝經他一提醒，就封了衛青部下的七名將軍為侯。第二年，匈奴又來進攻。漢武帝又派衛青率領六個將軍和大隊人馬去對付匈奴。衛青有一個外甥，叫霍去病，那時候才十八歲，非常勇敢，又會騎馬射箭，這次也跟著衛青一道去打匈奴。匈奴聽到漢軍大批人馬來進攻，立即往后逃走。衛青派四路人馬分頭去追趕匈奴部隊，一定要把匈奴主力打敗。衛青自己坐鎮大營，等候消息。

到了晚上，四路兵馬都回來了，沒有找到匈奴主力，有的殺了幾百個兵士，有的連一個敵人也沒有找到，空著手回來了。霍去病還是第一次出來打仗的小伙子，才做了個校尉。他帶領了八百名壯士，組成一個小隊，去找匈奴部隊。他們向北跑了一陣，一路上沒瞧見匈奴兵士，一直趕了幾百里路，才遠遠望見匈奴兵的營帳。

他們偷偷地繞道抄過去，瞅準一個最大的帳篷，猛然沖了進去。霍去病眼明手快，一刀殺了一個匈奴貴族。他手下的壯士又活捉了一個。匈奴兵沒有了頭兒，四處奔逃，八百個壯士追上去又殺了兩千多匈奴兵，才趕回大營。衛青在大營正等得著急，只見霍去病提了一個人頭回來，后面的兵士還押了兩個俘虜。經過審問，才知道這兩個俘虜，一個是單于的叔叔，一個是單于的相國，那個被霍去病殺了的還是單于爺爺一輩的王。

十八歲的霍去病第一次參加作戰，就逮住了匈奴的兩個將官，這功勞可真不小。戰斗結束，被封為冠軍侯。公元前121年，漢武帝又封霍去病為驃騎將軍，率領一萬騎兵，從隴西出發，進攻匈奴。霍去病的兵馬跟匈奴接連打了六天，匈奴兵抵擋不住，向后敗退。霍去病和他的騎兵越過了燕支山(在今甘肅永昌縣西)，追擊了一千多里地。那邊還有不少是匈奴的屬國，像渾邪(在今甘肅省境)、休屠(在今甘肅武威縣北，屠音tú)。漢兵到了那里，俘虜了渾邪王的王子和相國，把休屠王祭天的金人(一種銅像)也拿來了。

漢武帝為了慰勞霍去病，要替他蓋一座住宅。霍去病推辭了。他說：“匈奴還沒消滅，哪兒顧得上安家呢！”(文言是“匈奴未滅，何以家為！”)為了根除匈奴的侵犯，到了公元前119年，漢武帝經過充分準備之后，再次派衛青、霍去病各帶五萬精兵，分兩路合擊匈奴。

衛青從定襄郡出塞，穿過大沙漠，行軍一千多里，匈奴的伊穉邪(穉音zhì)單于親自率領精兵嚴陣對抗。雙方展開了一場大會戰。激戰到夜幕降臨的時候，沙漠上突然刮起一陣狂風，夾著砂礫，吹得天昏地黑。衛青頂著狂風，冒著撲面的砂礫，命令騎兵分左右兩翼夾攻。伊穉邪單于招架不了，帶了幾百騎兵向北突圍逃去。衛青一直追到寘顏山(古山名，今蒙古高原杭愛山南面的一支、寘音tián)下的趙信城，匈奴兵已經逃空，城里貯存了不少糧草。衛青讓兵士們飽餐了一頓，把多余的積糧燒了，才勝利回師。

另一路，霍去病也橫越大沙漠，前進兩千多里，大破匈奴左賢王的兵馬，一直追到狼居胥山(在今內蒙古自治區五原西北黃河北岸;一說在今蒙古人民共和國境內)下，在那里立了一塊石碑留作紀念。這是漢朝規模最大、進軍最遠的一次追擊。打那以后，匈奴撤退到大沙漠以北，沙漠南面就沒有匈奴的王庭了。