377年，前秦天王苻堅在名相王猛的輔佐下，先后攻取了東晉的梁、益二州，北并代國，西兼前涼，遠(yuǎn)征西域，完成了北方的統(tǒng)一。苻堅志在天下一統(tǒng)，因此頻頻對僻居?xùn)|南的東晉用兵。面對巨大的軍事壓力，東晉宰相謝安推薦其侄謝玄為建武將軍、兗州刺史，領(lǐng)廣陵相、監(jiān)江北諸軍事，鎮(zhèn)守廣陵。誰也不會想到這將是一個改變歷史的選擇！

當(dāng)時廣陵、京口地區(qū)聚居著大量逃避北方戰(zhàn)亂而來的流民，他們心戀故國，因而勇猛無比。謝玄到任后，在這些人中召募勁勇，組建了一只新式軍隊，許多后來大名鼎鼎的人物均加入了這支隊伍，如劉牢之、劉裕、檀道濟等人。379年，謝玄率領(lǐng)這支軍隊改鎮(zhèn)京口，京口又名北府，因而將其軍命名為北府軍。

383年8月，前秦天王苻堅親率步兵60萬、騎兵27萬，開始大舉南侵。大軍壓境之際，謝石、謝玄率8萬北府軍迎戰(zhàn)。11月，北府軍前鋒劉牢之率領(lǐng)五千精兵大敗秦軍，斬殺秦軍主將梁成及其所屬五萬軍隊，取得洛澗大捷。不久后的淝水之戰(zhàn)，謝玄率領(lǐng)八萬晉軍，擊潰了苻堅、苻融所統(tǒng)率的前秦二十五萬大軍，苻融當(dāng)場被斬殺，苻堅身中數(shù)箭，落荒而逃。

此戰(zhàn)后，強盛一時的前秦土崩瓦解，東晉王朝雖無力恢復(fù)統(tǒng)一中國，但卻出兵收復(fù)了黃河以南的領(lǐng)土，有效地遏制了北方少數(shù)民族的南下侵?jǐn)_，保住了東南半壁江山，也使得流落到南方的漢族中原文化得以延續(xù)和發(fā)展，謝氏領(lǐng)導(dǎo)的北府軍為此發(fā)揮了極為關(guān)鍵的作用。

淝水之戰(zhàn)使得謝氏的名譽達(dá)到了頂點，東晉孝武帝開始逐漸不信任謝氏，他先后解除謝安的宰相職務(wù)，以及謝玄的兵權(quán)。孝武帝任命自己的兄弟司馬道子為相，總理朝政，同時任命自己的妻兄王恭統(tǒng)帥北府軍。此后王恭與司馬道子發(fā)生矛盾，北府軍成為朝廷內(nèi)部火并的工具。之后北府軍司馬劉牢之在得到司馬道子的許諾后，將王恭殺死，成為北府軍的新統(tǒng)帥。

399年，孫恩、盧循發(fā)動農(nóng)民起義，起義軍迅速占領(lǐng)江東八郡。東晉朝廷見起義軍聲勢浩大，急忙派劉牢之率北府兵前往鎮(zhèn)壓，孫恩戰(zhàn)敗后自殺。在對付孫恩的起義軍中，一位將領(lǐng)脫穎而出，此人就是后來的宋武帝劉裕。

402年，東晉朝廷的執(zhí)政者司馬元顯決定討伐準(zhǔn)備擁兵叛亂的桓玄，派出劉牢之為前鋒都督，率北府軍征討。劉牢之也是位軍事天才，政治上的弱智，他接受桓玄的許諾，選擇背叛朝廷。最終桓玄北齊諾言，大肆殺戮北府軍將領(lǐng)，軍隊責(zé)備桓玄瓜分，劉牢之被迫自殺。

404年，北府軍將領(lǐng)劉裕在京口舉兵，反抗桓玄，重建北府軍。北府軍在劉裕的統(tǒng)帥下，再次大顯聲威。滅南燕、平后秦，卻月陣大破北魏騎兵，如果不是劉裕選擇返回江南，甚至大有重整天下之勢。劉裕死后，北府軍依然是劉宋王朝抵御北魏的重要軍事力量。436年，北府軍最后一員名將檀道濟被殺，至此這只由流民組成的精銳軍事力量才正式落下帷幕。