東晉建立之后，中原地區已淪喪于胡人之手。雖然皇室及大多世族只想偏安江南，然愛國之將士每每以北伐中原、規復失土為己任。故東晉自始至終，都有北伐之舉，先后有祖逖、庾亮、殷浩、桓溫、劉裕等人的多次行動。 其中最為重要的是祖逖、桓溫、劉裕三人的先后北伐。

首先北伐的是東晉名將祖逖。祖逖(266─321)，字士稚，范陽遒縣(今河北淶水)人。西晉末年北方大族，曾與劉琨同為司州主簿，兩人同被共寢，聞雞起舞，志向宏遠。永嘉之亂后，祖逖率親黨數百家渡江，居于京口(江蘇鎮江)。。在東晉建國前，他就向司馬睿請求北伐，被任為豫州刺史。建興元年(313年)祖逖率部曲百家渡江，中流擊楫，發誓收復中原。當時中原郡縣系統已經崩潰，到處都是塢壁，祖逖采取靈活策略，招撫塢壁，屢破石勒，使黃河以南盡為晉土。當祖逖練兵積谷，為進取河北做準備時，晉元帝司馬睿擔心祖逖的發展對他不利，遂任戴淵為征西將軍，都督北方六州軍事，節制祖逖。祖逖眼看北伐無成，憂憤成疾，死于軍中。祖逖死后，東晉內部連續發生王敦和蘇峻之亂，朝廷忙于平亂，無暇北顧，石勒乘機占領了河南，晉軍被迫退到淮南，祖逖北伐的成果也化為烏有。

永和元年，東晉王朝任命桓溫為荊州刺史，握長江上游兵權。次年(346年)，桓溫乘成漢政權腐敗，內部不穩之際，率軍沿江直上，率軍入蜀。永和三年(347年)，桓溫滅了氐人李氏的漢國，平定蜀地，聲威大振。桓溫(312-373)，字元子，東晉大將，龍亢(今安徽懷遠)人。娶晉明帝女南康公主為妻，拜駙馬都尉，曾率軍三次北伐，欲收復中原。永和五年，北方再度混亂，桓溫多次請求北伐。六年，朝廷以揚州刺史殷浩為中軍將軍、都督五州諸軍事，并委以北伐重任，企圖以此對抗桓溫。可惜殷浩大敗而回，后更被免為庶人，由是內外大權遂集于桓溫一身。

永和十年(354年)，桓溫首次北伐前秦，他親率步騎四萬余人，連破氐族苻健軍，直抵霸上(今陜西長安東)。當地居民「持牛酒迎溫于路者十八、九，耆老感泣曰：『不圖今日復見官軍！』」(《晉書·桓溫傳》)桓溫因軍糧不繼，未能攻克長安，退返襄陽。永和十二年，桓溫第二次北伐，擊敗羌族貴族姚襄，收復洛陽。隆和元年(362年)，桓溫向晉穆帝建議還都洛陽;又建議自西晉末年南遷的土庶人等，一律返回故鄉。但上自皇帝下至達官貴人，均安于江南一隅，不愿北還，紛紛反對。桓溫的建議未被采納。前燕趁東晉大臣相互猜忌和牽制之際，占領洛陽。第三次北伐是在太和四年(369年)，桓溫率步騎五萬人大敗前燕軍，進抵枋頭(今河南浚縣)。可是前燕得到前秦的支援，截斷了晉軍的糧道，桓溫只得退兵。在退兵途中，晉軍遭到前燕騎兵的追擊，死傷三萬人。 太和六年(371年)，桓溫廢帝奕為東海王(即海西公)，改立簡文帝，自己則以大司馬鎮姑孰專擅朝政，不久病死。東晉末年，北府將領劉裕控制朝政。占據山東地區的鮮卑慕容氏南燕政權，此時便乘東晉衰亂之際屢次侵擾東晉邊境。義熙五年(409年)二月，慕容超大掠淮北，劉裕興兵北伐。

四月，率水軍從建康北上，沿淮河，越大峴(今山東沂水北穆陵關)，次年攻破南燕都城廣固(今山東益都西北)，收復青、兗兩州，追獲慕容超，斬首建康。七年(411年)，鎮壓盧循起事軍。八年(412年)，消滅了劉毅，以及可能形成威脅的諸葛長民、晉朝宗室司馬休之等，清除異己勢力，鞏固了后方。九年(413年)，西攻譙縱，收復巴蜀。十二年(416年)后秦主姚興病卒，子姚泓繼立，兄弟相殺，關中擾亂。劉裕乘機率大軍分兵四路北伐后秦，進攻關洛。途經黃河，擊敗北魏軍。翌年進克洛陽，至潼關，命大將王鎮惡直趨長安，姚泓投降，后秦亡。晉軍收復長安，在少數民族統治下達百年的漢族百姓紛紛響應。這時留在朝廷坐鎮的尚書左仆射劉穆之病故，劉裕怕政權旁落他人之手，便留次子劉義真鎮長安，王修、王鎮惡等率兵萬余輔佐，自己倉促返回建康。長安留守軍內訌，夏主赫連勃勃乘機奪取關中。劉義真雖被迫撤出長安，但自潼關以東、黃河以南直至青州已為南朝版圖，江淮流域得到保障，這是祖逖、桓溫、謝安經營百年所未能達到的。劉裕在朝廷中聲望也達到極點，進而實現禪代。

縱觀東晉王朝，雖曾屢屢興師北伐，然北伐之軍每每功敗垂成，始終未能恢復中原、完成一統。其原因是多方面的，首先是朝廷多方牽制。東晉王室害怕北伐將帥功高難制，故對他們多方限制、監督，不肯充分信任與支援。祖逖之北伐曾受晉元帝之掣肘。桓溫反對「永結根于南垂，廢神州于龍漠」的茍安態度，請求還都洛陽、「一切北徙」，但上表至十數次均不得批準。其次，東晉的世族又多茍且偷安。當時皇室和南來之北方世族均把江南當作人間樂土，醉生夢死，貪圖茍安，胸無大志。如有的大臣認為「田宅不可復售，舟車無從而得」，還都洛陽系「舍安樂之國，適習亂之鄉」。江南本地的望族受朝廷重用，也不希望皇室北還。南北世族對寒族出身的將領更是多方排斥、處處牽制。

北伐失利的另一原因是內亂頻連不斷。東晉偏安江南，大權多握重臣悍將之手，致內亂頻生，如王敦之亂、蘇峻之亂以及桓玄篡立等等，影響了北伐的根本大計。此外，北伐的將帥又每多心懷叵測。北伐將領之中，固不乏忠義之士，如祖逖等，但也有的像劉裕等人，具有政治野心，每區區權衡個人之利害得失，未能把北伐堅持到底。除了上述西晉方面的因素，北伐失敗的重要原因在于當時北方胡人武功頗盛。五胡之政權雖呈割據紛爭之態，但整個北方均為其所占，勢力十分龐大。加以胡人多勇敢驃悍，一時很難制服之。