司馬炎素有滅吳統(tǒng)一中國(guó)的大志，于是任命羊祜為荊州各路軍馬的都督。晉國(guó)的荊州與吳國(guó)的荊州是兩國(guó)最長(zhǎng)的邊界地，因而也是晉要滅吳最關(guān)鍵的地方。羊祜自任荊州最高長(zhǎng)官后，整頓吏治，加強(qiáng)戰(zhàn)備，特別是對(duì)東吳軍民采取懷柔政策，為晉滅吳奠定了堅(jiān)實(shí)的基礎(chǔ)，成就了協(xié)助司馬炎統(tǒng)一中國(guó)的豐功偉業(yè)。

羊祜用計(jì)使吳國(guó)撤去了駐石城的守軍。石城距襄陽(yáng)700余里，吳國(guó)原有大量駐軍，這些吳軍經(jīng)常騷擾晉國(guó)邊境。吳國(guó)中了羊祜之計(jì)撤走駐軍后，羊祜就將自己的部隊(duì)分成了兩部分，一部分戍邊，一部分墾田。羊祜的這一舉措收效顯著。羊祜初到荊州時(shí)，軍無(wú)百日之糧。墾田之后的兩三年間，所收糧食可供10年之用。羊祜對(duì)屬下不擺架子。他有一個(gè)習(xí)慣，就是喜歡著便裝，只帶上十幾個(gè)親信外出打獵或釣魚(yú)，并常常因?yàn)檫@些活動(dòng)耽誤了政事。有一晚，他又準(zhǔn)備如此外出，不料軍司（即軍師，晉避司馬師之諱改師為司）徐胤卻手執(zhí)武器擋在營(yíng)門(mén)口，嚴(yán)肅地說(shuō)：將軍您都督萬(wàn)里，怎么可以如此輕率地丟下肩上重任呢？您的安危，就是國(guó)家的安危。今天除非徐胤死在這兒，否則這道門(mén)您是出不去的！羊祜沒(méi)有因徐胤掃了自己的面子而發(fā)脾氣，相反，他立即誠(chéng)懇地向徐胤道謝，從此就很少外出了。吳國(guó)著名的將領(lǐng)陸抗，終于讓一向一帆風(fēng)順的羊祜遭受了一次挫折。

羊祜返還襄陽(yáng)，吳國(guó)西陵都督步闡準(zhǔn)備獻(xiàn)城投降。此時(shí)，吳國(guó)已任命陸抗為吳國(guó)的荊州統(tǒng)帥。陸抗是曾大敗過(guò)劉備的東吳名將陸遜的次子，是個(gè)了不起的軍事家。得知步闡要降，陸抗立即領(lǐng)兵攻打。晉武帝下詔命羊祜去救步闡。羊祜接到命令后，率領(lǐng)5萬(wàn)人馬從江陵出發(fā)，并派荊州刺史楊肇先行攻打陸抗。楊肇未攻下陸抗，步闡及其手下被陸抗生擒后誅殺，并被滅了三族。有關(guān)官員立即上表彈劾羊祜，說(shuō)他統(tǒng)領(lǐng)的軍隊(duì)有8萬(wàn)之多，而對(duì)方不過(guò)3萬(wàn)，羊祜受命后卻屯兵江陵，使得吳軍能夠充分備戰(zhàn)，他命令楊肇領(lǐng)軍進(jìn)攻，但楊肇兵少糧食也不足，導(dǎo)致失敗，因此，羊祜應(yīng)免官。奏書(shū)上去后，羊祜被降為平南將軍，楊肇則被廢為庶人。

羊祜這次受挫，讓他清醒地認(rèn)識(shí)到，吳國(guó)有陸抗這樣優(yōu)秀的將領(lǐng)，軍事力量還很強(qiáng)大，因此，滅吳不是朝夕間的事。于是，他加緊了對(duì)吳國(guó)軍事蠶食與懷柔并舉的政策實(shí)施。羊祜在懷柔上下的功夫更大。他和吳國(guó)交兵，總是事先講定作戰(zhàn)時(shí)間，絕不搞突然襲擊。若有部下建議他搞突然襲擊，他就會(huì)用酒將那部下灌醉，讓他再說(shuō)不出話。有部下俘獲了兩個(gè)吳國(guó)小孩，羊祜馬上命令送回去。后來(lái)，吳國(guó)將領(lǐng)夏詳、邵顗等來(lái)投降，那兩個(gè)小孩的父親也跟來(lái)了。吳將陳尚、潘景引兵來(lái)犯，戰(zhàn)敗被羊祜追擊斬殺。羊祜以這兩位將領(lǐng)是為國(guó)而死，于是以禮厚殮。陳尚、潘景的兒子來(lái)領(lǐng)他們父親的遺體，羊祜以相應(yīng)的禮節(jié)送還。吳將鄧香帶兵侵掠夏口被俘，羊祜把他放了。鄧香感恩，率自己的部下來(lái)降。羊祜領(lǐng)兵到吳地收割莊稼，但不白拿，總以相應(yīng)的絹?zhàn)鞯謨敗Ｑ蜢锫时姶颢C，不出晉地，若打到的獵物先為吳國(guó)人所傷，他一定將獵物送還吳人。羊祜這樣做的結(jié)果，是深得吳人的信服。吳人尊稱(chēng)他為羊公，而不叫他的名字。

羊祜和陸抗兩位敵對(duì)的統(tǒng)帥還建立了良好的私人關(guān)系。他們之間常有書(shū)信往來(lái)。陸抗很尊重羊祜，認(rèn)為羊祜的才德，就是樂(lè)毅、諸葛亮也未必能超過(guò)。陸抗生病，羊祜得知病情后，立即送來(lái)藥。部下勸陸抗不要吃，擔(dān)心有毒。陸抗說(shuō)，羊祜豈是那種害人的人，坦然將藥服下。羊祜病情加重后，推薦杜預(yù)代替自己。晉武帝咸寧四年（278年），羊祜因病逝世，享年58歲。當(dāng)天正值大寒，晉武帝身著素服痛哭，流到胡須上的眼淚竟結(jié)成了冰。百姓聞其逝世，皆罷市，四處哭聲一片。羊祜逝世兩年之后，杜預(yù)率軍滅掉吳國(guó)。慶功會(huì)上，晉武帝流著淚說(shuō)：能夠滅吳，是羊太傅（羊祜官至太傅）的功勞啊！