抗日戰爭時期，黨領導的敵后抗日武裝在河北、山東、河南三省交界的廣大地區創建了一個東至津浦路，西至平漢路，北至石德路、滏陽河，南跨隴海路的敵后抗日根據地——冀魯豫抗日根據地。

1937年底至1938年春，在日本侵略軍大舉進攻下，華北重鎮太原、濟南相繼淪陷，國民黨軍隊向南潰退，地方政權瓦解，使平漢、津浦、隴海、石德四大鐵路之間的廣大地區成為真空地帶。河北省委和山東省委根據黨中央和北方局的指示，深入這一地區發動群眾，建立抗日武裝，為創立冀魯豫抗日根據地打下了良好的基礎。

1938年春，直南、豫北、魯西南地方黨組織，建立了游擊隊，初步打開了冀魯豫根據地的局面。同年底，八路軍第一一五師部隊進入魯西南地區，推動了該地區的抗日游擊戰爭和根據地的建設。1939年2月，八路軍第一一五師第三四四旅代旅長楊得志等率部分兵力，從晉東南進到濮陽、內黃、滑縣一帶，和地方武裝合編為冀魯豫支隊，開展游擊戰爭，連續取得反日偽軍“掃蕩”的勝利。到年底，部隊擴大到7000余人。1940年4月，八路軍第二縱隊主力在黃克誠率領下，由太行山區東進到冀魯豫邊區，同冀魯豫支隊會師合編，成立冀魯豫軍區，黃克誠兼任司令員，崔田民任政治委員。同時，成立魯西軍區，蕭華任司令員兼政治委員，楊勇任副司令員。不久，黃克誠根據中央軍委命令，率八路軍第二縱隊第三四四旅和新編第二旅由冀魯豫南下，加強華中抗日根據地。到1940年底，冀魯豫根據地向南發展到隴海路，西面、北面接連晉冀豫根據地，東面與山東根據地相鄰。1941年1月，冀魯豫邊區行政主任公署成立，晁哲甫為主任，崔田民、賈心齋為副主任。至此，包括直南、豫北、魯西南地區的冀魯豫抗日根據地初步形成。

抗日戰爭進入相持階段后，冀魯豫根據地處在極端困難時期。根據地軍民執行精兵簡政、主力部隊地方化、敵進我進等方針，粉碎了日偽軍多次“掃蕩”，渡過了嚴重困難局面。

1941年7月，中共中央北方局決定，冀魯豫區與魯西區合并，成立新的冀魯豫區黨委、軍區和行署。新的冀魯豫區黨委書記張霖之，行署主任晁哲甫，新的冀魯豫軍區仍由2縱隊兼任，縱隊司令員楊得志，軍區司令員崔田民，縱隊兼軍區政治委員蘇振華。為了統一冀魯豫邊區，加強對敵斗爭，1942年底，中共中央決定將湖西區及豫皖蘇水東區劃歸冀魯豫邊區，黃敬任區黨委書記。

1943年，冀魯豫抗日根據地進入恢復和再發展時期。在八路軍總部的統一指揮下，冀魯豫軍區和太行軍區于七八月間先后發起衛(河)南戰役和林(縣)南戰役，取得殲滅日、偽軍1.2萬余人的重大勝利，開辟了衛南、豫北廣大地區。

1944年，冀魯豫軍民發動攻勢，攻克日軍據點50余處，恢復昆(山)張(秋)地區，打開了東平、汶上的局面;隨即收復魚臺、單縣、豐縣、沛縣間地區，恢復了微山湖中心區，并向鄆城、菏澤等地攻擊，使魯西各小根據地連成一片。5月，冀魯豫區與冀南區合并，成立中共中央冀魯豫分局和新的冀魯豫軍區，黃敬任分局書記，宋任窮任軍區司令員，黃敬任政委。同年7月，冀魯豫軍區派一部分兵力南下，恢復黃河以東的水東根據地，開辟水西根據地，在14個縣建立了抗日民主政權，擴大了豫東根據地。

1945年春、夏季，冀魯豫根據地軍民同其他敵后抗日根據地一起，對日、偽軍展開了反攻作戰，擴大了解放區。8月，晉冀魯豫地區部隊開始對日、偽軍全面反攻。20日，晉冀魯豫軍區成立，劉伯承為司令員，鄧小平為政治委員。在新的軍區統一指揮下，各地反攻作戰密切配合、協調一致，一部進攻開封、新鄉、安陽、邯鄲等地，一部配合山東解放區部隊進攻濟南，解放了全區大部分城鎮。此時，冀魯豫抗日根據地面積達10多萬平方公里，人口100余萬。