陳伯之，濟陰睢陵(今江蘇睢寧)人，幼有膂力，少小無賴，家中貧窮，以盜劫為生。后跟隨同鄉車騎將軍王廣之征討齊安陸王蕭子敬有功，升遷為冠軍將軍、驃騎司馬，封魚復縣伯，食邑500戶。

齊永元三年(公元501年)，蕭衍率義軍攻打郢州(治所在今湖北武昌)，東昏侯蕭寶卷任命陳伯之為豫州刺史，占據尋陽(今江西九江)來抵御義軍。蕭衍攻下郢州，找到陳伯之的幢主(南北朝時禁軍主將的稱呼)蘇隆之。派他勸說陳伯之投降，告訴他如能歸附，就封為安東將軍、江州刺史。陳伯之雖接受了這一條件，但心懷猶豫，首鼠兩端。蕭衍趁其猶豫，率大軍抵達尋陽城下，逼他投降。陳伯之不得已而歸附。

蕭衍封陳伯之為鎮南將軍，領著他一道去攻打建康(今江蘇南京)。大軍圍困建康城，每當有投降的人從城中出來，陳伯之就召喚來小聲地探問城中的情況。蕭衍怕他再有反復，就召他來秘密地說：“聽說城中將吏對你投順一事非常惱火，想派刺客來殺你，你應當慎重考慮，務加小心。”陳伯之不相信。正逢東昏侯的將領鄭伯倫投降，蕭衍再派他從陳伯之那里經過，對他說：“城中人對你很惱火，想寫信引誘你去投降。你一投降，就要剁下你的手腳;你如果不投降，也要派刺客刺殺你。你要作好防備。”陳伯之害怕，不敢再有倒戈的念頭。由于作戰有功，建康平定后，進號征南將軍，仍回江州(治所在今江西九江西南)鎮守。

陳伯之不識多字，公文書信只能看懂大概意思。大事的裁奪往往取決于身邊的心腹。他身邊有鄧繕、戴永忠、褚緭、朱龍符等重要心腹。朱龍符是陳伯之同鄉，任長流參軍，仗著陳伯之不明下情，恣意胡行。蕭衍得知后，親筆寫信由陳伯之兒子陳虎牙送來，陳述朱龍符罪狀。陳伯之認為朱龍符是驍勇健兒，對他不作處罰。鄧繕曾救過陳伯之，任江州別駕，蕭衍派人代替鄧繕江州別駕職位，陳伯之認為鄧繕有功績不動他的官職，將所派來的人擔任治中。褚緭是個品行惡劣的小人，向來有竄掇陳伯之叛梁投魏的打算。陳伯之身邊的心腹對蕭衍都懷有敵對情緒。鄧繕勸說陳伯之叛梁，認為現在國庫空虛、東方饑荒，是千載難逢的時機。褚緭、戴永忠等也極力附和。

于是陳伯之召集將吏說：“我接到齊建安王指令，他率江北10萬大軍已進駐六合(今江蘇六合)，命令我們運糧連下，我受齊明帝厚恩，要以死相報！”并把褚絹假造的蕭寶夤的書信拿給大家看。眾將果然相信，歃血為盟，同心反梁。

武帝命王茂攻討陳伯之，陳率眾攻豫章(今江西南昌)，留下同鄉唐蓋人守江州。王茂也率軍追到豫章。豫章太守鄭伯倫堅守，陳伯之攻城不克，王茂前軍已趕到，陳表里受敵，大敗逃走，與陳虎牙、褚緭等都逃入北魏。魏封他為平南將軍、光祿大夫，曲江縣侯。

天監四年(公元505年)，武帝派臨川王蕭宏率軍北伐，兩軍對峙，蕭宏命諮議參軍、記室丘遲寫信招降陳伯之，這就是有名的《與陳伯之書》。書中曉之以利害，告之以危局有“將軍魚游于沸鼎之中，燕巢于飛幕之上”的名句;動之以鄉情，有“暮春三月，江南草長，雜花生樹，群鶯亂飛”之佳句;而后喻之以大義。感于此書，陳伯之迫于形勢，終于帶8000兵在壽陽(今安徽壽縣)歸降。兒子陳虎牙被魏人所殺。武帝封陳伯之為驍騎將軍、太中大夫，永新縣侯，食邑千戶。