1852年曾國藩在省城長沙招兵募勇，舉辦團練，開始為東征作準備。當時負責湖南防務的是綠營軍，綠營軍與湘軍團練是在同一個地方操練。綠營軍仗著自己是國家正規軍，很是看不起這些農民出身的湘軍，因此經常有些綠營士兵欺負湘軍士兵。慢慢這也就釀起了一起大禍。這天幾個喝醉酒的綠營士兵與幾個湘軍士兵因賭錢發生了爭執，綠營士兵糾集了一大幫人對湘軍士兵大打出手，湘軍的幾個士兵被打成重傷，曾國藩的弟弟曾國葆也在這次被誤傷。

早已憋了一肚子火的曾國藩，實在是忍無可忍，于是向提督鮑起豹提出要求交出帶頭滋事的綠營士兵，加以嚴懲。鮑起豹也早已對曾國藩插手綠營事務極為不滿，借機一邊把這幾個綠營兵五花大綁送往曾國藩公館，一邊暗自鼓動綠營兵去鬧事。當晚一大批綠營士兵就包圍了曾國藩公館，要求釋放滋事的綠營士兵。其中有幾個沖進了公館，開槍一陣亂射，曾國藩的貼身侍衛被打傷，曾國藩本人也險些中彈，場面一度失控。驚慌失措的曾國藩跑到隔壁，向湖南巡撫駱秉章求助。駱秉章的府衙與曾國藩公館僅一墻之隔，當天發生了這么激烈的沖突，駱秉章不可能不知道，但都沒有出來制止。駱秉章慢慢趕到后，不但沒有斥責綠營兵，還親自給幾個被綁的綠營士兵松了綁，釋放了綠營士兵。之后對曾國藩說了句：“以后打仗還得靠他們的”也就回去了。

第二天這件事成為那些一心想看曾國藩笑話的湖南官員津津樂道的笑料，以至于流傳出曾大人昨天晚上被綠營士兵打了的謠言。這件事情之后，曾國藩悲哀的意識到，省城長沙是無論如何也呆不下去，不得不將部隊轉移到了，湖南南部的衡陽。

江西的苦難歲月

1854年湘軍東征進入江西，在江西曾國藩墜落到了他一生中事業的最低點。對太平軍的戰事，一度屢敗屢戰，而與江西當地的地方官員，也是矛盾重重。

這一年，他遇到的是陳啟邁，陳啟邁跟曾國藩是同鄉，又是同一年考中進士。早年陳啟邁也的確曾與曾國藩有不錯的交情。曾國藩幻想著得到陳啟邁的幫助，而這也僅僅只是曾國藩一廂情愿的幻想而已。湘軍是受朝廷之命，民間自費養兵，因此湘軍很大程度上的軍餉也仰仗江西方面提供。身為江西最高行政長官的陳啟邁經常以江西本省開支巨大，財政吃緊為由，拖欠湘軍的軍餉。對曾國藩本人也經常是陽奉陰違，兩面三刀，曾國藩對此也只得忍讓理解。

曾國藩與陳啟邁的矛盾，因為一個叫彭壽頤的人而激化。彭壽頤受曾國藩之命在江西南康設立了一個叫厘金局的機構，在一些行商的車船碼頭收一些厘錢，以補貼湘軍軍費開支。陳啟邁對此十分憤怒，下令抓了彭壽頤，并在審問中，將彭壽頤拷打至死。曾國藩忍無可忍，無需再忍，向咸豐皇帝上了個折子，參了陳啟邁一本，在折中歷數陳啟邁五大罪證，終于朝廷將陳啟邁革職查辦。

矛盾根源

早年曾國藩幾乎每到一個地方都與當地的官場矛盾重重。初到長沙時，因為處處插手長沙各方面事務，遭到了長沙官場的排擠、對付。進入江西也與幾任江西巡撫極為不和，不論是開始的陳啟邁，還是后來的文俊、沈葆楨。

曾國藩與地方官的矛盾并不是私人恩怨，大多都是因為公事。曾國藩是幫辦團練大臣，而這僅僅只是一個差使，并無實權，而他的湘軍想要有所作為，又必須采取強勢。這也就造成了每到一個地方，地方官場都不可能容忍無職無權的曾國藩來指揮他們。加之朝廷對湘軍一直以來是既利用，又打壓，這也在一方面造也了曾國藩在地方的更加被動。今天的人們，在佩服曾國藩的那些功勛的時候，卻也很少有知道曾國藩在內外交困的時候，是如何的戰戰兢兢，如履薄冰的。