曾國藩自帶兵之日起，就決心要練成一支全新的能戰的部隊。這種愿望的迫切產生，在于他對綠營弊端的深切感受與極端痛恨。他認為綠營的不可救藥，已經到了積重難返的地步：“恐岳王復生，半年可以教成其武藝;孔子復生，三年不能變革其惡習。”①由此他認為：“現在之兵，不可練之而為勁卒，新募之勇，卻可以練之使補額兵。”②

綠營之弊誠然已經是一種制度化的痼弊，而革舊鼎新又談何容易？再說，編練新勇以代替國家經制兵的八旗綠營(哪怕是在實際上而不是名義上)，也與皇帝的原意相去甚遠。清朝統治者的初衷，是把團練當作一劑應急藥物來服用的。雖然他們也深知旗綠部隊的無用，但八旗畢竟貼心得緊，不用擔心控制不靈;八旗綠營制度由來已久，改革祖宗之制阻力既大，又非短時之功，習慣了“急來抱佛腳，雨過忘雷聲”的大清政府，在撲滅川楚白蓮教起義的戰爭中看到團練的力量，認定了這只“佛腳”，寄希望于它在國家有事時可以招之即來，天下太平時又可以揮之即去;不用擔心經濟上的負擔，不用顧慮軍事上的失控，真是一舉多得！豈不知，面對組織嚴密、戰斗力強大、建立了牢固根據地、進退自如的太平天國起義軍，傳統意義上的團練只靠“保甲相連”、“堅壁清野”的老辦法，已經難以發揮作用。八旗和綠營的改造既然一時難以實現，那么，在傳統團練的基礎上訓練一支介于兩者之間的勇營隊伍，革除旗綠之弊端，練成能戰之銳旅，才不失為明智之舉。曾國藩就是在這一歷史時刻敏銳地抓住了問題關鍵的那個人。

咸豐二三年間，先后奉上諭擔任團練大臣的官員有43人之多，而最終成就大功的，只有曾國藩一個。曾國藩不是落實皇帝諭旨最嚴格的那一個，他在實踐中漸漸背離了朝廷的初衷，離開團練建成了一支經制兵之外的準正規軍;曾國藩也不是最幸運的那一個，他用破心機，幾經曲折，飽嘗艱辛，才成功地帶出了一支清政府不得不倚重的湘軍勁旅。湘軍成功了，它從不起眼的地方團練而成為當時中國戰斗力最強、清廷疑忌而又不得不依賴的部隊。這支成功交響樂，由“三部曲”樂章構成：另起爐灶，促練大團;避走衡陽，練成勁旅;獨當一面，席卷兩湖。

另起爐灶，促練大團。曾國藩奉命進駐省城時的任務有二：一是“團練鄉民”，二是“搜查土匪”。與練兵有關的是“團練鄉民”，而這個團練，原來不過是以各府縣團練為基礎，以保甲地方、維護治安為主要任務，距離一支能夠獨立作戰部隊的要求相去甚遠。曾國藩在受命之初，就決心另起爐灶，按照自己的想法帶出一支全新的部隊來。他在初到長沙后的一份奏折中，就把“團”與“練”區分開來：“團練二字宜分開看，團即保甲之法，清查戶口，不許留容匪人，一言以盡之矣。練則制械選丁，請師造旗，為費較多”，并提出自己的建議：“于省城立一大團，認真操練，就各縣曾經訓練之鄉民，擇其壯健而樸實者招募來省。參仿前明戚繼光、近人傅鼐成法，但求其精，不貴其多;但求有濟，不求速效。”①按照慣例，團練本應該于各個地方就近訓練和執行任務，省城防衛和重大軍事行動仍然靠綠營，曾國藩提出在省城組建大團，實際上就是在省防綠營之外另起爐灶，組建一支新軍，這顯然與朝廷的初衷相背。但病急亂投醫的大清統治者似乎沒有注意到兩者之間的不同，批示道：“知道。悉心辦理，以資防剿。”②于是乎，羅澤南、王等各地團練隊伍陸續來到長沙，在曾國藩的指導下，開始了正規化的訓練，并不斷派出部隊到各地攻剿會黨、農民起義。1853年春夏間，江忠源部楚軍會同湘軍，先后在常寧、陽山、衡山、永興、茶陵等地參加對起義軍作戰。到1853年7月下旬，曾國藩負責編練的湘軍，已有羅澤南的中營、王纮的左營、鄒壽璋的右營、塔齊布的辰營，以及周鳳山、儲玫躬、曾貞干等各自統帶一營，兵員總數由初設大團時的1000余人擴大到4000人左右。

避走衡陽，練成勁旅。一個古今中外通用的規律是，肯辦事者總是要惹出很多麻煩，要想辦成事，就必須善于處理各種麻煩。曾國藩放棄守制，出山辦事，正是躊躇滿志大展手腳的時候，頗有一股“了卻君王天下事，哪管閑人論短長”的味道。在省城長沙，他一方面辦“大團”、練新軍，一方面設“審案局”、查“土匪”。事實上，他這個團練大臣的職責是很模糊的，可伸可縮，可大可小，“圣諭”沒有明確地細化，全靠自己在辦事中把握。問題在于，湖南地方既有巡撫、布政使、按察使等管理行政、刑事，又有提督等負責軍事;曾國藩設局審案、動輒殺人，難免與地方官吏引起沖突;他又組織綠營與湘勇合訓，三八會操，酷暑不停，綠營的“老爺兵”自然難耐其苦，提督鮑起豹則怨其越職侵權。偏偏曾國藩使出強梁作風，以為自己一心辦事，對于那些因循守舊、無所作為而又阻攔改革的貪官庸吏大加彈劾，越過湖南巡撫駱秉章，彈劾了副將清德，使其被革職拿問，又保舉心向湘軍的綠營參將、旗人塔齊布。以上矛盾日漸積累，終于導致綠營和湘軍的正面沖突不斷，直至綠營兵包圍曾公館鬧事，弄到難以收場的地步。在這種情況下，曾國藩終于下定決心離開長沙，以“就近剿匪”的名義，移軍衡州專事練兵。至于為什么沒有向皇帝告狀，他自己粉飾說：“為臣子者，不能為國家弭亂，反以瑣事上瀆君父之聽，于心未安也。”實際的情況是，長沙是矛盾叢生之地，曾國藩與地方軍政大員的關系已難以為繼，要繼續練兵，矛盾仍然不會減少，與其在矛盾中心掙扎，不如退居邊緣專心練兵，以求有所成效。再則，巡撫、提督等人不同于一個區區副將，即使曾國藩告到皇帝面前，朝廷會不會為了一些本就無所謂誰對誰錯的問題和一個在籍的前二品侍郎，就去處分地方大員？顯然未必。事實證明曾國藩避走衡州一著棋是走對了，在衡州他打著為江忠源添練兵源的旗號，擴招勇丁，統一編制，勤加訓練，又花大力氣籌建了湘軍水師。半年后，湘軍北上作戰時，水師已有大小戰船360余號，水陸官兵及丁夫等共計17000余人，軍容嚴整，令長沙諸公耳目一新。

獨當一面，席卷兩湖。曾國藩不但善于避開矛盾、專心辦事，更善于通覽全局、把握關鍵。他敏銳地觀察到綠營兵不可用，必須在綠營之外單練一支新軍;要消滅太平軍，必須浮江東下，必須面對太平軍的水營，因此也就必須建立一支強大的湘軍水師與之對抗;主張湘、鄂、皖、贛四省聯防，先后推江忠源、吳文镕主持大局。當太平軍西征取得輝煌戰果時，江忠源、吳文镕先后戰死，長江中游的綠營主力已經或敗或散，放眼兩湖，能戰的“生力軍”舍曾國藩其誰？水師更是非湘軍莫屬。1854年2月25日，當年在長沙受夠了鳥氣的曾國藩，終于在皇帝三番五次的催促下，在長沙軍民望之如甘霖、倚之如長城的渴盼中，威風凜凜地率軍北上了。經過近一年互有勝負的征戰，湘軍席卷兩湖、進軍皖贛，收復了武昌等大城市和田家鎮等要地，給屢屢戰敗的清政府打上了一劑強心針。這時的湘軍，也已經羽翼豐滿，成為與南京城外的江南大營、江北大營并列的主力部隊了。