別看曾國藩這次離開長沙好像是迫不得已，但從后來的發(fā)展可以看出，這個決定是正確的，他可以排除干擾，一心練兵了。說到這里，我們必須談談湘軍組建的來龍去脈。首先，曾國藩要選好的將領，條件是不怕死、能吃苦、有能力、不急功、少說話。在這樣的標準下，塔齊布、唐訓方、彭玉麟等得力干將被他招入麾下。再次就是選好的士兵，曾國藩的思路是通過血緣、地緣組織一支以親情、友情為紐帶的部隊。挑士兵就簡單了，不用他親力親為，只要是一級一級從上往下選就是了，營官選哨弁、哨弁選什長、什長選丁勇，而且誰選人誰負責，這樣就形成了一級向一級負責、下級對上級的絕對服從，這為日后湘軍保證了戰(zhàn)斗力的穩(wěn)定。在編制上，曾國藩仿效戚繼光，以營為最基本的作戰(zhàn)單位，每營500人，分前后左右4哨，每哨又分為8隊。有劈山炮、抬槍、小槍、刀矛諸隊，每隊正勇12人，另有親兵6隊，共38隊，每營還配備了180個長夫。這是陸軍，曾國藩還建立了水師，也是仿效陸軍而來，分艙長、炮手、頭工等。

在部隊建制完成后，下一項工作就是訓練，這可是練兵的關鍵。不光是要訓練湘勇的身體素質，還要訓練陣法和命令的執(zhí)行力。為此，曾國藩對訓練抓得很緊，安排好具體每天的訓練項目，自己每月都要親自到場監(jiān)督訓練，防止訓練流于形式。為了加強部隊的“思想工作”，每逢三、八日，他都要對全體士兵進行訓話，將自己的思想傳達給士兵，讓他們建立正確的人生觀。

除了這些，還有一個很關鍵的問題，那就是“薪水”的問題。打仗可不是鬧著玩的，動輒會丟了性命，不管調子說得多高，感情多深厚，沒有錢說什么都是白搭。曾國藩也看到了這一點，他提出了“高薪養(yǎng)兵”的辦法，各級士兵、軍官的月餉都比綠營軍高很多，甚至高出數倍。出操有“補助”、出外打仗有“津貼”，這可算是把部隊的積極性給調動起來了，人們爭相參加湘軍。不過軍餉的增多成了一直困擾曾國藩的大問題，讓他費盡心血、挨遍白眼。

但無論如何，湘軍還是很快地建立起來了，到了咸豐四年（1854年）正月，湘軍正式成立，陸師5000人、水師5000人，再加上其他后勤人員，湘軍全軍共一萬七千人，聞名遐邇的湘軍出現(xiàn)在了歷史舞臺上。