宿松湘軍大聚首中，胡林翼上奏咸豐，請求恩準左宗棠回長沙招募湘勇6000。其后，左宗棠回到長沙以四品京堂候補、幫辦曾國藩軍務(wù)的名義，召集了5000湘勇。他按照戚繼光組建戚家軍的建制，組建了四營四總哨。每營500人共計2000人；每總哨320人共計1280人。與此同時，王錱舊部老湘軍1400人在王錱堂弟王開化的率領(lǐng)下到來。左宗棠又挑選了200人的親兵共分8隊，全軍以王開化為總管，劉典、楊昌濬為副總管。

而這時，朝廷有意讓左宗棠前往四川迎戰(zhàn)石達開，但胡林翼堅決反對，并告訴左宗棠，湘軍不能分開，如果分開就會失去相互協(xié)助的優(yōu)勢。因此，曾國藩和胡林翼以安徽危急為由，請求左宗棠開赴安徽。

左宗棠組建軍隊的時候，為了和曾國藩的區(qū)別開來，將其稱為楚軍。由此，左宗棠成為第一個從曾國藩湘軍體系中獨立出來的人。與此同時，其兵源也并非像曾國藩那樣獨出于湘鄉(xiāng)，而是周邊地區(qū)包括湘鄉(xiāng)等較廣區(qū)域。左宗棠認為，如果全是湘鄉(xiāng)人，那么一遇到困難，因為來自同一地區(qū)，這些人就非常容易倦怠，其行為就高度一致。例如，老湘軍的軍紀就非常成問題。

其次，曾國藩喜歡用知識分子，左宗棠則認為只要能打仗，出身并不重要。王開化的隊伍之所以投奔左宗棠也是因為這一點。當(dāng)然，在戰(zhàn)后勢力劃分的時候，左宗棠軍下知識分子較少的短板，使他的勢力不如李鴻章、曾國荃等人。

楚軍組建后，首次出征便收復(fù)了景德鎮(zhèn)、德興、婺源等地。1860年10月，太平軍與湘軍展開安慶會戰(zhàn)。安慶是南京的西南門戶，若安慶丟失，南京門戶頓開，直接威脅到首都的安危。因此，太平軍為解安慶之圍，分兵兩路進攻。

北路由英王陳玉成率領(lǐng)，南路由侍王李世賢率領(lǐng)，11月兩路大軍先后包圍祁門。作為湘軍大本營的祁門如果丟失，那么湘軍指揮中樞將領(lǐng)將全部束手待擒。此時祁門身處險境，祁門四周只有西南景德鎮(zhèn)未被占領(lǐng)。左宗棠坐鎮(zhèn)景德鎮(zhèn)，對祁門進行物資、兵源供應(yīng)。