左宗棠其后和湘軍猛將鮑超合謀準(zhǔn)備攻下建德，為祁門之圍解困。這時(shí)的左宗棠已經(jīng)升為三品京堂候補(bǔ)。然而，1861年2月左宗棠遭遇了一次大敗。是月，侍王李世賢攻占婺源、平樂、鄱陽等地，兵鋒直指浮梁和景德鎮(zhèn)。左宗棠連忙派王開林、羅近秋迎戰(zhàn)。結(jié)果，李世賢半路伏兵，王開林大敗，陳明南戰(zhàn)死。

同時(shí)，李世賢出奇兵，從小道進(jìn)攻景德鎮(zhèn)，守將湘軍將領(lǐng)陳大富鎮(zhèn)守，最終陳大富兵敗投水自盡。左宗棠見景德鎮(zhèn)丟失只好率兵退守樂平。李世賢迅速調(diào)兵進(jìn)攻樂平，左宗棠高掛免戰(zhàn)牌，堅(jiān)守城池不出。左宗棠見太平軍心生倦怠，立刻出兵突襲，將李世賢擊退20多里。

3月30日，李世賢率領(lǐng)大軍“十萬”（太平軍經(jīng)常虛報(bào)人數(shù)，以嚇唬對手）進(jìn)攻樂平。實(shí)際太平軍人數(shù)大約為三萬到五萬之間，即使如此，也是城中左宗棠5千人的數(shù)倍。李世賢主攻城東北到城西一線，眼見城池不保，左宗棠突然分三路主動出擊與太平軍短兵相接，左宗棠和劉典居中，西邊是王開化，東邊是王開琳。

李世賢萬萬沒想到左宗棠竟然敢主動進(jìn)攻，一時(shí)慌亂，頃刻間大軍潰敗。打仗前軍知道敵情，而后軍卻不知道陣前形勢，見前軍潰退，頓時(shí)驚慌失措。前后軍互相踩踏，李世賢領(lǐng)導(dǎo)不利。此役，李世賢損兵5000多人，率部隊(duì)退往浙江，左宗棠趁勢迅速占領(lǐng)浙江西南大片地區(qū)，到了8月份攻下了浙江重鎮(zhèn)紹興，10月份攻占寧波、臺州。

見浙江只剩下了杭州、衢州、溫州、湖州等幾個(gè)戰(zhàn)略據(jù)點(diǎn)，經(jīng)過政變上臺的慈禧太后，立刻命令左宗棠馳援浙江。早在李世賢占領(lǐng)浙江西南地區(qū)的6月，晚清政府就曾調(diào)左宗棠入浙。因江西戰(zhàn)況危急，曾國藩拒絕調(diào)走左宗棠。而到了11月份湘軍已經(jīng)占據(jù)有利地位，因此，曾國藩并未阻攔并在12月份提請左宗棠為浙江巡撫。

左宗棠此時(shí)的楚軍已經(jīng)達(dá)到了8千人，與此同時(shí)，請調(diào)浙江布政使蔣益澧、湖南總兵劉培元來助，并要求二人各募3千。二人到達(dá)后，左宗棠命劉培元組建水師，左成為楚軍水師統(tǒng)帥。就在左宗棠勢力越來越強(qiáng)之際，他的好朋友胡林翼卻因病而亡。

1861年8月的安慶會戰(zhàn)以湘軍勝利告終。26日胡林翼因肺結(jié)核病逝，湘軍鐵三角就此完結(jié)。左宗棠因?yàn)樯碓谲娭胁荒芮巴跹?，特寫祭文一篇，文中泣曰：“交公若年，哭公暮齒。自公云亡，無與為善，孰拯我窮？孰救我偏？我憂何訴？我喜何告？我苦何憐？我死何吊？追維疇昔，歷三十年，一言一笑，愈思愈研有酒如茲，有淚如絲，盡此一哀，公其鑒茲。”