胡林翼和左宗棠之間的關(guān)系集合了世交、同學(xué)（同為賀熙齡的學(xué)生）、朋友、姻親、精神同盟者五種關(guān)系。胡林翼對于左宗棠尊敬有加，特別是左宗棠成了他的長輩之后，經(jīng)常以長輩相稱，但左宗棠卻嚴厲禁止兒女以平輩對待胡林翼，必須稱其為先生。

左家與胡家也是姻親關(guān)系。1856年胡林翼的妹妹胡同芝嫁給了左宗棠的二哥左宗植的長子，胡林翼稱呼左宗棠為“丈”并不過分，但從朋友關(guān)系上講，左宗棠一直稱呼其為“兄”也屬正常。

胡林翼不但在仕途上給左宗棠以幫助，在生活上也屢次接濟左宗棠，更在為官之道上提點左宗棠。然而，由于兩人出身、經(jīng)歷和性格等方面的不同，左宗棠并沒有成為胡林翼希望成為的人。但也許正是因為這一點，在胡林翼眼中的左宗棠才是一位勇于開創(chuàng)、敢為天下先的人。正是這些原因，胡林翼才盡力拉攏左宗棠成為鐵三角中的一級，更將其推上了核心的地位。

在左宗棠成為幕府師爺?shù)哪嵌稳兆永铮孳娖鋵嵰呀?jīng)形成了鐵三角。左宗棠作為湘軍的大后方，負責糧草的運籌、兵源的供給、坐鎮(zhèn)湖南大本營，居后左右相助，兩翼分別是胡林翼在湖北、曾國藩在江西。隨著樊左互控之后，左宗棠脫離幕府，幫助曾國藩籌建湘軍之日起，胡林翼便在其后籌劃左宗棠勢力的發(fā)展。

鐵三角之所以誕生，其第一功勞就是胡林翼。左宗棠在1860年2月因為樊左互控準備前往北京參加會考，半路被胡林翼派人攔截，將其送到曾國藩的駐地宿松軍營。5月胡林翼也趕來。湘軍諸統(tǒng)帥首次聚首，探討湘軍未來發(fā)展。此時的湘軍分為四大勢力：曾國藩的湘軍、羅澤南（1807-1856）學(xué)生王鑫等人的老湘軍、胡林翼的鄂軍、湖南留守部隊。當時左宗棠還沒有自己的嫡系部隊。

從廣泛意義上說，江忠源（1812-1854）的楚勇、老湘軍以及左宗棠日后創(chuàng)立的嫡系部隊楚軍，都可以被稱為湘軍。楚勇被視做湘軍的雛形，老湘軍則是羅澤南戰(zhàn)死后，其學(xué)生部分跟隨曾國藩，部分則脫離曾國藩自成系統(tǒng)，王鑫、劉松山等人的隊伍便自稱老湘軍。