李鴻章一怒之下憤然離開曾國藩幕府，回到南昌他哥哥家中閑住了一年之久。此事使曾國藩大為惱火，認為李鴻章不明大義，不達事理，在自己困難時借故離去，得出“此君難與共患難”之結(jié)論。此事也使李鴻章憤怒異常，他對人說自己原認為曾國藩為豪杰之士，能容納不同意見、各種人物，“今乃知非也”。

李鴻章回到老家之后，因為局勢惡劣，他發(fā)現(xiàn)自己竟然走投無路了。他想去福建補缺，可是他在福建的朋友沈葆楨勸他不要去，說福建政事“糜爛”。李鴻章走后，曾、李二人并沒有中斷友情，仍有書信往來。胡林翼在二人之間做了很多調(diào)解的工作。而且，曾國藩切實地感到身邊少了李鴻章，猶如少了左膀右臂，不禁又想起李鴻章的種種好處來。特別是祁門果然遇到了大麻煩。太平軍占領(lǐng)徽州之后，忠王李秀成直逼祁門。曾國藩猶如甕中之鱉，他寫好了遺書，準備一死了之。所幸李秀成沒有進攻祁門，曾國藩才幸免于難，所部也不得不撤離祁門。此外，身為曾、李二人好友的郭嵩燾聞知李鴻章出走，給李鴻章寫信說：當今之下，能依靠個人力量崛起是非常艱難的，只有依靠可以信賴的人。你應當心胸寬闊，以功名為重，還是重新回到曾國藩身邊為好。

李鴻章本來就很后悔自己的負氣行為，看到好友如此勸說，不覺感嘆郭嵩燾的遠見卓識。在李鴻章成為顯赫的大人物之后，唯有和郭嵩燾之間的友情最是真正的“君子之交”。郭嵩燾沒有派系成見，獨往獨來，眼光深遠，“能言他人所不能、所不敢、所不知之言”。一身兼具新學和舊學的兩大本領(lǐng)，卻長期背負著“獨醒之累”，猶如楚大夫屈原，很難得到世人的理解和認識，是一個孤獨的前行者。

此時，曾國藩也給李鴻章寫信，懇切邀請他回來。1861年7月，李鴻章又回到曾國藩的大營，二人又開始了密切的合作。

從此以后，李鴻章忠心師事曾國藩，在老師的言傳身教下，在個人修養(yǎng)及政治上都得到了曾國藩的著意栽培和極盡熏陶。