還是在安慶的時候，李鴻章就開始接觸外國人的洋槍洋炮，還有那些威力無比的遠(yuǎn)洋戰(zhàn)艦與船隊。到達(dá)上海之后，李鴻章不無驚異地發(fā)現(xiàn)，堂堂大清上海的防衛(wèi)力量，竟是由英國人、印度人、法國人組成的三千人的洋人軍隊。這支軍隊是由上海商人和紳士出錢養(yǎng)著的外國雇傭軍。該軍1860年正式組建，由美國人華爾出任指揮。1862年，被清政府命名為“常勝軍”。這個華爾，后來還娶了楊坊的女兒，加入了中國籍。

“常勝軍”的武器都是西式的來復(fù)槍和榴彈炮，李鴻章看著這些硬邦邦、冷冰冰的“利器”，不禁驚嘆它們的神奇力量，并逐漸對這些“利器”產(chǎn)生了極其熱烈的向往。為此，他還化妝成百姓，親自到上海的外國軍艦上參觀。李鴻章在文章中寫道：我觀察我們中華民族和外國人的種種，包括歷史、制度和文字等等方面，外國人唯一比我們強的就是他們先進(jìn)的武器裝備。如果我們中國人將來也有自己的先進(jìn)武器，那我們就再也不用害怕外國人了。

由華爾所率領(lǐng)的“常勝軍”連連挫敗雄風(fēng)依舊的太平軍這一事實，使李鴻章深深地感受到了洋槍洋炮的巨大威懾力，同時也不得不生出空前的危機感。李鴻章明確提出：大清現(xiàn)在的大患是太平軍，將來更長久的大患必是洋人無疑。所以他要求自己的軍隊不能依靠洋人，一定要“自強”，而最初的自強之道，就是所謂“講求洋器”。

在李鴻章著手以“洋器”裝備淮軍時，首先遭到曾國藩的反對。曾國藩一向認(rèn)為，用兵在人不在器，而且懷疑洋槍洋炮的作用是否有李鴻章說得那么厲害。李鴻章不便強烈回駁自己的恩師和統(tǒng)帥，只是在回信中委婉地表示，我是想學(xué)習(xí)洋人的一點兒“密法”，希望能增強淮軍的戰(zhàn)斗力。

在1862年5月給曾國藩的信中，李鴻章談到世界歷史說，以前俄羅斯和日本因為不知道大炮的厲害，所以國力日益衰退，自從他們從英法學(xué)到武器的制造術(shù)后，便逐漸能和英法比高下。除此之外，李鴻章日益感到淮軍勢單力薄。他考慮到從老家招兵不方便，所以除了在當(dāng)?shù)卣心剂艘恍┬卤?，把淮軍主要來源放在改良以前的防軍上。他還收編了一大批太平軍的人馬，用以擴(kuò)大和充實淮軍力量，而且收編的降軍力量遠(yuǎn)遠(yuǎn)超過改編的防軍。這是李鴻章有意采取“以毒攻毒”之策。

此時李鴻章還開始組建自己的水師。最早的淮軍水師起建于安慶時期，那時候有五只大船。到達(dá)上海之后，李鴻章改編了上海舊的水師防軍和蘇嘉地區(qū)的部分船隊，還有其他一些零散的力量。他還統(tǒng)率著淮陽水師和太湖水師。這樣，李鴻章的淮軍便達(dá)到了水軍4萬人，陸軍7萬人的規(guī)模。

最初李鴻章訓(xùn)練淮軍，基本上也是按照以前訓(xùn)練湘軍的那一套辦法，特別是每天要帶領(lǐng)士兵唱“愛民歌”，這都是曾國藩的創(chuàng)意。湘軍雖然擁有洋槍洋炮，但是很少使用。李鴻章則請洋軍官進(jìn)入淮軍大營，幫助實際操練，讓士兵學(xué)習(xí)洋槍洋炮的使用方法。從此以后，淮軍這支湘軍中最早的分支部隊，開始和湘軍有了諸多的差別。李鴻章就率領(lǐng)著這樣一支隊伍，開始了對太平軍更猛烈的進(jìn)攻和更瘋狂的剿殺。