得到曾國(guó)藩的允準(zhǔn)，李鴻章大喜，立即催常勝軍盡快開(kāi)出，他說(shuō)最好上午接信，下午就上船出發(fā)，“惟盼風(fēng)利不泊，直下石頭城，以為快慰”。他又致函吳煦：“常勝軍調(diào)援金陵之說(shuō)，中外皆知，即使英美領(lǐng)事意存阻撓，無(wú)論輪船多少，人數(shù)增減，必須成行，愈速則愈密，愈密則愈妙?！?迫不及待之情，表露無(wú)遺。

但這時(shí)金陵外圍的戰(zhàn)況，已發(fā)生變化。曾國(guó)荃在水師的支援下，堅(jiān)守了四十六天，沒(méi)有崩潰。十月初五清晨，湘軍反攻，迫使太平軍撤圍。曾國(guó)藩奏報(bào)：“自辰至巳，掃平賊壘數(shù)十座，擒賊近四百人，斃殿后悍賊七千人……時(shí)閱四十六日，以寡御眾，出死入生，卒能挽回危機(jī)，保全大局?！?曾國(guó)藩又馬上寫(xiě)信給李鴻章說(shuō)：“金陵極危險(xiǎn)之時(shí)已早過(guò)……白齊文之軍既未啟行，即可竟作罷論?！彼吕铠櫿逻€不死心，幾天后又寫(xiě)信說(shuō)：

常勝軍不來(lái)金陵亦自無(wú)害，來(lái)亦未必果有裨益。九洑洲、下關(guān)各賊壘似非輪舟炸炮所能遽破，鄙嘗疑用兵之道在人而不在器，忠逆之攻金陵官營(yíng)，亦有炸炮，亦雇洋人在內(nèi)，官軍不因此而震駭，舍弟亦還以炸炮御之，彼亦不因此而動(dòng)……鄙意求勝于洋，在中國(guó)官不要錢(qián)，兵不兒戲，不僅在稅餉之盈絀，尤不在體制之崇卑。

曾國(guó)藩又在老調(diào)重彈，從常勝軍去不去金陵，扯到洋人武器沒(méi)什么了不起、中國(guó)體制并不輸于洋人之類的宏大議題，李鴻章接信亦只能唯唯而已。但這時(shí)白齊文已整裝待發(fā)。作為雇傭軍，必須打仗才有錢(qián)收，所以白齊文借出兵為由，纏著吳煦、楊坊要錢(qián)，逼楊坊立即發(fā)還拖欠的軍餉。

十一月十四日，白齊文率領(lǐng)一伙常勝軍，擅自關(guān)閉了松江城門(mén)，準(zhǔn)備強(qiáng)行劫取餉銀，鬧得城里雞飛狗跳。知府方傳書(shū)、參將李恒嵩趕來(lái)，好言相勸，承諾發(fā)還欠餉，白齊文還是不依不饒，揎拳捋袖，恨聲不絕。翌日，他竟帶著數(shù)十名官兵，到上海興師問(wèn)罪，氣勢(shì)洶洶直闖楊坊家中，把楊坊痛毆一頓，打得楊坊鼻梁折斷、吐血不止，隨后搶走了洋銀四萬(wàn)余元。

李鴻章正愁常勝軍赴金陵一事泡湯，不知如何把白齊文送出門(mén)，沒(méi)想到白齊文自己倒持泰阿，把理由送上來(lái)了，李鴻章正好把他解決，并順帶把吳煦也端掉。他一邊奏請(qǐng)朝廷撤了白齊文的職，并懸賞五萬(wàn)兩通緝；一邊向曾國(guó)藩報(bào)告：“吳道適自鎮(zhèn)江回，求鴻章斥革白齊文，商請(qǐng)英國(guó)士提督（士迪佛立）出頭彈壓。常勝軍弁目百數(shù)十人均系外國(guó)流氓，畏英國(guó)之威，英兵官四人在該營(yíng)幫同教練，已與士提督商議定，中外各派一員接管（已派李恒嵩會(huì)同英員），糧餉調(diào)發(fā)由中國(guó)官員主持。該勇如再獷悍，應(yīng)酌量裁遣。”

李鴻章又寫(xiě)信給吳煦：“英法與我會(huì)防，乃任流氓美人猖獗至此，閣下與憩堂（楊坊）必須設(shè)法挽回，若釀成重案，不獨(dú)吾兄等無(wú)詞自解，即外國(guó)帶兵各官面上皆不好看也?！?這封信，為追究吳煦、楊坊責(zé)任，埋下伏筆。

十一月十八日，李鴻章向朝廷參奏吳煦、楊坊二人：“至二品頂戴、蘇松太道吳煦，二品頂戴、前蘇松糧道楊坊，本愿帶常勝軍赴援金陵，屢次延誤，實(shí)由白齊文不遵調(diào)遣，楊坊并被白齊文毆傷，尚非縱容逗留。然該道等創(chuàng)募此軍，及換人接帶，始終主謀，又有督帶之責(zé)，不能實(shí)力制，辦理不善，咎亦難辭。應(yīng)請(qǐng)旨將吳煦、楊坊暫行革職，仍令妥籌接辦事宜，以觀后效?！?朝廷準(zhǔn)奏。吳煦、楊坊的仕途，至此“行人止步”。

李鴻章旋向士迪佛立提出交涉，常勝軍應(yīng)由中國(guó)人會(huì)同管帶。士迪佛立初不愿意，雙方反復(fù)爭(zhēng)辯，乃至舌敝唇焦，最后簽訂了“統(tǒng)帶常勝軍協(xié)議十六條”。規(guī)定常勝軍暫以?shī)W倫為管帶，李恒嵩會(huì)同管帶；裁至三千人，削減雜項(xiàng)開(kāi)支及長(zhǎng)夫額數(shù)；不得私購(gòu)軍火；懲辦士兵由中方做主；松江地方事務(wù)外國(guó)人不得干涉；將來(lái)征得英國(guó)政府同意后，改由戈登統(tǒng)帶。