事實上，1926年8月20日，在北伐開始的時候，他發(fā)表過一項宣言，表示只要外國人不妨礙北伐運動和國民革命軍的行動，不管他們的國籍如何，對他們的財產(chǎn)將給予保護(hù)。

雖然蔣的部隊在攻下漢口數(shù)月之后于1月3日發(fā)生了嚴(yán)重的反英事件，但在一般情況下，國民革命軍在許多城市執(zhí)行了這一命令。

當(dāng)?shù)诹姷牟筷?月24日進(jìn)入南京時，對外國的機(jī)構(gòu)進(jìn)行了攻擊和掠奪，蔣對此很惱火。在這些機(jī)構(gòu)中，有商業(yè)公司，羅馬天主教會，還有英、美、日的領(lǐng)事館等，大約有12個外國人喪生。為了躲避士兵，也為了躲避外國艦艇報復(fù)的炮火，百姓們紛紛躲到城墻腳下。

蔣來到現(xiàn)場，對第六軍的第三師采取了無情的行動，繳了他們的械，并處決了30~40人。

后來據(jù)說共產(chǎn)黨的政治委員插手了這一事件，（蔣寫道）“他們希望挑動外國勢力和革命軍發(fā)生直接的沖突”。但正像吉勒麥茲所指出的那樣，很難看出對外國租界的掠奪會給共產(chǎn)黨帶來什么好處，那很可能只是一次軍隊違紀(jì)事件。

很快，蔣在上海陷入了更嚴(yán)重的麻煩之中，在周恩來等人組織的80萬工人罷工配合下，國民軍1927年3月22日攻占了上海。共產(chǎn)黨武裝了工人糾察隊，接著便發(fā)生了殘酷的巷戰(zhàn)。在此過程中，約有200名工人被打死，1000名工人被打傷。隨后，他們建立了臨時市政府，使局勢有利于自己。

蔣在南昌的司令部里，注視著這些事情，心里憋著一股怒火。開始是左派在武漢建立政府，對他在國民黨中的權(quán)威表示蔑視。現(xiàn)在，共產(chǎn)黨又奪取了上海。

他發(fā)表講話，但不起作用。他時而調(diào)和，時而挑釁，在3月10日的一篇講話中，二者兼而有之。他說：

他沒有打算不與共產(chǎn)黨合作，而且還主張把他們拉進(jìn)國民黨。但是，共產(chǎn)黨現(xiàn)在已達(dá)到力量和聲望的頂點，如果他們對自己的行為不加控制的話，他們將給國民黨帶來災(zāi)難。

他說他不反共，他感激共產(chǎn)黨的支持和同情，但共產(chǎn)黨不能在國民黨內(nèi)謀求優(yōu)勢，壓制國民黨中的溫和派。

武漢政府沒有理睬蔣的指責(zé)。中央執(zhí)行委員會撤銷了蔣作為政治委員的職務(wù)，使其總司令之權(quán)隸屬于新的軍事委員會。

他在國民黨中的所有重要職務(wù)，都轉(zhuǎn)給了他的對手汪精衛(wèi)。那時，汪正在從法國返回的途中。該委員會還通過發(fā)表公告對他進(jìn)行譴責(zé)。指責(zé)他是專制者和獨裁者，說他的統(tǒng)治保護(hù)“官僚、商人和其他機(jī)會主義者”。

按照蔣的說法，是共產(chǎn)國際勸汪精衛(wèi)經(jīng)莫斯科回國的。盡管他們之間發(fā)生過一些事情，但蔣明顯對汪的回國仍抱著希望，認(rèn)為他的老同事會因汪的回國而被重新啟用。汪1927年4月1日回國后的幾天里，蔣和汪在上海會晤了好幾次。

接下來發(fā)生的事情是，根據(jù)蔣的建議，一個姓吳的國民黨人參加了“清黨”會議的討論，此人是蔣在控制委員會中的忠實信徒。

會議的重點是討論“清除共產(chǎn)黨”的問題。當(dāng)他們干這件事的時候，一些遠(yuǎn)離革命的地主和富人發(fā)現(xiàn)他們有救了。吳在會上作了報告，報告中對共產(chǎn)黨和鮑羅廷進(jìn)行了攻擊。

4月5日，汪同來上海的共產(chǎn)黨領(lǐng)袖陳獨秀發(fā)表了一個聯(lián)合宣言，重申共產(chǎn)黨接受孫中山的三民主義，并且進(jìn)行了辟謠。因為有謠言說，共產(chǎn)黨企圖破壞國民軍，并攻擊租界；而國民黨準(zhǔn)備解除共產(chǎn)黨工人糾察隊的武裝，并將共產(chǎn)黨開除出黨等。