就在這時候，汪精衛(wèi)派他到莫斯科去和蘇聯(lián)人商討北伐計劃，以及他和季山嘉的不和。陳果夫的弟弟陳立夫剛從美國留學回來，出任蔣的機要秘書。陳立夫后來著書說，蔣并不想去莫斯科，但是覺得他必須接受國民黨和孫中山的原則，即黨（汪精衛(wèi)）控制軍（蔣本身）。照陳立夫的說法，三月十八日午夜過后，中共中央執(zhí)委會里頭有個浙江籍成員傳遞密告給蔣，表示共產(chǎn)黨和蘇聯(lián)人正陰謀要逼他下臺。次日，革命軍一艘炮艇“中山艦”（艦長為共產(chǎn)黨員）作出令蔣起疑的移動，而且汪精衛(wèi)當天兩度打電話問起蔣的行程。據(jù)陳立夫的說法，蔣擔心有陷阱，決定搭車前往廣州城外效忠他的第一軍駐地。途中，他決定要反擊共產(chǎn)黨沖著他來的威脅。經(jīng)過和第一軍高級將領(lǐng)徹夜討論后，三月二十日清晨四點鐘，蔣宣布廣州全市戒嚴，逮捕中山艦艦長（李之龍）以及周恩來在內(nèi)的約五十名共產(chǎn)黨人。第一軍部隊解除了廣州共產(chǎn)黨糾察隊的武裝，并沒收蘇聯(lián)顧問團營區(qū)衛(wèi)兵的武器。下午，廖仲愷遺孀何香凝沖到蔣的總部，追問：“你瘋了嗎？還是你要向帝國主義投降？”想到總理孫中山一向深信他會接受文人統(tǒng)治，蔣不禁“伏案痛哭，有如小童”。

蘇聯(lián)對此事件的后續(xù)報告似乎證實，蔣懷疑汪精衛(wèi)居心叵測似乎不無道理，但莫斯科方面此階段根本不可能試圖倒蔣。每一個跡象都顯示斯大林和鮑羅廷視蔣如雅各賓激進派，近似共產(chǎn)黨人，在國際事務上可接受共產(chǎn)國際的權(quán)威，但在內(nèi)政事務上則不，有朝一日說不定可將他爭取過來。奉系軍閥張作霖一九二七年四月初闖進蘇聯(lián)駐北京大使館，在抄出的文件中也找不到一九二六年三月蘇聯(lián)有倒蔣的陰謀。蘇聯(lián)內(nèi)部的報告也下結(jié)論，認為蘇聯(lián)顧問躁進，想抓權(quán)，卻激起公憤，但也暗示汪精衛(wèi)在“中山艦事件”期間及事后都是反蔣聯(lián)盟的一員。

盡管有這些不確定，事后蔣也相信中山艦艦長未涉及陰謀，他仍然把握這個機會，不僅確立了國民黨在中國有超越蘇聯(lián)顧問的完全權(quán)力，制止中共滲透國民黨，還確立了他在國民黨乃至革命運動中的領(lǐng)導地位?？墒牵Ｍ苊獗豢醋鍪墙栌烧儊磉_成這些目標，因為這會違背孫中山的原則以及他自己誠正的誓言，也會危害到未來蘇聯(lián)的援助。因此他立刻向蘇聯(lián)人保證，一切不變。事件當天下午，他就把部隊撤離蘇聯(lián)營區(qū)，并表示道歉。他也命令士兵撤離工會，釋放周恩來等大部分被扣押的共產(chǎn)黨人。汪精衛(wèi)大怒，以為除了第一軍之外，他可以號召所有部隊反對蔣，不料各軍司令除了一二例外，都強烈反共，樂于見到蔣對中共及蘇聯(lián)人的限制。

國民黨中央執(zhí)行委員會迅即核準蔣的行動，包括讓他接手汪精衛(wèi)的軍事委員會主席職位，中執(zhí)會還提議，“鑒于當前情勢，左翼同志應暫時后退”。汪精衛(wèi)遂以養(yǎng)病為名，立即前往上海，后轉(zhuǎn)赴法國蔣向蘇聯(lián)在廣州的高級外交官索羅扶耶夫（Solovyev）擔保，他的目的不是阻止國民黨聯(lián)蘇容共，他要求加侖回任，以及暫時回去莫斯科的鮑羅廷快點回到廣州。索羅扶耶夫同意，并表示他會罷免季山嘉。

蔣也逮捕若干國民黨保守派，并向黃埔?guī)熒l(fā)表公開信表示他和孫中山一樣，認為若不容共，革命陣線無從團結(jié)起來。這時正好在廣州的蘇聯(lián)考察團團長布伯諾夫認為，蔣愿意也有能力“和我們合作”。雖然中共此時已有三萬名黨員，但短期內(nèi)奪權(quán)的機會不大，斯大林和共產(chǎn)國際因而同意它應繼續(xù)維持和國民黨的統(tǒng)一戰(zhàn)線。