他說：“上海是一個所有國家的人匯集的地方，如果我們這兒的人不守秩序的話，那么，我們的任務(wù)將變得倍加艱難。上海的環(huán)境太糟糕了，大部分駐扎在此地三個月或者最多半年的軍隊都要變得士氣低落，軟弱無力。因此，我們這些軍官必須下決心控制好部隊，使士兵免受各種誘惑，約束他們的惡習(xí)，并為我們的士兵樹立榜樣?！?/p>

幾天后，當(dāng)他回到南京時，他決心采取無情的行動，槍決了50名士兵，因為他們被指控參與了頭一年反對外國的暴亂。此外還有很多人遭到軍事逮捕。

這便是他向外國勢力保證不再干擾他們的方式。他希望與他們的接觸范圍縮小而不是疏遠(yuǎn)。隨后，他又正式向他們保證，在北伐期間將不會再有任何反對外國人的暴行。接著，他呼吁外國停止向軍閥提供武器和資金，因為那樣會延長內(nèi)戰(zhàn)。

月底，蔣把他的指揮部移到了徐州，這是北伐第二階段國民軍前進所至的最北處。他把他的部隊在揚子江的北岸按東西線部署。大約有70萬人聽從他的指揮，這是第一次北伐軍隊的近7倍。而他面對的是張作霖的40萬人馬——由他的兒子張學(xué)良（“少帥”）指揮，另外6萬人由別的將領(lǐng)指揮。

4月7日，蔣宣布發(fā)起總攻，他的戰(zhàn)略很清楚，而且最初是嚴(yán)格按照計劃進行的。主力部隊是他自己的一路軍，沿著津浦線向北挺進。與此同時，馮玉祥的二路軍和閻錫山的三路軍分別從南部和西部進攻河北，把東北軍閥的部隊從主戰(zhàn)場牽制過來。進攻開始后的第21天，國民軍開進了山東省會濟南。

然而在濟南，他們受到了一個新的意想不到的敵人——日本人的阻攔。日軍的一系列暴行是由所謂的“濟南事件”引起的。

日本人曾一度為蔣感到一絲驕傲，因為蔣受的是他們的那套嚴(yán)格的軍事訓(xùn)練；但現(xiàn)在他們卻把蔣看成是對他們掠奪北方計劃的一個威脅，應(yīng)該以某種方式控制住蔣，否則他要把日本的保護對象——張作霖趕出北京。

日本人制造“濟南事件”是因為在那里有重要的商業(yè)利益。根據(jù)1919年的一個協(xié)議，日本已接管了德國在山東的特權(quán)。中國還沒有承認(rèn)這一現(xiàn)狀，日本卻決定行使這一權(quán)利，并把它作為阻撓國民黨北伐的理由。所以，他們向這個城市派駐了大量部隊。

蔣介石急于避免沖突。他的部隊沒有必要經(jīng)過濟南，因為北部的軍隊已經(jīng)潰退，于是他命令軍官們不要進駐濟南。但是，其中有名軍官可能誤解了這個命令，也可能對之表示蔑視，結(jié)果他們開進了濟南。不久，國民黨軍和日本便處于緊張對峙狀態(tài)。

第一起暴行發(fā)生了。日本人包圍了國民黨政府外交部駐當(dāng)?shù)氐霓k事處，割掉了負(fù)責(zé)人及16名人員的鼻子和耳朵，隨后又殺害了他們。

當(dāng)蔣派遣的國民政府外交部長前去和日本將領(lǐng)談判時，也遭到逮捕。在脅迫下，他簽署了一項聲明，譴責(zé)中國人首先挑起了事端。

與此同時，濟南城遭到了機關(guān)槍的掃射和炮轟。總司令面臨著兩種選擇，他要么抵抗日本人，但這必須冒著劇烈對抗和戰(zhàn)敗的危險；要么屈服于日本人，繼續(xù)向北進攻。他選擇了后者，靜悄悄地從濟南撤出了他的部隊，把他的主力部隊轉(zhuǎn)移到河南他接管的地區(qū)。當(dāng)戰(zhàn)火停息的時候，這一退卻給他招來許多批評。

濟南事件使北伐停止了一個星期。到五月底，蔣已鏟除了阻礙其進程的三個軍閥中的兩個——吳佩孚和孫傳芳。第三個軍閥張作霖也準(zhǔn)備讓出北京，而且后來還丟了命。