蔣現(xiàn)在將注意力投到戰(zhàn)場，發(fā)動攻勢對抗北方軍閥聯(lián)軍（人數(shù)仍有六十萬人之多）。孫傳芳?xì)埐吭谏綎|一度抵抗甚力，然后越黃河北逃。往省會濟(jì)南的大路門戶洞開。濟(jì)南的日僑約有兩千人，田中義一首相要求國民革命軍繞過濟(jì)南，但蔣需要掌控穿過本市的南北鐵路線。東京內(nèi)閣意識到其僑民處境危險，批準(zhǔn)派出福田彥助（Fukuda Hikosuku）將軍率麾下五千名士兵“保護(hù)日本國民及其財產(chǎn)”。

蔣對于占領(lǐng)濟(jì)南的風(fēng)險十分焦慮，以致國民革命軍在一九二八年四月接近濟(jì)南時，他輾轉(zhuǎn)反側(cè)、不能入眠。五月一日晚間，蔣穿簡單的戰(zhàn)地制服坐車進(jìn)入濟(jì)南城，發(fā)現(xiàn)福田的五千名士兵帳篷遍布城里城外。他和福田和氣地會談，可是國軍第四十軍士兵已在城里撕扯日本國旗，沖突終于無可避免。次日早晨，日本炮轟一部分城區(qū)，打死數(shù)百名民眾。五月五日，蔣照會福田他將率領(lǐng)全部國軍渡河，只留下少數(shù)在城里維持秩序?？墒?，日軍逮捕外交部濟(jì)南特派員蔡公時，聲稱有人從他的辦公室朝日軍開槍。他拒絕下跪，也不肯指出誰開槍，日本人割他舌頭、刨他眼珠，然后開槍打死他和十多位部屬。當(dāng)天夜里，蔣在日記里首次用中國人歧視日本人的詞語，痛批他們?yōu)椤百磷印薄?/p>

蔣的部下，包括馮玉祥的聯(lián)絡(luò)官，力促他調(diào)來舊大炮對付日本人。國民革命軍在當(dāng)?shù)丶s有十萬兵力，遠(yuǎn)遠(yuǎn)超過日軍人數(shù)，但蔣曉得日本的武裝部隊有飛機(jī)、坦克、重炮和重型機(jī)關(guān)槍，實力遠(yuǎn)勝過國軍，而且東京會不惜投入大量兵力來報復(fù)。他寫下：“日本軍隊……橫暴……唯有忍辱而已，對一般憤激之軍民，亦唯有勸止。……其種種挑釁侮辱行為令人難受。不屈，何以能伸？”

兩軍交火消息傳到日本，田中首相下令從滿洲和朝鮮調(diào)一萬六千名后援軍兵到濟(jì)南。日本軍艦沿長江而上，陸戰(zhàn)隊也在浙江溫州登陸。同時，中國舉國沸騰，呼吁南京政府與日本斷交，發(fā)起抵制日貨。蔣在日記中說：“民情激昂……但是要長期、深刻地維持，并不容易?！彼铝畲蟛糠謬娡顺鰸?jì)南，取道西側(cè)，渡黃河繼續(xù)北上，只留下兩個團(tuán)五千兵力。可是，福田要求中方完全退出濟(jì)南城。次日，確認(rèn)要求未遂后，他下令攻擊國軍。蔣命令留下的兩個團(tuán)長率部突圍、撤退。他們在傷亡慘重下完成任務(wù)。根據(jù)各方的估計，日軍殺害兩千至一萬一千名中國軍民；而日方卻表示，傷亡僅有三十八人。五月十日，蔣向日方道歉，并調(diào)走國軍指揮官；但是他在日記中下定決心，此后每天要記下“滅倭方法一條”。

全世界對日本人的傲慢、野蠻大嘩。田中擔(dān)心行動太過火，同意談判。將近一年之后，中日雙方在一九二九年三月二十八日達(dá)成協(xié)議，雙方各接受一部分責(zé)任，日軍被限期在兩個月內(nèi)完全撤出山東——他們也的確履約撤軍。

蔣若是預(yù)料到濟(jì)南事變的發(fā)展，他可能會避免當(dāng)時、當(dāng)?shù)睾腿哲姏_突，但是，一爆發(fā)，他決定退讓或許是明智之舉；因為日本人會殲滅稚嫩、配備不良的國軍。而且一九二八年的美國陷于孤立主義，中國從美國或其他國家得不到有意義的支持。只有在日本帝國的威脅，和納粹德國崛起、嚴(yán)重傷害世界秩序串聯(lián)在一起——那已是十多年后的事情——西方國家才認(rèn)真關(guān)注日本在中國的武裝擴(kuò)張。但是就日本軍國主義者而言，濟(jì)南事變證明對中國可以恣意侮慢，不虞后果。中國方面，此一奇恥大辱激發(fā)中共宣傳的新重點——猛烈抨擊蔣介石對日姑息。

蔣在日記中一再寫下“復(fù)仇”、“忍耐”。他寫下：“有雪恥之志，而不能暫時容忍者，是匹夫之勇也，必不能達(dá)成雪恥之任務(wù)?！睗?jì)南事變證明了蔣的新發(fā)現(xiàn)：日本是中國的最大敵人，在未來遠(yuǎn)比歐洲列強(qiáng)、共產(chǎn)黨或軍閥的威脅更嚴(yán)重。他對軍校學(xué)生演講，呼吁他們協(xié)助他洗刷濟(jì)南事變之恥，但是他也提醒他們，要把這股仇恨隱藏到最后一分鐘，否則就會令日本人起戒心。他認(rèn)為目前唯一的路就是姑息日本，但絕不正式簽字放棄中國主權(quán)，同時要建立健全的政府統(tǒng)一全國，并努力以德國武器和訓(xùn)練推動國軍現(xiàn)代化。