和上次一九二七年下野一樣，蔣介石在一九三一至一九三二年的冬天于溪口賦閑，不久就接到黃埔系將領函電交馳，宣稱僅肯接受他的命令，又說自從他下野，就再也沒收到支付部隊糧餉的資金。政府主要歲入來源是關稅收入，東北一失，關稅流失占了全國海關總稅收的百分之十五。中央政府雖換由孫中山之子孫科領導，各省扣住鹽稅不肯上繳。工商組織、民間團體甚至一些青年社團現(xiàn)在疾呼總司令回任。蔣亦獲悉，莫斯科繼釋放蔣經國之計，又向南京提議恢復外交關系。蔣可以肯定斯大林企圖增強國民黨內反日派的聲勢，而又不明白蔣的真正立場。

一九三二年一月蔣在溪口武嶺學校的一篇演講，經上海等地報紙刊載。他重申政府“堅持不屈服，不訂損共國權之約”。但是，他也警告，鑒于當前國家實力和精神，不宜輕舉妄動，否則“戰(zhàn)敗之國未有不失地，未有不喪權者”，結果勢必“斲喪……中華民族之命脈”。他的話引起當家負責的同志共鳴。固然南京政府當權派只有少數(shù)人喜歡蔣，而廣州那一伙更沒人喜歡他，他們不情愿地接受，在此一危機下，他畢竟是不可或缺的人物；一個月之內，他們投降了。一九三二年一月，蔣和汪精衛(wèi)在杭州會面，協(xié)議由汪精衛(wèi)取代孫科出任政府首腦，蔣回任軍事總司令。

此時，和日本的危機已轉移到上海，在上海每天都有暴力的反日事件發(fā)生。6一月底，日本一支陸戰(zhàn)隊以保護僑民的名義在上海登陸。當蔡廷鍇的第十九路軍向日軍開火時，日本出動飛機轟炸上海，殺死許多平民。蔣親自負責全面調度指揮軍事行動，通電前線士卒誓死御敵。同時，他下令在河南省洛陽設立臨時首都，以示政府決心持久抗戰(zhàn)。日本急派更多部隊和軍艦，使得全市日軍高達五萬人。杜月笙也派出青幫狙擊手在敵后攻擊日本人。

根據(jù)蔣的說法，他警告蔡廷鍇，敵軍可能從長江南岸的瀏河國軍防線后方登陸。蔡未能派出部隊守住此一地區(qū)。三月一日，一萬名日軍乘船溯長江抵達瀏河。打從戰(zhàn)事開始，中方部隊就有四千人陣亡、七千七百人負傷，再也抵抗不了，全部退出上海。中國報紙、學生團體、宗親會、寺廟和商業(yè)團體，無不主張全面抗日，但蔣批準局部?；穑诔堑乃闹軇澇鲋辛^(qū)，國軍不準進入。這個協(xié)定，和其政府與日本的一切協(xié)議相同，不由汪精衛(wèi)或他本人簽署；在他們眼里，協(xié)議因此是非官方的文件。三月，蔣就任軍事委員會委員長及總參謀長。

由于日本攻擊上海中國管轄區(qū)使得政府不遑兼顧，中共分散各地的蘇區(qū)乘機快速發(fā)展。毛澤東在江西的蘇區(qū)規(guī)模最大，涵蓋三十個縣、三百萬人口；其次是張國燾的鄂豫皖邊區(qū)。國軍針對鄂豫皖邊區(qū)發(fā)動兩次圍剿都以慘敗告終，在淞滬戰(zhàn)事冷卻下來之后，蔣于一九三二年四月集結約四十萬部隊再次進剿，這次包圍中興建同心圓的碉堡步步進逼。張國燾發(fā)覺自己寡不敵眾，且即將被徹底包圍，遂率領鄂豫皖邊區(qū)大部分部隊突圍，往西邊的四川撤離，歷時四年，其實比毛澤東的“長征”更壯觀。一九三二年六月，蔣在一項軍事會議上講話，宣稱中共的根基就是國民政府機器的無能和貪腐……如果我們這次（圍剿）不能取得決定性的勝利，將有大麻煩，因為政府不能既抗日而后方遭人攻擊。但是一九三二年和一九三三年初針對江西共軍的圍剿之役又失敗，且損失慘重，數(shù)以千計的武器被共軍搶走。一九三三年五月，蔣指揮第五次圍剿戰(zhàn)役，采納對付鄂豫皖邊區(qū)的戰(zhàn)術，集中力量興建碉堡網，逐步圍攏。這次他召集了八十萬大軍，大部分投入在擴建、補給和維護碉堡網，它們則受到機關槍交織火網的保護。雙方損失皆以千計，但是到了一九三四年，作戰(zhàn)區(qū)蓋了一萬四千座碉堡，修了近兩千五百公里的新道路，提供對共軍地盤的有效封鎖。