16年6月下旬，北伐軍掃蕩魯南。張宗昌、孫傳芳重新整頓，于濟(jì)南會(huì)議決定乘革命軍兵力不能兼顧之際，反攻徐州。張宗昌之白俄軍乘鐵甲車猛攻，北伐軍雖英勇抗御，終難扭轉(zhuǎn)形勢(shì)，7月24日退出徐州。

　　蔣中正為了實(shí)踐徐州會(huì)議時(shí)的諾言，遂于民國(guó)16年8月12日宣布下野。

　　隨同蔣中正離開南京的，有胡漢民、吳敬恒、蔡元培、李石曾、張靜江等。蔣中正離京后先至上海，再轉(zhuǎn)返原籍奉化。

　　蔣中正于9月28日自上海動(dòng)身赴日本，曾在東京發(fā)表告日本軍民書：

　　“不佞來游，雖為日尚淺，而觀于貴國(guó)國(guó)民對(duì)中華民族之觀念，無彼我之別，充滿平等之精神，已得極親愛之印象。貴我兩國(guó)之關(guān)系，孫先總理常以兄弟之國(guó)相許，相信貴國(guó)國(guó)民希望中華民族之自由與獨(dú)立，必較他國(guó)為更切也。然則貴國(guó)朝野如徹底諒解我國(guó)民革命運(yùn)動(dòng)，對(duì)之與以道德上精神上之援助，不利用舉國(guó)民所痛憤之軍閥，以阻撓國(guó)民革命之進(jìn)行，斯即對(duì)我國(guó)民革命運(yùn)動(dòng)為莫大之助，同時(shí)且為兩國(guó)根本親善之要諦也。如是國(guó)民革命之完成，得使兩國(guó)益加睦輯，俾貴國(guó)在東亞之地位益形安泰。同時(shí)或得以貢獻(xiàn)于世界之和平乎！三民主義之國(guó)民革命，于民族歷史上革命精神上抑于世界思想趨勢(shì)上，必可完成。無論如何之強(qiáng)權(quán)，必不得永久抑壓阻撓之也。”

　　1月10日下午1時(shí)3刻蔣中正由日本返抵上海，國(guó)民黨第二屆中央執(zhí)監(jiān)委員乃齊集上海，于12月10日召開第四次全會(huì)預(yù)備會(huì)議，通過復(fù)任蔣中正為國(guó)民革命軍總司令，閻錫山、馮玉祥等亦推代表至上海促駕，國(guó)民黨更吁請(qǐng)汪兆銘發(fā)表宣言出國(guó)考察，并解散特別委員會(huì)。

　　元月4日，蔣中正由上海返南京，5日宣告復(fù)職，重組國(guó)民革命軍總司令部于南京三元巷。通電昭告全國(guó)，繼續(xù)行使國(guó)民革命軍總司令職務(wù)，除政治、黨務(wù)追隨中央諸委員共同負(fù)責(zé)外，同時(shí)秉承中央指導(dǎo)，專司軍令，俟北伐完成，即當(dāng)向中央正式解職以謝去年棄職引退之罪。

　　元月8日國(guó)民政府特任蔣中正為北伐全軍總司令，以國(guó)民革命軍之作戰(zhàn)軍、國(guó)民軍聯(lián)軍之作戰(zhàn)軍、北方革命軍之作戰(zhàn)軍、航空軍之全部組織北伐軍，由總司令統(tǒng)轄指揮之。

　　北伐軍總司令蔣中正

　　參謀總長(zhǎng)何應(yīng)欽

　　第一集團(tuán)軍總司令蔣中正（兼），總參謀長(zhǎng)楊杰

　?。ㄝ牭谝卉妶F(tuán)劉峙，第二軍團(tuán)陳調(diào)元，第三軍團(tuán)賀耀祖，第四軍團(tuán)方振武，總預(yù)備隊(duì)朱培德，炮兵集團(tuán)陳誠(chéng)，后方警備部隊(duì)錢大鈞，航空隊(duì)張靜愚，鐵甲車隊(duì)屠金聲。）

　　第二集團(tuán)軍總司令馮玉祥，總參謀長(zhǎng)劉驥

　?。ㄝ牭谝环矫孳妼O良誠(chéng)，第二方面軍孫連仲，第八方面軍劉鎮(zhèn)華，第九方面軍鹿鐘麟，騎兵第一軍鄭大章，鐵甲車集團(tuán)劉自珍。）

　　第三集團(tuán)軍總司令閻錫山，總參謀長(zhǎng)朱綬光

　?。ㄝ犛衣奋娦煊啦舐奋娚陶?，中路軍商震，預(yù)備隊(duì)豐玉璽，炮兵集團(tuán)周玳。）

　　海軍總司令楊樹莊，參謀長(zhǎng)李景

　　（轄第一艦隊(duì)陳季良，第二艦隊(duì)陳紹寬，練習(xí)艦隊(duì)陳訓(xùn)詠，魚雷游擊隊(duì)曾以鼎。）

　　同時(shí)軍委會(huì)另頒密令三則，分電蔣中正、馮玉祥、閻錫山、楊樹莊等遵照，其文如次：

　　“某總司令勛鑒：甚密，茲頒發(fā)密令如下：（一）北伐全軍以國(guó)民革命軍總司令蔣中正統(tǒng)轄之。（二）北伐軍之兵力，以國(guó)民革命軍之作戰(zhàn)軍，國(guó)民聯(lián)軍之作戰(zhàn)軍，北方革命軍之作戰(zhàn)軍，海軍之作戰(zhàn)艦隊(duì)，及航空軍之全部任之。（三）各作戰(zhàn)軍之經(jīng)理衛(wèi)生及野戰(zhàn)器具材料之補(bǔ)充，除照原有順序辦理外，由軍事委員會(huì)統(tǒng)籌補(bǔ)助之。”

　　蔣中正復(fù)職后，一面征調(diào)第四軍繆培南部由粵入贛，方振武部自信陽開歸德，方鼎英部自粵經(jīng)贛、浙轉(zhuǎn)蘇，錢大鈞部自粵經(jīng)閩、浙入滬；一面令散住皖、贛、蘇、浙軍隊(duì)，準(zhǔn)備出發(fā)。隨復(fù)于2月9日親赴徐州，召集各軍官長(zhǎng)訓(xùn)話，改編徐、海各軍為三個(gè)軍團(tuán)，調(diào)何參謀總長(zhǎng)應(yīng)欽，留守南京。復(fù)指示第一二兩集團(tuán)軍在曹、豐間確取連絡(luò)，實(shí)行戰(zhàn)略展開。2月16日轉(zhuǎn)抵開封，召集馮玉祥及第二集團(tuán)軍總參謀長(zhǎng)劉驥、山西閻錫山代表邵某，第一集團(tuán)軍總參議何成浚，總司令部參謀處長(zhǎng)葛敬恩等，商討北伐大計(jì)。與會(huì)人士均主早日大舉，尤以第三集團(tuán)軍方面主張尤為激切。當(dāng)晚，蔣、馮兩總司令，復(fù)密商大舉北伐日期，及軍隊(duì)調(diào)動(dòng)，戰(zhàn)線調(diào)整，軍費(fèi)籌措，軍實(shí)給養(yǎng)諸大端，決定總攻步驟。

　　北京方面張作霖在17年2月初旬召開干部會(huì)議，圖謀反攻，作全面之進(jìn)犯，到了2月中旬，第二次召集干部會(huì)議，決議對(duì)京漢及山西方面取攻勢(shì)，對(duì)津浦路方面取守勢(shì)。最后則改為對(duì)京漢及津浦路均取守勢(shì)，惟對(duì)山西則取急劇之攻勢(shì)。以張學(xué)良的三、四方面軍主力及張作相軍攻晉，以三、四方面軍的一部配置于京、漢路對(duì)豫北取守勢(shì)，其他褚玉璞、孫傳芳、張宗昌三部，則配置于大名、濟(jì)寧、臨沂一帶，對(duì)南取攻勢(shì)防御。打算先下山西，然后向南進(jìn)展。

　　民國(guó)17年4月1日，蔣中正在徐州行轅除通令第二、第三集團(tuán)軍期以4月7日開始總攻擊外，并于4月3日召集所屬參謀長(zhǎng)至徐面授作戰(zhàn)命令。蔣中正并于4月7日誓師。

　　蔣所親自指揮之第一集團(tuán)軍戰(zhàn)略目標(biāo)，集中優(yōu)勢(shì)兵力，以兩翼包圍擊破魯南及濟(jì)寧地區(qū)北洋軍進(jìn)占濟(jì)南為主，全軍在徐海、碭山、隴海路以北地區(qū)集中，其所屬各軍團(tuán)按以下位置部署：

　　第一軍團(tuán)在徐州東方八義集、大許家、賈旺、利國(guó)驛及徐州附近集中。

　　第二軍團(tuán)在海州、新安鎮(zhèn)、運(yùn)河北站附近集中。

　　第三軍團(tuán)在豐縣、沛縣各附近集中。

　　第四軍團(tuán)在單縣、城武各附近集中。

　　第二集團(tuán)軍第一方面軍（孫良誠(chéng)部）在曹縣、菏澤各附近。

　　4月10日張靜愚的航空隊(duì)偵察發(fā)現(xiàn)北洋軍之鐵甲車扼守韓莊、運(yùn)河鐵橋北端，韓莊東運(yùn)河北岸工事堅(jiān)固。革命軍乃展開攻擊，經(jīng)激戰(zhàn)后，攻克禹王山、勝陽山、王母山、車輻山，當(dāng)晚攻克臺(tái)兒莊，北洋軍向嶧縣退卻。革命軍第一軍之第一師進(jìn)占紅廟、閻莊等處，第三師占領(lǐng)單莊、溝上之線；第二師進(jìn)至利國(guó)驛，第十軍進(jìn)占莊家場(chǎng)、吳閘子、三叉河。11日占領(lǐng)王莊及郯城。13日占領(lǐng)韓莊、沙溝。

　　4月14日北洋軍作殊死斗，孫傳芳在蘇、魯邊界豐沛一帶反攻，為張宗昌聲援。而張宗昌亦親臨前線督部猛攻，革命軍奮不顧身，反復(fù)沖殺，擊潰敵軍攻勢(shì)，占領(lǐng)臨城。18日攻入滕縣。19日占領(lǐng)鄒縣及曲阜。20日攻入兗州，圍殲北洋軍于嶧縣。

　　張宗昌所部軍隊(duì)，在安國(guó)軍七個(gè)方面軍團(tuán)中為數(shù)最多，但流品復(fù)雜，漫無系統(tǒng)，其番號(hào)連張的幕僚亦欠明了。迄大戰(zhàn)前始將軍隊(duì)裁并改編，除人槍較多者仍保留師番號(hào)外，其余編為中將、少將、上校三種支隊(duì)，名目番號(hào)始稍整齊，但實(shí)際各軍改編者仍不過四分之一，裁撤者僅張敬堯之第二軍，余無變動(dòng)。而各軍之編制亦終未劃一，每軍人數(shù)眾寡不等，有二三師者，有一師者，甚至所部上兵手無寸鐵，亦號(hào)稱軍長(zhǎng)者。至各軍軍長(zhǎng)兼任師長(zhǎng)，幾成慣例。其下屬編制亦極紊亂，每連或七八十名，或一二十名，因之戰(zhàn)斗力亦殊脆弱。至于孫傳芳所部，則仍按北洋軍制（按即前陸軍部頒訂之軍制）的成規(guī)編配，官兵亦較有歷史，較有訓(xùn)練，戰(zhàn)斗力頗強(qiáng)；惟自南潯路戰(zhàn)敗后，士氣不振，軍實(shí)復(fù)缺，已成強(qiáng)弩之末。

　　孫傳芳和張宗昌的部隊(duì)自被革命軍于兗州、濟(jì)寧擊潰后，即退集泰安、肥城、濟(jì)南，而濟(jì)南的爭(zhēng)奪更是中外所最關(guān)心的一幕。

　　孫傳芳、張宗昌兩部，自慘敗退至高吳橋、馬坡、泗河、官莊、大廠各附近，又退向博山、泰安，張宗昌打算以泰安天險(xiǎn)為恃，企圖死守，孫傳芳則以五師之眾退據(jù)肥城，以三個(gè)師配備于城外刀山谷、鳳凰莊一帶，構(gòu)筑堅(jiān)固工事和張宗昌軍聯(lián)系，其余兩師則歸馬寶珩指揮，置主力于萬德、界首。

　　蔣中正于民國(guó)17年4月23日，在兗州行營(yíng)綜合各方狀況，判知張作霖?cái)M借直、魯聯(lián)軍之掩護(hù)，企圖向東三省總退卻，乃決心使第一集團(tuán)軍乘勝猛追，攻占濟(jì)南，并期在黃河以南將其殲滅。

　　4月23日革命軍各部隊(duì)開始行動(dòng)。25日賀耀祖指揮之第三軍團(tuán)于大舍、大石橋線向店臺(tái)、長(zhǎng)城、大萬德、小萬德等地攻擊前進(jìn)。方振武指揮之第四軍團(tuán)則向肥城猛攻。其他各軍亦向北洋軍進(jìn)擊。

　　5月1日張宗昌、孫傳芳以濟(jì)南陷于孤立，勢(shì)難久守，乃向德州撤退，革命軍遂攻占濟(jì)南，劉峙進(jìn)駐山東舊督署。

　　蔣中正于5月2日下午4時(shí)由泰安抵濟(jì)南巡視，并召集軍長(zhǎng)以上軍官會(huì)議，指示地方治安事宜，并令各軍駐扎原地待命。同時(shí)下達(dá)一道重要命令——

　　“凡張宗昌在山東所設(shè)之苛捐雜稅，一律蠲除，著各縣及各機(jī)關(guān)不得收納，此令。”