1928年6月2日，奉系軍閥頭目張作霖經(jīng)不住蔣介石、馮玉祥、閻錫山和李宗仁四支“北伐”軍的攻擊，發(fā)表出關(guān)通電，拱手交出北京政權(quán)。從6日開(kāi)始，蔣、馮、閻、李四路大軍分別進(jìn)駐京津，15日，南京國(guó)民政府發(fā)布“北伐”成功，“統(tǒng)一告成”宣言。但各派新軍閥利盡交惡，很快又互成仇敵，蔣介石的“統(tǒng)一”不過(guò)曇花一現(xiàn)。在這種形勢(shì)下，多疑的蔣介石還不放心把第一路軍的全部資本交給何應(yīng)欽經(jīng)營(yíng)，并未履行諾言，依然將何應(yīng)欽束之高閣。對(duì)何應(yīng)欽來(lái)說(shuō)，對(duì)上帝他只需用虔誠(chéng)的懺悔便可求得寬恕，而對(duì)主宰他命運(yùn)的蔣介石，必須用切實(shí)的行動(dòng)才能贖罪。他接受了蔣介石給他的“整編”軍隊(duì)的重任，擬具了《軍事善后案》和《軍事整理案》，以增強(qiáng)蔣的實(shí)力，削弱馮、閻、李的兵權(quán)，希望求得蔣的重新信用。

1928年6月28日，在上海召開(kāi)的全國(guó)經(jīng)濟(jì)會(huì)議上，宋子文、吳稚暉等公開(kāi)提出《請(qǐng)政府克期裁兵從事建設(shè)案》，通電裁兵，并立即停止招收新兵。蔣介石也隨之開(kāi)動(dòng)宣傳機(jī)器，刮起了一陣“裁兵”的旋風(fēng)。“裁兵”的風(fēng)源來(lái)自蔣介石，而興風(fēng)狂嘯者，何應(yīng)欽是最理想的人選。首先，他有戰(zhàn)功，有聲望，曾經(jīng)統(tǒng)率過(guò)黃埔嫡系及當(dāng)時(shí)的第一集團(tuán)軍的前身；而今，他孑然一身，除警衛(wèi)之外，無(wú)一兵一卒，正好以超然的姿態(tài)來(lái)裁抑別人。其次，何應(yīng)欽雖是蔣介石的嫡系，但與云、貴、川、桂等地方實(shí)力派有淵源關(guān)系；他不是南京國(guó)民政府的核心——江浙集團(tuán)中人，由他出面，可避江浙集團(tuán)兼并異己之嫌。當(dāng)然，以何應(yīng)欽主持“裁軍”，既可考驗(yàn)他對(duì)蔣介石的忠誠(chéng)，又可離間他與馮、閻、李等的關(guān)系。因此，何應(yīng)欽主持“國(guó)軍編遣”工作，人雖仍在冷落之中，但又蘊(yùn)涵著蔣的期許與信任。

何應(yīng)欽對(duì)待裁軍強(qiáng)兵、撙節(jié)經(jīng)費(fèi)之事，倒是極其認(rèn)真。當(dāng)時(shí)的客觀情勢(shì)，兵多且濫，民不堪負(fù)擔(dān)，國(guó)家財(cái)力也難承受，裁軍如能真正實(shí)現(xiàn)，確也是利國(guó)福民之事。但是，不獨(dú)蔣介石，當(dāng)時(shí)任何一個(gè)統(tǒng)兵大員都不愿因裁軍而有損自己的實(shí)力地位。因此，無(wú)論何應(yīng)欽真心實(shí)意還是三心二意，都只能按蔣介石的意志，把裁軍變成剪除異己的手段。這也決定了裁軍計(jì)劃的失敗及假公濟(jì)私的性質(zhì)。

在裁軍問(wèn)題上，由于何應(yīng)欽一邊倒，堅(jiān)決貫徹了蔣的裁別人、留自己，多裁別人、少裁自己的意圖，以減弱各地方實(shí)力派與蔣抗衡的資本，何、蔣關(guān)系的溫度開(kāi)始回升。10月1日，何應(yīng)欽被任命為兼浙江省政府主席。10日，又被任命為16個(gè)國(guó)民政府委員之一，仍負(fù)責(zé)“國(guó)軍編遣”。當(dāng)時(shí)，全國(guó)既已“統(tǒng)一”，各軍名稱(chēng)均為國(guó)民革命軍，亟需統(tǒng)一訓(xùn)練，使之成為蔣軍。10月18日，蔣介石宣布軍事委員會(huì)結(jié)束，成立軍政部、參謀部和訓(xùn)練總監(jiān)部，以何應(yīng)欽為訓(xùn)練總監(jiān)部總監(jiān)，不再兼浙江省政府主席。

1929年1月1日，經(jīng)過(guò)何應(yīng)欽苦心籌備，“國(guó)軍編遣會(huì)議”在南京召開(kāi)。由于與會(huì)者各逞私心，開(kāi)了26天的馬拉松式的編遣會(huì)議只有相互指摘和吵嚷，不了了之。

由于編遣方案明顯不公，引發(fā)了蔣桂戰(zhàn)爭(zhēng)。2月，桂系的葉琪、夏威率兵襲擊長(zhǎng)沙，逐走湖南省政府主席魯滌平，制造了“湘案”。蔣以此作向桂系開(kāi)刀的理由，事前策反李明瑞陣前倒戈，瓦解駐武漢的李宗仁部；囚禁李濟(jì)深，撤散粵桂聯(lián)盟；扶持唐生智，打擊白崇禧。何應(yīng)欽替蔣出面，拉攏馮玉祥出兵六個(gè)師，許諾打敗桂系后，給馮玉祥行政院長(zhǎng)和兩湖地盤(pán)。何又利用云、貴、川的地方實(shí)力派亟思擴(kuò)張的心理，要川軍出兵攻鄂，滇、黔軍出兵攻桂，陷桂系于四面楚歌之中。3月26日，國(guó)民政府下令攻桂，蔣介石任總司令，何應(yīng)欽為總參謀長(zhǎng)，給了何一個(gè)洗刷前衍的機(jī)會(huì)。在28日召開(kāi)的國(guó)民黨三全大會(huì)上，何被選為中央執(zhí)行委員，并直接指揮蔣軍向武漢的桂系主力進(jìn)攻。經(jīng)過(guò)一番戰(zhàn)斗，到4月5日，胡宗鐸、陶鈞、夏威三員桂系戰(zhàn)將聯(lián)名通電下野，所部由何應(yīng)欽委人改編。