第一次直奉戰(zhàn)爭結(jié)束，直系首領曹錕通過賄選，成為中華民國大總統(tǒng)。孫中山義憤填膺，通電全國，予以聲討。已經(jīng)表態(tài)作為孫中山的追隨者，馮玉祥自然不甘落后，在徐謙、黃郛等的幫助和推動下，馮玉祥聯(lián)絡第十五混成旅長兼大名鎮(zhèn)守使、灤州起義時的老朋友孫岳，以及與孫岳同為老同盟會員的陜軍第一師師長的胡景翼，經(jīng)過精心策劃，謹慎布兵，以迅雷不及掩耳之勢，于1924年9月22日夜晚，攻占北京城。馮玉祥下令，解除總統(tǒng)府衛(wèi)隊，囚禁賄選總統(tǒng)曹錕。第二天，佩戴著“不擾民，真愛民，誓死救國”臂章的馮軍遍布北京全城。隨后，已經(jīng)就任國民軍總司令兼第一軍軍長的馮玉祥宣布，正式廢除清室優(yōu)待條例，將廢帝溥儀驅(qū)逐出紫禁城。

這就是歷史上有名的“北京政變”，亦稱“首都革命”。

與此同時，由馮玉祥領銜，國民軍眾將領電請孫中山先生北上，主持大計。并派馬伯援為代表，持馮玉祥的親筆信，南下迎接孫中山。

令人遺憾的是，由于國民軍領導人錯誤地敦請段祺瑞出山，使“北京政變”的成果大大縮水，孫中山先生也未能如約北上。馮玉祥由陸軍檢閱使專任西北邊防督辦，他的國民軍第一軍改稱為暫編西北陸軍，從此便有了“西北軍”的稱謂。而此時，馮玉祥的境遇一度出現(xiàn)險情，走了下坡。1926年初，在直奉魯軍閥的夾擊之下，為保持實力，馮玉祥把軍權(quán)交給張之江、鹿鐘麟等人，宣布下野。

當年3月，馮玉祥由國民黨中央執(zhí)行委員徐謙及部分隨員陪同，出平地泉并經(jīng)庫倫，與于右任、顧孟余及蘇聯(lián)顧問鮑羅廷相會，赴蘇聯(lián)考察，尋求出路?？疾扉L達三個月之久，所見所聞，使馮玉祥深受觸動和鼓舞。他公開表態(tài)，擁護三民主義和廣東國民政府，并在抵達莫斯科的第二天宣布加入國民黨，還為國民軍全體官兵辦理了集團加入國民黨的手續(xù)。

6月，馮玉祥從蘇聯(lián)回到國民軍駐地內(nèi)蒙古五原，被推舉為國民軍聯(lián)軍總司令。9月17日，馮玉祥正式宣誓就職，時稱“五原誓師”。面貌一新的國民軍，任用了一批共產(chǎn)黨人：蘇聯(lián)人烏斯馬諾夫為軍事、政治顧問，劉伯堅為政治部副部長，鄧希賢（即鄧小平）為中山軍事學校教育長，宣俠父、劉志丹、安子文等亦被分別委以重任。馮玉祥采納李大釗的建議，“固甘援陜，聯(lián)晉圖豫”，西北軍如虎添翼，全軍振奮，一路凱歌。

1927年的中國大地，風云突變，濁浪翻騰。馮玉祥也在這時候走了很長一段彎路。當時，他的西北軍已經(jīng)擴展為第二集團軍，擁有34個師、20個旅和15個團，多達30余萬人，占據(jù)陜甘寧青豫魯六省，在四個集團軍中實力最為雄厚。而此時，他卻開始在西北軍中“清黨”，“禮送”共產(chǎn)黨人出境，翌年2月，馮玉祥和蔣介石換帖結(jié)拜為兄弟。8月，身居第二集團軍總司令的他，又榮登行政院副院長兼軍政部長高位。