1925年，馮玉祥的勢力雖逐步向西北各地擴展，但其重心仍在河北北部及平津一帶。一方面，直系吳佩孚軍閥因其發(fā)動“首都革命”而垮臺，一直懷恨在心，伺機攻馮。另一方面，奉系張作霖勢力入關后，依仗其雄厚的軍事力量，把持北京政府大權，對馮玉祥部亦多加排擠，逼迫國民軍退出所駐通州、北宛及南苑等地，讓給奉軍駐扎。不久，奉系張作霖進一步圖謀向南發(fā)展，發(fā)動對浙江督軍孫傳芳的戰(zhàn)爭。因戰(zhàn)事失利，張作霖希望馮玉祥援手，但被馮拒絕。奉系遂轉而以全力壓迫馮玉祥部，以鞏固北方然后再派兵南下，雙方即在平津一帶展開激烈的戰(zhàn)斗。

到1926年初，迫于各方的壓力，馮玉祥不得不宣布下野，并于3月赴蘇聯考察。馮玉祥下野后，所部繼續(xù)遭奉系張作霖、直系吳佩孚、晉系閻錫山以及直魯聯軍的圍攻，損失慘重。4月，馮部在鹿鐘麟、張之江、李鳴鐘、宋哲元等的率領下，相繼退出平津地區(qū)。其時，趙登禹已升任劉郁芬部團長，駐防蘭州。這時，甘肅亦受到吳佩孚等軍閥部隊的圍攻，劉郁芬采取收縮兵力，固守蘭州，同時廣為聯絡甘肅地方武裝，固守待援的方針，與進攻之敵抗衡。趙登禹率部積極參加作戰(zhàn)，為保全馮玉祥在甘肅的勢力作出了貢獻。

1926年8月17日，馮玉祥結束在蘇聯3個月的考察，離開蘇聯首都莫斯科回國。在蘇聯期間，他深為蘇聯建設成就所折服，同時與國民黨、共產黨代表多有接觸，對國內的大革命及北伐表現出很高的熱情。9月16日，馮玉祥偕同蘇聯顧問烏斯曼諾夫及共產黨員劉伯堅等抵達五原(今內蒙古包頭市附近)，次日召集所部將領開會，決定成立國民軍聯軍，并出任總司令，參加北伐，同日舉行誓師大會。這就是歷史上著名的“五原誓師”。

此后，馮玉祥在蘇聯及中國共產黨的幫助下，迅速整編部隊，并確定“固甘援陜，聯晉圖豫”的戰(zhàn)略方針，以圖首先鞏固根據地，恢復自己的力量。不久，在馮玉祥派出的援軍到達后，蘭州之圍被解，甘肅得到平定。