血染蘇區(qū)張國燾在莫斯科一住就是兩年半，直到1931年元月下旬，他才與夫人楊子烈奉命返回上海。在此前剛剛召開的六屆四中全會(huì)上，張國燾當(dāng)選為中央政治局常委。

六屆四中全會(huì)后，中央為了加強(qiáng)對(duì)蘇區(qū)的領(lǐng)導(dǎo)，決定向各根據(jù)地派遣中央代表、中央代表機(jī)關(guān)或新的領(lǐng)導(dǎo)干部，如《中央關(guān)于蘇維埃區(qū)域黨的組織決議案》稱：“中央局或中央分局是代表中央的，他有權(quán)可以改正和停止當(dāng)?shù)刈罡唿h部的決議與解散當(dāng)?shù)攸h委，當(dāng)?shù)兀ó?dāng)?shù)攸h委）錯(cuò)了的時(shí)候?！笨梢娺@些中央代表權(quán)力之大。

當(dāng)時(shí)共產(chǎn)黨在全國建立了十幾塊革命根據(jù)地，比較有實(shí)力的根據(jù)地主要有江西井岡山根據(jù)地，鄂豫皖邊區(qū)和湘鄂西邊區(qū)。中央決定在鄂豫皖和湘鄂西兩區(qū)分別設(shè)立中央分局，主管軍事的常委周恩來向張國燾征求意見：

“鄂豫皖和湘鄂西兩邊區(qū)都很重要，特立同志，你準(zhǔn)備去哪個(gè)邊區(qū)任職？”

“湘鄂西那邊，已經(jīng)有夏曦、關(guān)向應(yīng)主持，就不要變動(dòng)了，我以前當(dāng)過湖北區(qū)委書記，對(duì)那邊的情況比較熟悉，我去鄂豫皖吧?！?/p>

“那么你挑選幾位同志同你一同前往吧。”周恩來又說。

“沈澤民和陳昌浩?！?/p>

當(dāng)時(shí)沈澤民已經(jīng)在前不久被派往鄂豫皖蘇區(qū)工作，張國燾與陳昌浩于4月1日一起離開上海，于4月中旬抵達(dá)鄂豫皖蘇區(qū)，此時(shí)正值蘇區(qū)紅軍進(jìn)行第二次反“圍剿”激戰(zhàn)中，張國燾隨即赴皖西參加到領(lǐng)導(dǎo)紅四軍對(duì)進(jìn)犯敵軍陳調(diào)元部的反擊之中。這是張國燾到蘇區(qū)后第一次參加指揮紅軍作戰(zhàn)。

5月末，紅四軍徹底粉碎國民黨發(fā)動(dòng)的對(duì)鄂豫皖根據(jù)地的第二次“圍剿”。5月中旬，中共中央鄂豫皖分局、鄂豫皖省委正式成立，并根據(jù)中央指示改組鄂豫皖革命軍事委員會(huì)。張國燾、陳昌浩、沈澤民、曾中生、鄺繼勛等11人為中央分局委員；張國燾、曾中生、曠繼勛、徐向前、沈澤民、陳昌浩等七人組成軍委會(huì)，張國燾任分局書記兼軍委主席，曾中生、鄺繼勛任軍委副主席，沈澤民任鄂豫皖省委書記。

隨后，對(duì)紅四軍領(lǐng)導(dǎo)干部作了調(diào)整，鄺繼勛仍繼續(xù)擔(dān)任紅四軍軍長(zhǎng)，原鄂豫皖特委書記曾中生任紅四軍政治委員，下轄第十、第十一、第十二、第十三師。

為了樹立第一把手的威信，張國燾新官上任三把火，首先抓了當(dāng)時(shí)最為緊迫的糧食問題，同時(shí)整頓和擴(kuò)編地方武裝，動(dòng)員群眾擁軍參軍，做了一些卓有成效的工作，推動(dòng)了紅軍和鄂豫皖根據(jù)地的發(fā)展。

蔣介石對(duì)鄂豫皖第二次“圍剿”失敗后，調(diào)整兵力，對(duì)江西蘇區(qū)進(jìn)行第三次“圍剿”，對(duì)鄂豫皖蘇區(qū)暫取守勢(shì)。在此情況下，中央分局?jǐn)U大會(huì)議在討論戰(zhàn)略行動(dòng)方針時(shí)出現(xiàn)了“東進(jìn)”與“南下”兩種意見。

由于中央給紅四軍下達(dá)了援助江西革命根據(jù)地反“圍剿”的任務(wù)，張國燾只好放棄“東進(jìn)”的意見，同意紅四軍領(lǐng)導(dǎo)曾中生、許繼慎、徐向前等人“南下”的主張。但就紅軍南下的具體方向問題，在7月上旬鄂豫皖中央分局、軍事委員會(huì)再次召開的會(huì)議上，雙方再次產(chǎn)生分歧。

張國燾認(rèn)為，既是援助中央根據(jù)地，就必須攻占國民黨占領(lǐng)的大城市，因此提出打英山，攻潛山，出太湖，進(jìn)逼安慶（當(dāng)時(shí)的安徽省府），威脅南京的戰(zhàn)略方案。