4月10日，蔣介石又宣布解散共產(chǎn)黨人占優(yōu)勢(shì)的國(guó)民革命軍總政治部。

同一天，上海青幫頭子黃金榮等通電反共，要其黨羽“揭竿為旗，斬木為兵”，消滅共產(chǎn)黨。

陳獨(dú)秀也有些著急了。

于是中共中央決定，派李立三、陳延年、聶榮臻，同共產(chǎn)國(guó)際代表蘇聯(lián)人維辛斯基緊急趕往上海，弄清情況，并同周恩來(lái)一起，領(lǐng)導(dǎo)上海的反蔣斗爭(zhēng)。

聶榮臻的任務(wù)是協(xié)助周恩來(lái)處理武裝斗爭(zhēng)方面的問(wèn)題。

待聶榮臻一行到達(dá)南京，震撼全中國(guó)乃至全世界的“四一二”反革命政變已經(jīng)發(fā)生，大批共產(chǎn)黨員和革命群眾倒臥在血泊之中。

李立三、聶榮臻等于4月13日晚上到了上海。

到了趙世炎家里，了解了初步情況，以后又通過(guò)趙世炎，找到了周恩來(lái)。

到上海后，聶榮臻遵照中央和周恩來(lái)的指示，立即著手在工人糾察隊(duì)中進(jìn)行工作。

在同工人的接觸中，他逐步知道了“四一二”反革命政變的經(jīng)過(guò)情形。

在事變中，數(shù)以萬(wàn)計(jì)的游行群眾，被打死一百多人，傷者不計(jì)其數(shù)。

馬路被鮮血染紅，慘絕人寰。

隨后蔣介石在全上海瘋狂地搜捕、屠殺共產(chǎn)黨員和革命群眾的行動(dòng)全面展開(kāi)，上?？偣?huì)被封閉，上海的中共各級(jí)黨組織全部被迫轉(zhuǎn)入秘密狀態(tài)。

4月16日至18日，由周恩來(lái)、李立三、陳延年、趙世炎等組成的特務(wù)委員會(huì)召開(kāi)會(huì)議。

周恩來(lái)在會(huì)上發(fā)言，主張共產(chǎn)黨聯(lián)合國(guó)民黨左派，先討伐蔣介石，再進(jìn)行北伐。

聶榮臻完全同意周恩來(lái)的意見(jiàn)。

但陳獨(dú)秀對(duì)此沒(méi)有表態(tài)，仍在謀求同蔣介石妥協(xié)。

4月下旬到5月上旬，聶榮臻住在顏昌頤家里，協(xié)助周恩來(lái)，將幸存的工人糾察隊(duì)員轉(zhuǎn)入秘密狀態(tài)，隱藏好槍支彈藥，設(shè)法營(yíng)救被捕人員，對(duì)犧牲和被捕的工人糾察隊(duì)家屬進(jìn)行救濟(jì)。

5月中旬，聶榮臻同周恩來(lái)一起，秘密乘輪船溯江而上，回到了武漢。

“四一二”反革命政變，使聶榮臻對(duì)蔣介石的認(rèn)識(shí)，從封建把頭、反動(dòng)政客，上升為反革命陰謀家。

蔣介石兩手都拿著刀，兇狠殘暴，對(duì)待這樣的敵人，革命者也只有拿起刀，走武裝斗爭(zhēng)的道路，才能使中國(guó)革命免遭厄運(yùn)。

這就是在中國(guó)大革命的困境中，聶榮臻得出的結(jié)論。

5月25日，中共中央決定成立軍事部，由周恩來(lái)任部長(zhǎng)。

湖北區(qū)委軍委并入軍事部，聶榮臻任周恩來(lái)的助手，同王一飛、顏昌頤、歐陽(yáng)欽等一起，協(xié)助周恩來(lái)，對(duì)軍隊(duì)進(jìn)行組織、聯(lián)絡(luò)和政治工作，指導(dǎo)武漢工人糾察隊(duì)和廣東、湖南兩地的農(nóng)民運(yùn)動(dòng)。