平津戰(zhàn)役結(jié)束后，聶榮臻于1949年2月1日進(jìn)入北平。

進(jìn)城以后，作為華北軍區(qū)司令員，平津衛(wèi)戍區(qū)司令員，他主要抓了以下幾件工作：首先是傅作義25萬起義部隊(duì)的整編工作。

由于政策、措施得當(dāng)，這項(xiàng)任務(wù)很快就完成了。

二是剿滅華北地區(qū)殘留下來的近3萬名土匪，這項(xiàng)工作到1950年初也基本完成了。

三是恢復(fù)和整頓平津地區(qū)的社會(huì)治安秩序。

這項(xiàng)工作比較復(fù)雜，特別是他擔(dān)任了北平市市長、市軍管會(huì)主任以后，這方面的主要任務(wù)都落在了他的肩上。

但由于采取了一系列有效措施，在各級(jí)領(lǐng)導(dǎo)的共同努力和人民群眾的大力支持下，這項(xiàng)任務(wù)也較好地完成了，為新中國定都北平，提供了良好的社會(huì)保障條件。

1949年6月，聶榮臻被任命為副總參謀長，協(xié)助兼任總參謀長的周恩來進(jìn)行工作。

1949年10月，聶榮臻任中央人民政府人民革命軍事委員會(huì)委員、副總參謀長，因總參謀長徐向前病休，隨即任代理總參謀長。

新中國百廢俱興，周恩來工作很忙，所以從1949年6月起，聶榮臻就實(shí)際主持總參謀部的工作，一直到1954年粟裕任總參謀長止。

總參謀部當(dāng)時(shí)面臨3項(xiàng)主要任務(wù)：解放戰(zhàn)爭的后期作戰(zhàn)，軍隊(duì)的正規(guī)化、現(xiàn)代化建設(shè)和1950年以后的抗美援朝戰(zhàn)爭。

這3項(xiàng)工作經(jīng)常交叉進(jìn)行或齊頭并進(jìn)，所以任務(wù)是很繁重的。

為了應(yīng)付這些繁重的任務(wù)，聶榮臻采用了每天開碰頭會(huì)議的工作方法。

每天早晨他先到作戰(zhàn)部看各方面的情況報(bào)告，8點(diǎn)就召集各部負(fù)責(zé)人開碰頭會(huì)議，把要處理的各項(xiàng)工作經(jīng)研究決定后分頭去辦。

這種會(huì)議，經(jīng)常邀請(qǐng)有關(guān)的軍兵種的領(lǐng)導(dǎo)人參加，稱聯(lián)席會(huì)議。

聯(lián)席會(huì)議和碰頭會(huì)議，大大提高了工作效率，大家都很贊成。

遼沈、平津、淮海3大戰(zhàn)役結(jié)束后，國民黨正規(guī)軍總兵力大約只剩下180萬人左右，還有地方保安部隊(duì)及游雜武裝幾十萬人，而且基本上都退到了長江以南地區(qū)。

協(xié)助中央軍委領(lǐng)導(dǎo)，指揮和部署各野戰(zhàn)軍，消滅這180萬國民黨殘余部隊(duì)，和幾十萬地方游雜武裝，成為總參謀部的第一項(xiàng)任務(wù)。

當(dāng)時(shí)主要的作戰(zhàn)行動(dòng)，都是由毛澤東代表中央軍委直接指揮的。

總參謀部則在情報(bào)保障、電文的上呈下達(dá)等方面起協(xié)助作用。

1949年4月21日，毛澤東、朱德下達(dá)了《向全國進(jìn)軍的命令》。

各野戰(zhàn)軍隨即向國民黨殘余軍隊(duì)發(fā)動(dòng)猛烈進(jìn)攻。

1949年7月，第一野戰(zhàn)軍先后舉行了扶、蘭州、寧夏等戰(zhàn)役，共殲滅和改編國民黨軍三十余萬人，解放了西北全境。

8月至10月，第三野戰(zhàn)軍舉行了福州、漳州、廈門戰(zhàn)役，殲敵10萬，華東沿海大陸全部解放。

7月至12月，第四野戰(zhàn)軍先后舉行了衡(陽)寶(慶)、廣東、廣西戰(zhàn)役，共殲敵四十余萬人，解放了中南廣大地區(qū)。

11月、12月，第二野戰(zhàn)軍舉行了解放貴陽、重慶以及成都、滇南、西昌等戰(zhàn)役，共殲敵93萬余人(含地方部隊(duì)和游雜武裝)。

1950年3月至5月第四野戰(zhàn)軍解放了海南島、萬山群島；第三野戰(zhàn)軍解放了舟山群島。

至此，除臺(tái)灣、澎湖、金門、馬祖等島嶼以及西藏而外，中國人民解放軍已經(jīng)解放了中國全部國土，結(jié)束了解放戰(zhàn)爭的后期作戰(zhàn)行動(dòng)。

1950年6月，聶榮臻在全國政協(xié)一屆二次會(huì)議上所作的軍事報(bào)告中說：自1949年4月我軍舉行渡江(長江)戰(zhàn)役以來，已經(jīng)解放了除西藏、臺(tái)灣、金門等以外的全部國土，殲滅國民黨正規(guī)軍183萬人，非正規(guī)軍和土匪98萬人，取得了重大勝利。

在解放戰(zhàn)爭的后期作戰(zhàn)中，聶榮臻對(duì)毛澤東采用大迂回大包圍“關(guān)起門來打狗”的作戰(zhàn)指揮藝術(shù)，極為欽佩。

1949年10月，在毛澤東主持的中央人民政府人民革命軍事委員會(huì)第一次會(huì)議上，確定了全軍“為建設(shè)正規(guī)化、現(xiàn)代化的國防軍而奮斗”的任務(wù)。