李立三在總工會(huì)遭受錯(cuò)誤批判后并沒有灰心，而是集中精力一心撲在勞動(dòng)部的工作上。

1953年，我國(guó)恢復(fù)國(guó)民經(jīng)濟(jì)的任務(wù)完成了，國(guó)家進(jìn)入了有計(jì)劃進(jìn)行的社會(huì)主義建設(shè)和全面進(jìn)行社會(huì)主義改造時(shí)期，黨中央提出和公布了黨在過渡時(shí)期的總路線。李立三根據(jù)黨中央的指示精神，提出勞動(dòng)部在新時(shí)期的基本任務(wù)是，在黨的總路線指引下，做好勞動(dòng)工作，為生產(chǎn)建設(shè)服務(wù)，除了繼續(xù)完成國(guó)民經(jīng)濟(jì)恢復(fù)時(shí)期沒有完成的任務(wù)以外，還必須加強(qiáng)勞動(dòng)力的調(diào)配和技術(shù)工人的培訓(xùn)工作。

這年3月，李立三親自帶領(lǐng)一部分干部去了武漢，專門就手工業(yè)問題做了一個(gè)多月的調(diào)查研究。他在那里一邊召開了一系列的座談會(huì)，調(diào)查研究情況，一邊深入手工業(yè)作坊，同手工業(yè)業(yè)主和工人談話，了解他們的資金、產(chǎn)品、生產(chǎn)、銷售、利潤(rùn)等一系列具體問題。然后又召開了硚口會(huì)議，請(qǐng)武漢和華中地區(qū)的一些手工業(yè)管理部門的干部參加，就在社會(huì)主義建設(shè)第一個(gè)五年計(jì)劃期間，如何發(fā)揮手工業(yè)在國(guó)民經(jīng)濟(jì)和人民生活中的作用問題作了全面研究。在此基礎(chǔ)上，他給黨中央寫報(bào)告，熱情建議成立一個(gè)全國(guó)性的手工業(yè)協(xié)會(huì)，以加強(qiáng)對(duì)手工業(yè)的領(lǐng)導(dǎo)，充分發(fā)揮手工業(yè)在國(guó)民經(jīng)濟(jì)中的作用。

由于李立三在大革命時(shí)代曾兩次在武漢工作，許多在20年代就同他相識(shí)的一些人紛紛去找他，想通過他給他們或安排工作，或解決一些個(gè)人問題。李立三讓秘書盡量擋駕，有的老朋友前來敘舊，非見不可的，他出來熱情接待，向他們宣傳黨的政策，進(jìn)行思想工作。凡提出工作安排問題的，他都請(qǐng)當(dāng)?shù)攸h委或勞動(dòng)部門去解決。

1954年，國(guó)務(wù)院成立了以賈拓夫?yàn)橹魅蔚牡谒霓k公室，勞動(dòng)部歸口受這個(gè)辦公室領(lǐng)導(dǎo)?！八霓k”剛一成立，李立三就讓秘書把他簽署過的勞動(dòng)部歷年的文件選出一套，親筆附上說明，送給賈拓夫?qū)忛?，供他了解情況加強(qiáng)領(lǐng)導(dǎo)。這件事充分反映李立三謙虛謹(jǐn)慎、不擺老資格的工作態(tài)度，給賈拓夫以及下級(jí)干部留下了良好印象。此事也受到周恩來的高度贊譽(yù)，他在一個(gè)黨內(nèi)會(huì)議的發(fā)言稿上，親筆寫了批語，說李立三在總工會(huì)工作受了批評(píng)之后，不氣餒，不消極，繼續(xù)積極工作，表現(xiàn)了共產(chǎn)黨員的應(yīng)有品質(zhì)。

這年5月，李立三計(jì)劃到一些地方去搞調(diào)查研究，5月3日，他以書面形式向有關(guān)領(lǐng)導(dǎo)請(qǐng)示：

富春、拓夫同志并轉(zhuǎn)少奇同志：

我想最近到上海、武漢、西安等地區(qū)研究一下地方勞動(dòng)局的工作問題和工資問題，預(yù)定一個(gè)月左右回京。勞動(dòng)部的工作，擬請(qǐng)劉亞雄同志代理，工資工作，擬請(qǐng)宋平同志代管。可否，請(qǐng)批示。并請(qǐng)考慮，可否請(qǐng)中央通知一下當(dāng)?shù)攸h委給我以指示和幫助。

李立三這個(gè)請(qǐng)示，當(dāng)即得到賈拓夫、李富春、劉少奇、楊尚昆的批示同意。

5月6日，李立三又寫出報(bào)告給鄧小平副總理，請(qǐng)假一個(gè)月，鄧小平、劉少奇于5月7日批示同意。

于是，他又帶著勞動(dòng)部的干部去了華東、華中、西北三大區(qū)，就勞動(dòng)工資問題進(jìn)行了近兩個(gè)月的實(shí)際調(diào)查?；貋砗螅诒本┱匍_上述三大區(qū)的勞動(dòng)工資處長(zhǎng)會(huì)議，會(huì)議起草了一個(gè)關(guān)于工資調(diào)整問題的文件，為工資調(diào)整做了積極的準(zhǔn)備。

正當(dāng)他興致勃勃地在思考著如何進(jìn)一步改進(jìn)勞動(dòng)部工作的時(shí)候，1954年9月，迎來了第一次全國(guó)人民代表大會(huì)在北京召開。這是我國(guó)國(guó)家政權(quán)建設(shè)一次里程碑式的會(huì)議。李立三作為人民代表參加了會(huì)議。這次會(huì)議通過了我國(guó)第一部憲法，并依選舉法程序，選舉產(chǎn)生了國(guó)家主席和國(guó)務(wù)院機(jī)構(gòu)。但是，李立三的名字被從部長(zhǎng)提名名單中勾掉了，實(shí)際上等于宣布是免去了他勞動(dòng)部部長(zhǎng)的職務(wù)。

對(duì)李立三來說，這次“罷官”是他政治上的又一次跌跤。他不得不痛苦地接受從此“賦閑”的事實(shí)。經(jīng)黨中央批準(zhǔn)，他去江蘇、浙江、廣東、湖南、湖北等地休假。各地領(lǐng)導(dǎo)同志仍然熱情接待他，這使他十分感動(dòng)。借此機(jī)會(huì)，他也順路回了一趟湖南醴陵的老家。自1923年他離開家鄉(xiāng)30多年以后，這是他第一次回到醴陵。他在有官有職時(shí)沒有回過故鄉(xiāng)，卻在被罷官后還鄉(xiāng)，其心情自然是微妙而又復(fù)雜的。所以他謹(jǐn)言慎行，更加嚴(yán)格地要求自己。誰都知道，他的老家離當(dāng)年他投身革命創(chuàng)造過輝煌業(yè)績(jī)的安源僅一步之遙，但他就是告誡自己絕不踏進(jìn)安源一步。他只是請(qǐng)了個(gè)別安源老工人到他家里來敘舊。

事后，他對(duì)秘書語重心長(zhǎng)地說：安源是我很想念的地方，但是我去安源會(huì)引起人們對(duì)我革命歷史的稱頌，這在政治上是不適宜的。我年輕時(shí)在安源搞工運(yùn)的成功，都是客觀形勢(shì)造成的，是毛主席領(lǐng)導(dǎo)的結(jié)果。年輕時(shí)的成功，助長(zhǎng)了主觀盲動(dòng)的傾向，是我后來犯錯(cuò)誤的一個(gè)原因。

對(duì)于正在“賦閑”的李立三，黨中央還是準(zhǔn)備分配適當(dāng)?shù)墓ぷ鳌．?dāng)時(shí)，黨中央書記處下設(shè)4個(gè)辦公室，分別歸口抓幾個(gè)業(yè)務(wù)部門的工作。中央準(zhǔn)備分配李立三擔(dān)任主管農(nóng)業(yè)的第二辦公室主任工作。中央秘書長(zhǎng)鄧小平代表中共中央找李立三談話，傳達(dá)了中央的意圖。李立三在感謝中央能繼續(xù)給自己分配工作之余，還是誠(chéng)懇地對(duì)鄧小平提出，自己多年來對(duì)農(nóng)業(yè)接觸太少，幾乎一竅不通，請(qǐng)示是否能把自己派到工業(yè)口，鄧小平告訴李立三，黨中央管工業(yè)的第三辦公室已經(jīng)派定李雪峰做主任。李立三接著說：“那么我去給雪峰當(dāng)助手好了?！编囆∑綖殡y地說：“可他現(xiàn)在連中央候補(bǔ)委員都不是……”話猶未盡，言下之意說你是中央委員，怎么會(huì)在不是中央委員的李雪峰領(lǐng)導(dǎo)下工作？當(dāng)副手？鄧小平的話還沒說完，李立三就搶著說：“以黨性保證，即使我在工作上犯錯(cuò)誤，保證不會(huì)在組織原則上犯錯(cuò)誤，我一定遵從雪峰的領(lǐng)導(dǎo)，請(qǐng)黨中央放心！”只要有工作做，對(duì)于李立三來說，級(jí)別的高低、職務(wù)的大小從不在他的考慮范圍之內(nèi)。