上海是我國最大的工業(yè)城市，是帝國主義勢力對華經(jīng)濟(jì)侵略的中心，也是中國產(chǎn)業(yè)工人最集中的地方。我黨建立初期，黨中央一直很重視上海的工運(yùn)工作。在1921年至1923年“二七”慘案前這段時(shí)間內(nèi)，上海黨組織在一些市區(qū)曾屢次發(fā)動(dòng)紗廠工人罷工，也參加領(lǐng)導(dǎo)了海員罷工，但后來又幾乎失去了與工人的所有聯(lián)系，黨員中只有3名工人。由于工人黨員人數(shù)太少和沒有成功的工運(yùn)工作經(jīng)驗(yàn),因而這里的工運(yùn)工作,一直很薄弱。李立三曾經(jīng)寫道：“（3月）我到達(dá)上海時(shí)，上海地委的工會(huì)工作幾乎陷于停頓。當(dāng)時(shí)的上海工團(tuán)聯(lián)合會(huì)，與警察局勾結(jié)，實(shí)際上是資產(chǎn)階級(jí)的警察組織，叛賣工人的利益。”

國共合作的形成，為李立三在上海開展工運(yùn)創(chuàng)造了良好的條件。李立三到上海以后，國民黨上海執(zhí)行部也成立了工人運(yùn)動(dòng)委員會(huì)。于右任為主任，李立三、楊之華、孫良惠等共產(chǎn)黨員都是委員。這樣，他們就可以利用公開合法的身份，對原國民黨主辦的一些平民教育機(jī)關(guān)和學(xué)校，經(jīng)過充實(shí)和改造，逐步使之成為以工人為主要對象的真正的平民教育單位。

當(dāng)時(shí)在上海擔(dān)任黨中央職工運(yùn)動(dòng)委員會(huì)書記的是上海大學(xué)校務(wù)長鄧中夏。他十分重視安源工運(yùn)的經(jīng)驗(yàn)。李立三到上海以后，與鄧中夏一起運(yùn)用安源的經(jīng)驗(yàn)，從創(chuàng)辦平民學(xué)校、職工夜校入手，深入到工廠中去，同工人群眾建立起密切聯(lián)系。先以環(huán)球?qū)W生會(huì)和上海大學(xué)的名義成立了上寶平民教育促進(jìn)會(huì)，然后用平民教育促進(jìn)會(huì)的合法機(jī)關(guān)進(jìn)行活動(dòng)。

3月底，中共中央批準(zhǔn)了由李立三提出的關(guān)于開展上海工會(huì)活動(dòng)的計(jì)劃，把上海分為7個(gè)區(qū)：楊樹浦、小沙渡、浦東、閘北、虹口、南市、吳淞等。先后在每個(gè)區(qū)都創(chuàng)辦了平民學(xué)校，附設(shè)成人工人夜校，為工會(huì)培養(yǎng)干部。

從4月起，李立三先進(jìn)入內(nèi)外棉5廠東廠當(dāng)清潔工，以與工人結(jié)拜兄弟的形式，把一批工人團(tuán)結(jié)在自己的周圍，組織起工會(huì)。他又在在內(nèi)外棉9廠外面租了一間房，成立了平民學(xué)校，這也就是滬西工人俱樂部的前身。這樣，李立三逐漸在滬東、浦東、吳淞、南市、閘北、虹口等地，利用國民黨左派或共產(chǎn)黨員掌握的學(xué)校的現(xiàn)成課堂辦起了職工夜校。除李立三外，陳獨(dú)秀、瞿秋白、惲代英、楊之華、鄧中夏、項(xiàng)英、陳延年、陳喬年等黨的領(lǐng)導(dǎo)人，也經(jīng)常分頭到各學(xué)校講課，找工人談心。作為上海地區(qū)工運(yùn)工作全面負(fù)責(zé)人的李立三，每星期輪流到各學(xué)校去上一次課。他以特有的敏捷的行動(dòng)和極旺盛的精力，不分晝夜地奔走在上海的各個(gè)工廠區(qū)，扎扎實(shí)實(shí)地辦教育搞宣傳，提高工人的覺悟，逐漸把工人組織起來，并從中發(fā)展一批黨團(tuán)員，把黨的思想工作和組織工作扎根于工人群眾中。

李立三幾乎每天都到半日學(xué)校里來。上課的內(nèi)容，主要是結(jié)合學(xué)文化講政治形勢。李立三以親身經(jīng)歷向工人介紹了安源路礦工人同資本家開展斗爭的情況，講述蘇聯(lián)十月革命的經(jīng)過和中國革命的遠(yuǎn)景。從此，安源工人的英勇斗爭，逐漸成為上海工人心目中的榜樣。他們還編寫歌詞，用民間曲調(diào)教大家演唱。這些歌曲，像春風(fēng)一樣很快傳到工廠工人群眾之中，撒下了革命種子。工人們把到夜校去接受黨的教育，說成是“到夜校去聽道理”。

4月，李立三創(chuàng)辦了《上海工人》周報(bào)，自任編輯，發(fā)行1000多份，在教育工人群眾、組織工人的日常斗爭、準(zhǔn)備迎接革命新高潮方面起了很大作用。

8月，孫中山發(fā)表宣言，要求北京政府召集國民大會(huì)。李立三聯(lián)合國民黨市委發(fā)動(dòng)大規(guī)模的群眾運(yùn)動(dòng)支持召集國民大會(huì)，上海工人組織普遍參加。他利用孫中山來滬之機(jī)，組織1000多名工人參加歡迎游行，第一次在外國租界進(jìn)行政治大游行，提出“打倒帝國主義”！“打倒軍閥”！等口號(hào)，在上海市民面前顯示了工人組織的政治積極性。

9月1日，他們首先在條件比較成熟的滬西小沙渡組織起由黨領(lǐng)導(dǎo)的上海第一個(gè)“工友俱樂部”。李立三與鄧中夏等擬訂了《滬西工友俱樂部章程》共21條，規(guī)定俱樂部“由滬西工人組織之”，目的是“聯(lián)絡(luò)感情，交換知識(shí)，互相扶助，共謀幸?！薄＞銟凡吭O(shè)8個(gè)部：①補(bǔ)習(xí)學(xué)校；②講演會(huì)；③合作社；④書報(bào)室；⑤各種游藝會(huì)；⑥儲(chǔ)蓄會(huì)；⑦部員救濟(jì)會(huì)；⑧職業(yè)介紹所。李立三與鄧中夏商量，由孫良惠擔(dān)任俱樂部主任，派上海大學(xué)學(xué)生劉華在這里擔(dān)任教育和組織工作?！皽鞴び丫銟凡?，是滬西工人活動(dòng)的中心，黨的領(lǐng)導(dǎo)同志李立三、鄧中夏等經(jīng)常在此開會(huì)。二月罷工就是在此籌劃和組織的”。在其影響下，附近幾家紗廠，也先后成立了俱樂部小組，滬東楊樹浦的“工人進(jìn)德會(huì)”、“吳淞工友俱樂部”等相繼成立。李立三還親自擔(dān)任了“吳淞工友俱樂部”的主任。

通過以李立三為書記的上海區(qū)委職工運(yùn)動(dòng)委員會(huì)的艱苦工作，這些俱樂部的成立和發(fā)展，為五卅運(yùn)動(dòng)的興起，作了重要的組織準(zhǔn)備。

9月8日，南洋兄弟煙草公司資方圖謀解散工會(huì)，指使工賊借故開除兩名工會(huì)女工代表，激起工人一致罷工。21日，各團(tuán)體議決組成南洋煙草工人罷工后援會(huì)，推舉李立三、郭景仁等9人為執(zhí)行委員，領(lǐng)導(dǎo)工人罷工。由于有工賊的破壞，這次罷工遭到失敗，成為后來二月大罷工的一次預(yù)演。