3月，張國燾回到上海，即向中共中央傳達此次會議精神。7月16日，中國共產(chǎn)黨第二次全國代表大會在上海成都路一所房子里召開，張國燾當選中共中央執(zhí)行委員會委員兼組織部長。此次會議討論通過了與國民黨建立民主聯(lián)合戰(zhàn)線的決議案。

8月初，馬林從莫斯科返回上海。早在年初，馬林提出共產(chǎn)黨與國民黨實行“黨內(nèi)合作”的設想，遭到陳獨秀等人否定后，便返回莫斯科尋求共產(chǎn)國際支持，如今他帶著“尚方寶劍”得意而歸。

為了落實共產(chǎn)國際的指示，在馬林的建議下，8月20日，陳獨秀、李大釗、蔡和森、張國燾、高君宇五位中央新執(zhí)委，與馬林、張?zhí)自谖骱e行會議。

會上，大多數(shù)執(zhí)委對黨內(nèi)合作的方式提出質疑，張國燾與蔡和森則對黨內(nèi)合作表示了堅決的反對意見，令馬林心懷嫉恨。陳獨秀、李大釗等人雖持反對意見，但由于此種合作方式是共產(chǎn)國際決定的，不得不服從，最終提出有條件加入國民黨，并獲得通過。

會后，李大釗、陳獨秀、蔡和森、張?zhí)紫群笥蓪O中山主盟，加入國民黨；張國燾也在國民黨人張繼的主持下，于9月加入國民黨。但此時，由于他在西湖會議上反對“黨內(nèi)合作”的強硬態(tài)度，致使他與馬林原本和諧的關系發(fā)生變化，馬林甚至提出黨內(nèi)出現(xiàn)小組織問題，矛頭直指張國燾，使張國燾從此對馬林加強了戒備。

1923年2月1日，京漢鐵路總工會在鄭州舉行成立大會，張國燾受中央指派，于元月底前往鄭州出席指導。在大會遭到軍閥破壞后，張國燾參加領導了震驚中外的京漢鐵路工人大罷工。

“二七慘案”發(fā)生后，總工會為了保存實力，下令復工。盡管罷工失敗了，但此次罷工仍被認為是中國工人運動“第一個高潮”中影響最大的一次罷工。而張國燾受失敗的影響，一度情緒不佳。