在6月12日于廣州召開的中共三大上，陳獨(dú)秀就“二七”大罷工的經(jīng)過作了報(bào)告，并由“二七”大罷工失敗得出結(jié)論：無產(chǎn)階級(jí)力量薄弱，不足以與軍閥對(duì)抗，必須發(fā)動(dòng)國(guó)民革命，而國(guó)民革命的領(lǐng)導(dǎo)核心為中國(guó)國(guó)民黨，因此，全體共產(chǎn)黨員加入國(guó)民黨的問題成為此次大會(huì)的中心議題。這正是共產(chǎn)國(guó)際關(guān)于共產(chǎn)黨與國(guó)民黨關(guān)系問題的決議，是共產(chǎn)國(guó)際對(duì)中共中央的指示。
在激烈辯論中，李大釗、瞿秋白等人對(duì)這一決議表示贊同，張國(guó)燾卻依舊固執(zhí)己見。早在一個(gè)月前，馬林為了這一決議能在三大上順利通過，曾拿著共產(chǎn)國(guó)際關(guān)于這一決議的文件給張國(guó)燾看，希望他能夠支持共產(chǎn)國(guó)際，同意全體共產(chǎn)黨員加入國(guó)民黨。而張國(guó)燾并沒有接受西湖會(huì)議的教訓(xùn)，當(dāng)場(chǎng)與馬林發(fā)生激烈爭(zhēng)吵。如今，張國(guó)燾一如既往地站出來反對(duì)，令馬林怒不可遏。馬林在講話中稱：
“我完全同意陳獨(dú)秀先生的觀點(diǎn)，這也是共產(chǎn)國(guó)際的決議，全體共產(chǎn)黨員必須加入國(guó)民黨，在國(guó)民黨內(nèi)部積極工作，任何低估國(guó)民黨和夸大工人階級(jí)力量的說法，都是‘左’傾的空談。”
“即使是‘左’傾，‘左’的錯(cuò)誤也比右的錯(cuò)誤更容易改正"張國(guó)燾與馬林針鋒相對(duì)，“我認(rèn)為，工人階級(jí)只有在自己政黨的旗幟下進(jìn)行革命，才有可能取得最后勝利"
會(huì)議最終通過共產(chǎn)國(guó)際的決議，決定在保持黨在政治上、組織上獨(dú)立性的前提下，全體黨員以個(gè)人身份加入國(guó)民黨。按照共產(chǎn)國(guó)際的成規(guī)，反對(duì)國(guó)共黨內(nèi)合作的人要向大會(huì)表明態(tài)度。曾支持張國(guó)燾的毛澤東首先起身表示服從大多數(shù)的決定，接著蔡和森也表示接受，但張國(guó)燾卻一臉不服氣地說：
“我接受，但我保留原有意見。”
“好，你有保留的權(quán)力。”馬林氣得暴跳如雷，“毫無疑問，保留意見就意味著你仍會(huì)發(fā)表反對(duì)言論，仍會(huì)由此引起黨內(nèi)糾紛。此種行為非予以制裁不可"
最后，在大會(huì)選舉中，張國(guó)燾以40票中僅得6票而落選，失去中共中央領(lǐng)導(dǎo)人的地位。8月末，張國(guó)燾被任命為全國(guó)鐵路總工會(huì)總干事，于9月初，心灰意冷地返回北京，回到李大釗身邊。