馬克思隨后為第一國際起草了成立宣言和共同章程。在成立宣言中，馬克思指出無產(chǎn)階級必須起來奪取政權(quán)，才能獲得自身的解放。他同時號召各國工人團結(jié)起來，共同爭取斗爭的勝利。在宣言的最后，馬克思把《共產(chǎn)黨宣言》中那句給力的口號照搬過來：“全世界無產(chǎn)者，聯(lián)合起來！”共同章程則規(guī)定了第一國際的目的、任務和組織原則。第一國際的目的就是要“成為追求共同運動的光輝歷程目標即追求工人階級的保護、發(fā)展和徹底解放的各國工人團體進行聯(lián)絡和合作的中心”。馬克思同時確定了第一國際的組織原則為民主集中制，每年舉行一次國際工人代表大會，在代表大會休會期間由總委員會主持日常工作。

第一國際成立以后，就在各地成立支部，吸收工人團體和工人個體加入。同時，第一國際積極支持各國工人的斗爭。1866年和1867年，英國工人舉行大罷工時，第一國際就號召法國、德國、丹麥、荷蘭等國的工人給予支持，拒絕接受英國資本家的招募，從而粉碎了資本家試圖從國外招募工人破壞罷工的陰謀。在瑞士、法國等國工人發(fā)動罷工抗爭的時候，第一國際也同樣伸出了援助之手。

除此之外，第一國際還跟當時的各種錯誤思潮作了斗爭。前期主要是對蒲魯東主義的斗爭。蒲魯東（Pierre Joseph Proudhon，1809 1865），法國著名的空想社會主義者，他早年以一句“財產(chǎn)就是盜竊”聞名一時。他自稱是無政府主義者，反對一切政府的存在，主張互助主義。在他的社會構(gòu)想中，每個人都依據(jù)自己的自由意志追求利益，所有人享有同等身份，所有的小生產(chǎn)者根據(jù)自愿原則訂立聯(lián)合協(xié)議，“平等地”交換產(chǎn)品，保證小私有者不再破產(chǎn)。在斗爭方式上，蒲魯東采取改良主義態(tài)度，他反對一切暴力革命，反對政治斗爭，也反對所有的政府和工人組織。這種小資產(chǎn)階級的幻想式思想在法國和歐洲其他國家的一些工人組織中風靡一時。

1866年，第一國際在瑞士的日內(nèi)瓦舉行代表大會。會上，蒲魯東主義分子遭到了大家的“圍觀”。大多數(shù)工人代表都認為蒲魯東主義者反對成立工會組織和反對罷工的理論簡直是奇談怪論，憑什么工人不能起來爭取自己的權(quán)益？蒲魯東主義者還反對婦女參加生產(chǎn)和享有與男子平等的權(quán)利。日內(nèi)瓦會議的決議最終批判了蒲魯東式的無政府主義。

在1868年的布魯塞爾大會上，已成強弩之末的蒲魯東主義被予以最后一擊。會議通過了馬克思提出的土地問題報告，認為應該實行土地公有，反對小土地私有制。

帶著小布爾喬亞情結(jié)，堅持小土地私有制的蒲魯東主義者蒲魯東一敗涂地。

接過蒲魯東主義大旗的是俄國無政府主義者巴枯寧（Mikhail AlexandrovichBakunin，1814 1876）。巴枯寧的思想比蒲魯東更為“危險”，他也主張無政府主義，認為政府是資產(chǎn)階級壓迫人的源泉，消滅政府就消滅了資產(chǎn)階級。之所以說巴枯寧“危險”，是因為他主張用暴力消滅政府。他所幻想的“暴力”手段倒類似于《終結(jié)者》中的天網(wǎng)，一夜之間襲來，摧毀所有政府。在進入第一國際以后，巴枯寧就開始積極策劃奪取第一國際的最高領導權(quán)。在1869年的巴塞爾代表大會上，巴枯寧及其追隨者處心積慮，想要把自己的人安插進第一國際總委員會，但投票結(jié)果卻讓他們大為失望，他們一個都沒能當選。

1871年3月，由于法國在普法戰(zhàn)爭中戰(zhàn)敗，巴黎工人為保衛(wèi)國家，反抗資本主義壓迫，發(fā)動了著名的巴黎公社起義。這次意義重大的無產(chǎn)階級革命成為一塊試金石。巴枯寧主義者指責巴黎公社是“犯罪行為”，并開始拉攏一部分反對起義的人分裂第一國際。1871年9月，第一國際在倫敦舉行會議，巴枯寧分子拒絕參與，并在瑞士洛桑試圖另立國際。但參加洛桑會議的只有16個人，場面冷淡，令巴枯寧顏面大失。第一國際于1872年海牙大會上宣布將巴枯寧及其追隨者開除出第一國際。