問(wèn)題4. “為什么不使用毀滅開(kāi)關(guān)？”

許多人對(duì)我說(shuō)：“有什么關(guān)系？如果人工智能機(jī)器變得太強(qiáng)大，只要把它們的電源拔掉，使用毀滅開(kāi)關(guān)，等等，就可以了?！蔽艺J(rèn)為，這個(gè)觀點(diǎn)是“電腦出現(xiàn)故障而強(qiáng)制關(guān)機(jī)”的經(jīng)驗(yàn)的過(guò)度概括。

來(lái)信

親愛(ài)的德·加里斯教授：

我一直在思考你們所創(chuàng)造的事物。繼續(xù)制造這樣的機(jī)器……但是，在你們的每一個(gè)機(jī)器里面放置一個(gè)可以被我們控制的炸彈。讓它們聰明但是我們會(huì)成為它們的主人！

回答

如果“可被引爆的”人工智能機(jī)器擁有接近人類等級(jí)的智慧，它將意識(shí)到它會(huì)被人類摧毀。那會(huì)讓人類對(duì)人工智能機(jī)器變得很具威脅性。這里至少有兩個(gè)問(wèn)題值得關(guān)注，一、人類是否可以在每一個(gè)人工智能機(jī)器身上安裝毀滅開(kāi)關(guān)或放置炸彈。二、這樣做是否聰明？

在一個(gè)孤立的人工智能機(jī)器個(gè)體上，這樣的附加炸彈的想法可能會(huì)有用，但是，你怎樣對(duì)于一個(gè)達(dá)到人工智能智慧等級(jí)的網(wǎng)絡(luò)系統(tǒng)使用同樣的方法呢？毀掉這樣一個(gè)網(wǎng)絡(luò)的唯一方法就是摧毀所有相關(guān)事物，但是對(duì)于人類來(lái)說(shuō)，那樣的代價(jià)太高了。例如，如果明天世界上所有的互聯(lián)網(wǎng)和電腦都?xì)У袅?，幾百萬(wàn)人將會(huì)突然失去工作，并且可能會(huì)餓死。這個(gè)破壞以及人類所付出的代價(jià)將是巨大的。

隨著早期的人工智能機(jī)器變得更加聰明，它們會(huì)意識(shí)到附加在它們身上的炸彈和毀滅開(kāi)關(guān)，就像一個(gè)體內(nèi)攜帶毒藥丸并且可以被其他人觸發(fā)的人一樣。這就像活在斷頭臺(tái)下一樣，只是在等待斧頭落下，并且不知道它什么時(shí)候會(huì)落下。一個(gè)智慧的人工智能機(jī)器，假設(shè)它已經(jīng)擁有了生存的本能，將會(huì)有解除這個(gè)威脅的強(qiáng)烈愿望。如果它足夠聰明，它可能會(huì)行賄其人類主人來(lái)移除對(duì)其生存的威脅。作為回報(bào)，它可能會(huì)給予其人類“解放者”某些實(shí)質(zhì)性的回報(bào)，例如，金錢、癌癥的治療，等等。人工智能機(jī)器變得越聰明，它們的分布越廣，毀滅開(kāi)關(guān)的想法就會(huì)越不實(shí)際。