我們究竟能否阻止機(jī)器人和AI戰(zhàn)勝人類(lèi)自身嗎？

揚(yáng)·塔林(Jaan Tallinn)在2007年的一篇網(wǎng)絡(luò)文章《凝視奇點(diǎn)》中偶然發(fā)現(xiàn)了這些詞。“它”就是人類(lèi)文明，這篇文章的作者預(yù)測(cè)，隨著人工智能的出現(xiàn)，人類(lèi)將不復(fù)存在。

塔林出生在愛(ài)沙尼亞，是一名計(jì)算機(jī)程序員，擁有物理學(xué)背景，喜歡把生活當(dāng)做一個(gè)大的編程問(wèn)題來(lái)處理。2003年，他與人共同創(chuàng)建了Skype，開(kāi)發(fā)了這款應(yīng)用的后端。兩年后，eBay收購(gòu)了他的股票，他將其變現(xiàn)，現(xiàn)在他正在考慮做點(diǎn)什么。盯著奇點(diǎn)亂成一團(tuán)的計(jì)算機(jī)代碼，量子物理學(xué)以及卡爾文和霍布斯的名言。他入迷了。

塔林很快發(fā)現(xiàn)，該書(shū)的作者、自學(xué)成才的理論家以利澤爾·尤德科斯基(Eliezer Yudkowsky)已經(jīng)撰寫(xiě)了1000多篇論文和博客文章，其中許多都是關(guān)于超智能的。他編寫(xiě)了一個(gè)程序，從互聯(lián)網(wǎng)上搜集尤德科斯基的作品，按時(shí)間順序排列，并為他的iPhone設(shè)定格式，然后他花了一年的大部分時(shí)間讀這些書(shū)。

“人工智能”一詞最早出現(xiàn)在1956年，也就是第一臺(tái)電子數(shù)字計(jì)算機(jī)問(wèn)世僅10年后。該領(lǐng)域最初的希望很高，但到了20世紀(jì)70年代，當(dāng)早期的預(yù)測(cè)沒(méi)有成功時(shí)，“人工智能冬天”來(lái)臨了。當(dāng)塔林發(fā)現(xiàn)尤德科斯基的隨筆時(shí)，人工智能正在經(jīng)歷一場(chǎng)復(fù)興。科學(xué)家們正在開(kāi)發(fā)在特定領(lǐng)域表現(xiàn)出色的人工智能，比如下棋獲勝、清理廚房地板和識(shí)別人類(lèi)語(yǔ)言。這種被稱(chēng)為“狹義”的人工智能具有超人的能力，但僅限于其特定的主導(dǎo)領(lǐng)域。一個(gè)下棋的人工智能不能掃地，也不能把你從一個(gè)地方帶到另一個(gè)地方。更糟糕的是，它可能還會(huì)利用隨身攜帶智能手機(jī)的人類(lèi)生成的數(shù)據(jù)，在社交操控方面表現(xiàn)出色。

讀了尤德科斯基的文章后，塔林相信人工智能可能導(dǎo)致人工智能的爆發(fā)或突破，從而威脅到人類(lèi)的生存，人工智能將取代我們?cè)谶M(jìn)化階梯上的位置，像我們現(xiàn)在支配猿類(lèi)那樣支配我們。或者，更糟的是，有可能直接消滅我們。

寫(xiě)完最后一篇文章后，塔林給尤德科斯基發(fā)了一封電子郵件，全都是小寫(xiě)字母，這是他的風(fēng)格。“我是揚(yáng)，skype的創(chuàng)始人之一，”他寫(xiě)道。最后他終于說(shuō)到了點(diǎn)子上:“我同意為人工智能全面超越人類(lèi)智能做好準(zhǔn)備，是人類(lèi)面臨的首要任務(wù)之一。”看起來(lái)他真的想幫忙。

一周后，當(dāng)塔林飛往舊金山灣區(qū)參加其他會(huì)議時(shí)，他在加州米爾布雷的一家咖啡館見(jiàn)到了住在附近的尤德科斯基。他們的聚會(huì)持續(xù)了四個(gè)小時(shí)。尤德科斯基最近對(duì)我說(shuō):“實(shí)際上，他真正理解基本概念和細(xì)節(jié)。”“這非常罕見(jiàn)。之后，塔林給奇點(diǎn)人工智能研究所開(kāi)了一張5000美元的支票(2013年，該組織更名為機(jī)器智能研究所)。此后，塔林向該研究所累計(jì)共捐贈(zèng)了60多萬(wàn)美元。

與尤德科斯基的相遇帶來(lái)了塔林的目標(biāo)，讓他肩負(fù)起一項(xiàng)使命，把我們從自己的創(chuàng)造物中拯救出來(lái)。他開(kāi)始了他的旅行生涯，在世界各地就人工智能所帶來(lái)的威脅發(fā)表演講。不過(guò)，他主要是開(kāi)始資助研究可能給人類(lèi)帶來(lái)出路的方法:所謂的友好型人工智能。這并不意味著機(jī)器或代理特別擅長(zhǎng)談?wù)撎鞖猓蛘咚苡涀∧愫⒆拥拿郑M管人工智能的人工智能可能能夠做到這兩件事。這并不意味著它的動(dòng)機(jī)是利他主義或單純的愛(ài)。一個(gè)常見(jiàn)的謬論是假設(shè)人工智能具有人類(lèi)的沖動(dòng)和價(jià)值觀。“友好”意味著更基本的東西:未來(lái)的機(jī)器不會(huì)在它們實(shí)現(xiàn)目標(biāo)的過(guò)程中把我們消滅。

去年春天，我加入塔林，在劍橋大學(xué)耶穌學(xué)院的餐廳用餐。教堂般的空間裝飾著彩色玻璃窗、金色的模子和戴著假發(fā)的男人的油畫(huà)。塔林坐在一張厚重的紅木桌旁，穿著硅谷的休閑裝束:黑色牛仔褲、t恤和帆布運(yùn)動(dòng)鞋。一個(gè)拱形的木天花板高高地伸在他那一頭灰白的金發(fā)之上。

47歲的塔林在某種程度上是教科書(shū)上的科技企業(yè)家。他認(rèn)為，由于科學(xué)的進(jìn)步(只要人工智能不毀滅我們)，他將生活“許多許多年”。當(dāng)他和研究人員一起出去泡吧時(shí)，他甚至比那些年輕的研究生堅(jiān)持得還要持久。他對(duì)人工智能的擔(dān)憂在他的同齡人中很常見(jiàn)。PayPal聯(lián)合創(chuàng)始人彼得·泰爾(Peter Thiel)的基金會(huì)向Miri捐贈(zèng)了160萬(wàn)美元。2015年，特斯拉創(chuàng)始人埃隆·馬斯克(Elon Musk)向馬薩諸塞州劍橋市的科技安全組織未來(lái)生命研究所捐贈(zèng)了1000萬(wàn)美元。但塔林進(jìn)入這個(gè)精英世界是在上世紀(jì)80年代的鐵幕之后，當(dāng)時(shí)一個(gè)同學(xué)的父親在政府工作，讓幾個(gè)聰明的孩子接觸到了大型計(jì)算機(jī)。愛(ài)沙尼亞獨(dú)立后，他成立了一家電子游戲公司。今天，塔林仍然和他的妻子以及六個(gè)孩子中最小的一個(gè)住在首都塔林。當(dāng)他想與研究人員見(jiàn)面時(shí)，他經(jīng)常只是把他們空運(yùn)到波羅的海地區(qū)。

他的捐贈(zèng)策略是有條理的，就像他做的其他事情一樣。他把錢(qián)分給了11家機(jī)構(gòu)，每家機(jī)構(gòu)都在研究不同的人工智能安全方法，希望其中一家能夠堅(jiān)持下去。2012年，他與他人共同創(chuàng)辦了劍橋生存風(fēng)險(xiǎn)研究中心(CSER)，初期投入近20萬(wàn)美元。

生存風(fēng)險(xiǎn)或者像塔林所說(shuō)的x-risk，是對(duì)人類(lèi)生存的威脅。除了人工智能，CSER的20多位研究人員還研究氣候變化、核戰(zhàn)爭(zhēng)和生物武器。但是，對(duì)塔林來(lái)說(shuō)，那些其他學(xué)科“實(shí)際上只是入門(mén)藥物”。對(duì)氣候變化等更廣泛接受的威脅的擔(dān)憂，可能會(huì)吸引人們加入進(jìn)來(lái)。他希望，人工智能機(jī)器統(tǒng)治世界的恐懼將說(shuō)服他們留下來(lái)。他訪問(wèn)劍橋是為了參加一個(gè)會(huì)議，因?yàn)樗Ｍ麑W(xué)術(shù)界能更嚴(yán)肅地對(duì)待人工智能的安全性。

在耶穌大學(xué)，我們的用餐同伴都是隨機(jī)參加會(huì)議的人，包括一名學(xué)習(xí)機(jī)器人的香港女性和一名上世紀(jì)60年代從劍橋大學(xué)畢業(yè)的英國(guó)男性。老人問(wèn)在座的每一個(gè)人他們?cè)谀睦锷系拇髮W(xué)(愛(ài)沙尼亞塔爾圖大學(xué)塔林分校的回答并沒(méi)有給他留下深刻印象)。然后他試圖把談話引向新聞。塔林茫然地看著他。“我對(duì)近期風(fēng)險(xiǎn)不感興趣”他說(shuō)。

塔林把話題轉(zhuǎn)到了人工智能的威脅上。當(dāng)不與其他程序員交談時(shí)，他會(huì)默認(rèn)使用隱喻，然后瀏覽他的一套隱喻:高級(jí)人工智能可以像人類(lèi)砍伐樹(shù)木一樣迅速地處理我們。人工智能之于我們，就像我們之于大猩猩。

一個(gè)人工智能將需要一個(gè)身體來(lái)接管。沒(méi)有某種物理外殼，它怎么可能獲得物理控制？

塔林還準(zhǔn)備了另一個(gè)比喻:“把我關(guān)在有互聯(lián)網(wǎng)連接的地下室里，我可以造成很大的破壞，”他說(shuō)完，吃了一口意大利燴飯。

每一個(gè)人工智能，無(wú)論是Roomba還是其潛在的統(tǒng)治世界的后代，都是由結(jié)果驅(qū)動(dòng)的。程序員分配這些目標(biāo)，以及一系列關(guān)于如何實(shí)現(xiàn)它們的規(guī)則。先進(jìn)的人工智能并不一定需要被賦予統(tǒng)治世界的目標(biāo)才能實(shí)現(xiàn)它，它可能只是一個(gè)偶然。計(jì)算機(jī)編程的歷史上充滿了引發(fā)災(zāi)難的小錯(cuò)誤。例如，2010年，共同基金公司W(wǎng)addell & Reed的一名交易員賣(mài)出了數(shù)千份期貨合約，該公司的軟件在幫助執(zhí)行交易的算法中漏掉了一個(gè)關(guān)鍵變量。其結(jié)果是萬(wàn)億美元的美國(guó)“閃電崩盤(pán)”。

塔林基金的研究人員認(rèn)為，如果超級(jí)人工智能的獎(jiǎng)勵(lì)結(jié)構(gòu)沒(méi)有得到恰當(dāng)?shù)木幊蹋词故巧埔獾哪繕?biāo)也可能有陰險(xiǎn)的結(jié)局。牛津大學(xué)哲學(xué)家尼克·博斯特羅姆(Nick Bostrom)在他的著作《超智能》中列舉了一個(gè)著名的例子，那就是一個(gè)虛構(gòu)的特工，他的任務(wù)是制造盡可能多的回形針。人工智能可能會(huì)決定，將人體中的原子更好地用作原材料。

塔林的觀點(diǎn)也有批評(píng)者，甚至在關(guān)注人工智能安全的社區(qū)中也是如此。有人反對(duì)說(shuō)，當(dāng)我們還不了解人工智能人工智能時(shí)，擔(dān)心限制它還為時(shí)過(guò)早。還有人說(shuō)，把注意力集中在流氓技術(shù)行動(dòng)者身上，會(huì)分散人們對(duì)該領(lǐng)域面臨的最緊迫問(wèn)題的注意力，比如大多數(shù)算法是由白人男性設(shè)計(jì)的，或者基于對(duì)他們有偏見(jiàn)的數(shù)據(jù)。“如果我們不在短期內(nèi)應(yīng)對(duì)這些挑戰(zhàn)，我們就有可能建立一個(gè)我們不想生活的世界，”專(zhuān)注于人工智能安全和其他問(wèn)題的科技行業(yè)聯(lián)盟AI伙伴關(guān)系執(zhí)行董事塔拉·萊昂斯(Terah Lyons)說(shuō)。但是，她補(bǔ)充說(shuō)，研究人員近期面臨的一些挑戰(zhàn)，比如消除算法偏見(jiàn)，是人類(lèi)可能在人工智能人工智能中看到的一些問(wèn)題的先兆。

塔林并不這么認(rèn)為。他反駁說(shuō)，人工智能人工智能帶來(lái)了獨(dú)特的威脅。最終，他希望人工智能社區(qū)能夠效仿上世紀(jì)40年代的反核運(yùn)動(dòng)。在廣島和長(zhǎng)崎爆炸之后，科學(xué)家們聯(lián)合起來(lái)試圖限制進(jìn)一步的核試驗(yàn)。“曼哈頓計(jì)劃的科學(xué)家可能會(huì)說(shuō):‘看，我們?cè)谶@里進(jìn)行創(chuàng)新，創(chuàng)新總是好的，所以讓我們勇往直前，’”他告訴我。“但他們的責(zé)任更大。”

塔林警告說(shuō)，任何有關(guān)人工智能安全的方法都將很難正確。如果人工智能足夠聰明，它可能比它的創(chuàng)造者對(duì)約束有更好的理解。想象一下，他說(shuō)，“在一群五歲的盲人建造的監(jiān)獄里醒來(lái)。“對(duì)于一個(gè)被人類(lèi)限制的人工智能人工智能來(lái)說(shuō)，情況可能就是這樣。

理論家尤德科斯基(Yudkowsky)發(fā)現(xiàn)，有證據(jù)表明這一點(diǎn)可能是正確的。從2002年開(kāi)始，尤德科斯基主持了幾次聊天會(huì)議，他在其中扮演一個(gè)封閉在盒子里的人工智能角色，而其他人輪流扮演看門(mén)人，負(fù)責(zé)把人工智能關(guān)在盒子里。五分之三的情況下，尤德科斯基——一個(gè)凡人——說(shuō)他說(shuō)服守門(mén)人釋放了他。然而，他的實(shí)驗(yàn)并沒(méi)有阻止研究人員嘗試設(shè)計(jì)一個(gè)更好的盒子。

研究人員認(rèn)為，塔林基金正在尋求各種各樣的策略，從實(shí)用的到看似遙不可及的方面。一些關(guān)于拳擊人工智能的理論，要么是物理上的，通過(guò)構(gòu)建一個(gè)實(shí)際的結(jié)構(gòu)來(lái)包含它，要么是通過(guò)編程來(lái)限制它所能做的事情。其他人則試圖教人工智能堅(jiān)持人類(lèi)價(jià)值觀。牛津大學(xué)人類(lèi)未來(lái)研究所的數(shù)學(xué)家兼哲學(xué)家斯圖爾特·阿姆斯特朗(Stuart Armstrong)是一位研究這三個(gè)問(wèn)題的研究員，塔林稱(chēng)該研究所是“宇宙中最有趣的地方”(塔林已經(jīng)向FHI提供了31萬(wàn)多美元) 。

阿姆斯特朗是世界上少數(shù)幾個(gè)全職致力于人工智能安全的研究人員之一。我在牛津與他見(jiàn)面喝咖啡時(shí)，他穿著一件沒(méi)有扣扣子的橄欖球衫，看上去就像一個(gè)一輩子都躲在屏幕后面的人，蒼白的臉被一團(tuán)沙色的頭發(fā)框住了。他的解釋中夾雜著令人困惑的大眾文化和數(shù)學(xué)知識(shí)。當(dāng)我問(wèn)他在人工智能安全領(lǐng)域取得成功是什么樣子時(shí)，他說(shuō):“你看過(guò)樂(lè)高大電影嗎?一切都太棒了。”

阿姆斯特朗的一項(xiàng)研究著眼于一種稱(chēng)為“甲骨文”人工智能的拳擊特定方法。2012年，他與FHI的聯(lián)合創(chuàng)始人尼克·博斯特羅姆(Nick Bostrom)在一篇論文中提出，不僅要把人工智能隔離在一個(gè)儲(chǔ)罐中，這是一種物理結(jié)構(gòu)還要把它限制在回答問(wèn)題上，比如一個(gè)非常智能的通靈板。即使有了這些界限，人工智能也將擁有巨大的力量，通過(guò)巧妙地操縱審訊者，重塑人類(lèi)的命運(yùn)。為了減少這種情況發(fā)生的可能性，阿姆斯特朗建議對(duì)對(duì)話進(jìn)行時(shí)間限制，或者禁止提出可能顛覆當(dāng)前世界秩序的問(wèn)題。他還建議，用甲骨文公司的代理指數(shù)來(lái)衡量人類(lèi)的生存狀況，比如道瓊斯工業(yè)平均指數(shù)或東京的過(guò)街人數(shù)，并告訴該指數(shù)保持穩(wěn)定。

阿姆斯特朗在一篇論文中稱(chēng)，最終有必要?jiǎng)?chuàng)造一個(gè)“大紅色關(guān)閉按鈕”:要么是一個(gè)物理開(kāi)關(guān)，要么是一個(gè)被編程進(jìn)人工智能的機(jī)制，在爆發(fā)時(shí)自動(dòng)關(guān)閉自己。但設(shè)計(jì)這樣一個(gè)開(kāi)關(guān)遠(yuǎn)非易事。不僅僅是一個(gè)對(duì)自我保護(hù)感興趣的高級(jí)人工智能可以阻止按鈕被按下。它也會(huì)好奇為什么人類(lèi)會(huì)發(fā)明這個(gè)按鈕，激活它來(lái)看看會(huì)發(fā)生什么，然后讓它變得無(wú)用。2013年，一位名叫湯姆墨菲七世(Tom Murphy VII)的程序員設(shè)計(jì)了一款可以自學(xué)玩任天堂娛樂(lè)系統(tǒng)游戲的人工智能。決心不輸?shù)舳砹_斯方塊，人工智能只是按下暫停鍵，讓游戲保持凍結(jié)狀態(tài)。墨菲在一篇關(guān)于自己創(chuàng)作的論文中挖苦道:“說(shuō)真的，唯一的制勝招就是不玩。”

要讓這個(gè)策略成功，人工智能必須對(duì)按鈕不感興趣，或者，正如塔林所說(shuō):“它必須給不存在的世界和存在的世界賦予同等的價(jià)值。”但即使研究人員能做到這一點(diǎn)，也存在其他挑戰(zhàn)。如果人工智能在互聯(lián)網(wǎng)上復(fù)制了幾千次呢？

最讓研究人員興奮的方法是找到一種讓人工智能堅(jiān)持人類(lèi)價(jià)值觀的方法——不是通過(guò)編程，而是通過(guò)教人工智能學(xué)習(xí)這些價(jià)值觀。在一個(gè)黨派政治占主導(dǎo)地位的世界里，人們常常細(xì)想我們的原則有哪些不同之處。但是，塔林告訴我，人類(lèi)有很多共同點(diǎn):“幾乎每個(gè)人都重視自己的右腿，而我們只是不去想它。“我們希望人工智能能夠被教會(huì)識(shí)別這些不可被改變的規(guī)則。

在這個(gè)過(guò)程中，人工智能需要學(xué)習(xí)并欣賞人類(lèi)不合邏輯的一面:我們經(jīng)常說(shuō)一套做一套，我們的一些偏好與他人發(fā)生沖突，人們?cè)诤茸頃r(shí)不那么可靠。塔林認(rèn)為，盡管面臨挑戰(zhàn)，但值得一試，因?yàn)轱L(fēng)險(xiǎn)如此之高。他說(shuō):“我們必須提前思考幾步。“創(chuàng)造一個(gè)與我們興趣不同的人工智能將是一個(gè)可怕的錯(cuò)誤。”

他在劍橋的最后一個(gè)晚上，我和塔林以及兩名研究人員一起在一家牛排館共進(jìn)晚餐。一個(gè)服務(wù)員把我們這一群人安排在一個(gè)粉刷成白色的酒窖里，酒窖里有一種洞穴般的氣氛。他遞給我們一頁(yè)菜單，上面有三種不同的土豆泥。一對(duì)夫婦在我們旁邊的桌子旁坐下，幾分鐘后他們要求搬到別處去。“太幽閉恐怖了，”這位女士抱怨道。我想起了塔林的那句話，他說(shuō)，如果把他鎖在一個(gè)只有互聯(lián)網(wǎng)連接的地下室里，他會(huì)造成多大的破壞。我們到了，在箱子里。這似乎是在暗示，這些人在考慮如何出去。

塔林的客人包括前基因組學(xué)研究員、CSER執(zhí)行董事Sean O hEigeartaigh和哥本哈根大學(xué)的人工智能研究員Matthijs Maas。他們開(kāi)玩笑說(shuō)要拍一部名為《人工智能大戰(zhàn)區(qū)塊鏈》的動(dòng)作電影。他還討論了一款名為《萬(wàn)能回形針》的在線游戲，這款游戲重復(fù)了博斯特羅姆書(shū)中的場(chǎng)景。這個(gè)練習(xí)包括反復(fù)點(diǎn)擊鼠標(biāo)來(lái)制作回形針。它并不華麗，但它確實(shí)說(shuō)明了為什么一臺(tái)機(jī)器可能會(huì)尋找更方便的方法來(lái)生產(chǎn)辦公用品。

最終，話題轉(zhuǎn)向了更大的問(wèn)題，正如塔林在場(chǎng)時(shí)經(jīng)常發(fā)生的那樣。人工智能安全研究的最終目標(biāo)是創(chuàng)造出像劍橋哲學(xué)家、CSER聯(lián)合創(chuàng)始人休·普萊斯(Huw Price)曾經(jīng)說(shuō)過(guò)的那樣，“在道德和認(rèn)知上都是超人的”機(jī)器。其他人提出了這個(gè)問(wèn)題:如果我們不想讓人工智能控制我們，我們想要控制人工智能嗎?換句話說(shuō)，人工智能有權(quán)利嗎?塔林認(rèn)為這是不必要的擬人化。它假定智力等于意識(shí)，這一誤解惹惱了許多人工智能研究人員。當(dāng)天早些時(shí)候，CSER的研究員Jose Hernandez-Orallo開(kāi)玩笑說(shuō)，當(dāng)與人工智能研究人員交談時(shí)，意識(shí)毫無(wú)用處。

塔林認(rèn)為意識(shí)無(wú)關(guān)緊要:“以恒溫器為例。沒(méi)有人會(huì)說(shuō)它是有意識(shí)的。但是如果你在零下30度的房間里，和那個(gè)特工對(duì)質(zhì)真的很不方便。”

O hEigeartaigh也加入了進(jìn)來(lái)。“擔(dān)心意識(shí)是件好事，”他說(shuō)，“但如果我們沒(méi)有首先解決技術(shù)安全方面的挑戰(zhàn)，我們就沒(méi)有那么多時(shí)間擔(dān)心意識(shí)。”

塔林說(shuō)，人們過(guò)于關(guān)注什么是超智能人工智能。它將采取什么形式？我們應(yīng)該擔(dān)心一個(gè)人工智能來(lái)接管，還是一支由它們組成的軍隊(duì)？“從我們的角度來(lái)看，重要的是人工智能做了什么，”他強(qiáng)調(diào)說(shuō)。他認(rèn)為，這可能仍然取決于人類(lèi)，就目前來(lái)看是這樣。