AI大佬隔空激辯，你支持誰(shuí)？

????

“未來(lái)5年內(nèi)，頭腦正常的人都不會(huì)再用自回歸LLM（大型語(yǔ)言模型），GPT系統(tǒng)將很快被拋棄。”

這是圖靈獎(jiǎng)得主、Meta首席AI科學(xué)家、紐約大學(xué)教授Yann LeCun（楊立昆）在今年智源大會(huì)上發(fā)表的觀點(diǎn)。

今年以來(lái)，以ChatGPT為代表的AI大模型點(diǎn)亮了人類世界又一次群星閃耀的時(shí)刻。但顯而易見(jiàn)的是，AI大模型的快速躥紅，也同時(shí)帶來(lái)了無(wú)數(shù)亟待解決的問(wèn)題和諸多針?shù)h相對(duì)的探討。

人類是否已經(jīng)進(jìn)入AGI時(shí)代？GPT是否會(huì)被拋棄？開(kāi)源與閉源到底如何選擇？AI是否已然威脅到人類安全？人和AI，誰(shuí)是未來(lái)世界的主宰？

顛覆式創(chuàng)新往往伴隨巨大的不確定性。即使是專家們?cè)诮裉彀l(fā)出的權(quán)威論斷，在若干年后也很可能變成技術(shù)長(zhǎng)河中一個(gè)微小的“謬誤”。但盡管如此，當(dāng)下的百家爭(zhēng)鳴依然有永恒的意義。

6月10日，第五屆北京智源大會(huì)閉幕。

北京智源大會(huì)由智源研究院主辦，今年邀請(qǐng)到了圖靈獎(jiǎng)得主Geoffrey Hinton（杰弗里·辛頓）、Yann LeCun（楊立昆）、Joseph Sifakis、姚期智，張鈸、鄭南寧、謝曉亮、張宏江、張亞勤等院士，加州大學(xué)伯克利分校人工智能系統(tǒng)中心創(chuàng)始人Stuart Russell（斯圖爾特·羅素），麻省理工學(xué)院未來(lái)生命研究所創(chuàng)始人Max Tegmark（馬克斯·泰格馬克），OpenAI首席執(zhí)行官Sam Altman（薩姆·奧爾特曼）等200余位人工智能專家——如此群星璀璨的專家陣容，有人評(píng)價(jià)這場(chǎng)大會(huì)為“AI春晚”。

大會(huì)共持續(xù)了兩天，設(shè)置了十余場(chǎng)分論壇，內(nèi)容涵蓋前沿技術(shù)、生態(tài)、安全、倫理等方方面面。

不過(guò)，大會(huì)最?yuàn)Z人眼球的環(huán)節(jié)之一，還是杰弗里·辛頓、楊立昆、斯圖爾特·羅素、馬克斯·泰格馬克、薩姆·奧爾特曼等國(guó)際AI大咖的隔空辯論。大會(huì)期間，「甲子光年」參與了活動(dòng)群訪，將最值得關(guān)注的4個(gè)核心爭(zhēng)議點(diǎn)進(jìn)行了提煉總結(jié)，盡可能還原全球AI領(lǐng)軍者們對(duì)AI當(dāng)下與未來(lái)的深度思考。

1.GPT快要被拋棄了？

AI大模型出現(xiàn)后，一個(gè)隨之而來(lái)的問(wèn)題是：世界是否已經(jīng)進(jìn)入AGI時(shí)代？

王小川曾在今年2月便篤定地告訴「甲子光年」：“這（指ChatGPT）就是AGI！”這一判斷的核心邏輯是，ChatGPT背后的大模型掌握了語(yǔ)言，而語(yǔ)言的邊界就是世界的邊界，機(jī)器掌握了語(yǔ)言，就意味著AGI的到來(lái)。

但就在本次智源大會(huì)上，ChatGPT神話的締造者、OpenAI CEO薩姆·奧爾特曼則表示，自己并不確定AGI何時(shí)到來(lái)，但他認(rèn)為10年內(nèi)，人類可能會(huì)迎來(lái)更強(qiáng)大的AI系統(tǒng)。

之所以業(yè)內(nèi)有如此巨大的分歧，是因?yàn)锳GI目前并沒(méi)有明確定義。

在本屆智源大會(huì)上，智源研究院院長(zhǎng)黃鐵軍表示，“通用人工智能”有兩個(gè)解釋，GAI（General Artficaial Intelligence）和AGI（Artificial General Intelligence）。他認(rèn)為，大多數(shù)媒體都將通用人工智能理解為前者，而真正讓人工智能研究者談?wù)摂?shù)年的是AGI，世界正處于由GAI向AGI邁進(jìn)的歷史時(shí)期。

要實(shí)現(xiàn)AGI，究竟需要什么樣的技術(shù)條件？

黃鐵軍總結(jié)了三條實(shí)現(xiàn)AGI的技術(shù)路線：

大數(shù)據(jù)+自監(jiān)督學(xué)習(xí)+大算力形成的信息類模型，以O(shè)penAI的GPT系列模型為代表；

?

基于虛擬或真實(shí)世界，通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練出來(lái)的具身模型，以Google DeepMind的DQN深度學(xué)習(xí)技術(shù)為代表；

直接抄自然進(jìn)化的作業(yè)，復(fù)制數(shù)字版本的人腦和智能體，即腦智能。這是智源研究院一直在嘗試的方向。

目前，智源研究院在上述三個(gè)方向均有布局。會(huì)上，黃鐵軍著重介紹了大模型與具身智能兩個(gè)方向，發(fā)布了全面開(kāi)源的“悟道3.0”系列大模型及算法，報(bào)告了在高精度生命模擬和有機(jī)大分子建模方面的最新進(jìn)展。

在2021年3月，悟道1.0發(fā)布會(huì)上，智源研判人工智能已經(jīng)從“大煉模型”轉(zhuǎn)變?yōu)椤盁挻竽Ｐ汀钡男码A段，從此，“大模型”概念走入公眾視野。

黃鐵軍提出了大模型需要具備的三個(gè)條件：一是規(guī)模要大，參數(shù)達(dá)百億規(guī)模以上；二是涌現(xiàn)性，能夠產(chǎn)生預(yù)料之外的新能力；三是通用性，不限于專門問(wèn)題或領(lǐng)域，能夠處理多種不同的任務(wù)。

悟道系列模型已發(fā)展到“悟道3.0”版本，涵蓋語(yǔ)言、視覺(jué)、多模態(tài)等基礎(chǔ)大模型，并全面開(kāi)源。

在攻關(guān)大模型的同時(shí)，智源研究院也在探索具身智能。近期，智源研究院提出了在無(wú)專家數(shù)據(jù)情況下高效解決《我的世界》任務(wù)的方法Plan4MC，可完成大量復(fù)雜多樣任務(wù)，為當(dāng)前強(qiáng)化學(xué)習(xí)路徑下最優(yōu)表現(xiàn)，成功率相比所有基線方法有大幅提升。智源的下一個(gè)目標(biāo)則是讓智能體在開(kāi)放世界中持續(xù)學(xué)習(xí)并進(jìn)一步具備創(chuàng)造力。

針對(duì)第三條路徑，智源研究院也有新進(jìn)展。

去年的智源大會(huì)上，智源研究院發(fā)布了最高精度的仿真線蟲(chóng)。現(xiàn)在，智源開(kāi)放仿真線蟲(chóng)研究所使用的“天演”平臺(tái)，提供在線服務(wù)。

基于天演平臺(tái)，實(shí)現(xiàn)對(duì)生物智能進(jìn)行高精度仿真，探索智能的本質(zhì)，推動(dòng)由生物啟發(fā)的通用人工智能。為進(jìn)一步推動(dòng)神經(jīng)系統(tǒng)仿真規(guī)模與性能，天演團(tuán)隊(duì)將天演接入我國(guó)新一代百億億次超級(jí)計(jì)算機(jī)-天河新一代超級(jí)計(jì)算機(jī)。通過(guò)“天演-天河”的成功部署運(yùn)行，實(shí)現(xiàn)鼠腦V1視皮層精細(xì)網(wǎng)絡(luò)等模型仿真，計(jì)算能耗均能降低約10倍以上，計(jì)算速度實(shí)現(xiàn)10倍以上提升，達(dá)到全球范圍內(nèi)最極致的精細(xì)神經(jīng)元網(wǎng)絡(luò)仿真的性能，為實(shí)現(xiàn)全人腦精細(xì)模擬打下堅(jiān)實(shí)基礎(chǔ)。

除智源的三條路徑之外，圖靈獎(jiǎng)得主、Meta首席AI科學(xué)家、紐約大學(xué)教授楊立昆也在會(huì)上系統(tǒng)闡述了他提出的“世界模型”。

在楊立昆看來(lái)，幾十年來(lái)，研究者一直在使用監(jiān)督學(xué)習(xí)，這需要太多的標(biāo)簽。強(qiáng)化學(xué)習(xí)效果不錯(cuò)，但需要大量的訓(xùn)練來(lái)學(xué)習(xí)知識(shí)。近年來(lái)，研究者一直在使用大量的自我監(jiān)督學(xué)習(xí)，但這些系統(tǒng)在某個(gè)地方不太專業(yè)，而且很脆弱，它們會(huì)犯愚蠢的錯(cuò)誤，它們不會(huì)真正地推理，也不會(huì)計(jì)劃。當(dāng)然，它們的反應(yīng)確實(shí)非常快。

相比之下，動(dòng)物和人類可以快速執(zhí)行新任務(wù)并理解世界是如何運(yùn)作的，也可以推理和計(jì)劃、具有常識(shí)，這是機(jī)器所不具備的。

他甚至不留情面地說(shuō)，未來(lái)5年內(nèi)，頭腦正常的人都不會(huì)再用自回歸LLM（大型語(yǔ)言模型），GPT系統(tǒng)將很快被拋棄。“這些系統(tǒng)沒(méi)有物理世界的經(jīng)驗(yàn)，這使得它們（的能力）非常有限。”楊立昆表示。

楊立昆認(rèn)為，人類最終走向的將是“世界模型”。世界模型可以真正地理解這個(gè)世界，并預(yù)測(cè)和規(guī)劃未來(lái)。通過(guò)成本核算模塊，結(jié)合一個(gè)簡(jiǎn)單的需求（一定按照最節(jié)約行動(dòng)成本的邏輯去規(guī)劃未來(lái)），它就可以杜絕一切潛在的毒害和不可靠性。

那么，我們?nèi)绾螐谋举|(zhì)上理解世界模型？

楊立昆提出了一個(gè)分層系統(tǒng)的設(shè)想：通過(guò)一連串的編碼器，提取世界狀態(tài)的更多抽象表示，并使用不同層次預(yù)測(cè)器的世界模型，在不同的擾動(dòng)水平、不同的時(shí)間尺度下預(yù)測(cè)世界的狀態(tài)。

一個(gè)簡(jiǎn)單的例子是，如果你想從紐約去北京，你需要做的第一件事就是去機(jī)場(chǎng)，然后坐飛機(jī)去北京。這個(gè)過(guò)程可以拆分為若干動(dòng)作，例如你從紐約辦公室的椅子上站起來(lái)，出門，到街上去攔一輛出租車，并告訴司機(jī)你要去機(jī)場(chǎng)等等——所有復(fù)雜的任務(wù)都是以某種分層規(guī)劃的方式完成的。

不過(guò)，楊立昆也承認(rèn)，目前還沒(méi)人知道如何規(guī)模化實(shí)現(xiàn)這種分層規(guī)劃的體系。

2.開(kāi)源與閉源：一場(chǎng)信仰與現(xiàn)實(shí)的較量

盡管技術(shù)邊界無(wú)窮無(wú)盡，但一個(gè)擺在人們眼前的現(xiàn)實(shí)問(wèn)題更不容忽視——正在快速形成的大模型生態(tài)應(yīng)該開(kāi)源還是閉源？

回看整個(gè)計(jì)算機(jī)技術(shù)發(fā)展史，很難分辨開(kāi)源、閉源生態(tài)究竟孰優(yōu)孰劣。

在PC時(shí)代，有封閉的Wintel聯(lián)盟和開(kāi)放的Linux，今天，Linux幾乎成為所有操作系統(tǒng)的內(nèi)核；移動(dòng)互聯(lián)時(shí)代，iOS的封閉生態(tài)與安卓的開(kāi)放生態(tài)雙足鼎立。

如今到了智能時(shí)代，未來(lái)的大模型之爭(zhēng)也難逃生態(tài)之爭(zhēng)。

從國(guó)外看，LLaMA發(fā)布后，在全球派生出的模型不計(jì)其數(shù)，已經(jīng)形成了龐大的生態(tài)。但智源研究院副院長(zhǎng)、總工程師林詠華在訪談時(shí)對(duì)「甲子光年」等媒體表示，這種生態(tài)對(duì)中國(guó)的企業(yè)和開(kāi)發(fā)者并不友好。

首先，LLaMA的開(kāi)源生態(tài)無(wú)法商用；其次，LLaMA的語(yǔ)料主要來(lái)自國(guó)外，由此帶來(lái)的部分和中文語(yǔ)境不適配的問(wèn)題會(huì)被繼承在基于LLaMA訓(xùn)練的模型中。

為此，智源研究院搭建了一套更適用于國(guó)內(nèi)的開(kāi)源生態(tài)體系。

今年年初，智源發(fā)布了FlagOpen大模型技術(shù)開(kāi)源體系；數(shù)據(jù)集方面，智源已開(kāi)源首個(gè)大規(guī)模、可商用的中文指令數(shù)據(jù)集COIG。COIG一期已開(kāi)放總計(jì)19.1萬(wàn)條指令數(shù)據(jù)，COIG二期正在建設(shè)最大規(guī)模、持續(xù)更新的中文多任務(wù)指令數(shù)據(jù)集，整合了1800多個(gè)海量開(kāi)源數(shù)據(jù)集，人工改寫了3.9億條指令數(shù)據(jù)，并提供了配套的數(shù)據(jù)篩選、版本控制工具。

事實(shí)上，開(kāi)源和閉源的選擇背后，是一場(chǎng)信仰與現(xiàn)實(shí)的較量。

對(duì)于很多人而言，開(kāi)源是一個(gè)原則問(wèn)題。開(kāi)源社區(qū)Hugging Face聯(lián)合創(chuàng)始人Julien Chaumond曾在推特上寫道：“我們永遠(yuǎn)不會(huì)放棄為開(kāi)源人工智能而戰(zhàn)。”

智源研究院也是開(kāi)源生態(tài)堅(jiān)定的擁躉。“如果沒(méi)有開(kāi)源，AI不會(huì)發(fā)展到今天。”林詠華表示。

不過(guò)，在林詠華看來(lái)，開(kāi)源和閉源沒(méi)有對(duì)錯(cuò)之分，更多取決于主體自身性質(zhì)和訴求。國(guó)內(nèi)大廠作為商業(yè)機(jī)構(gòu)，投入了大量成本訓(xùn)練模型，這也決定了他們需要考慮如何讓投資有回報(bào)的問(wèn)題；而智源作為政府支持的非營(yíng)利組織，主要訴求是對(duì)產(chǎn)業(yè)產(chǎn)生更多的技術(shù)影響，這決定了智源追求開(kāi)源，尤其是可商用的開(kāi)源生態(tài)。

只是，相比以商業(yè)目標(biāo)為主導(dǎo)的閉源生態(tài)，開(kāi)源系統(tǒng)還有更強(qiáng)的公共意義。

在封閉生態(tài)下，大企業(yè)很容易形成壟斷，甚至演變?yōu)榧夹g(shù)霸權(quán)。當(dāng)一項(xiàng)影響全人類命運(yùn)的技術(shù)僅僅掌握在少數(shù)商業(yè)主體手中，世界都將陷入巨大的不穩(wěn)定性中。開(kāi)源則能在一定程度上避免技術(shù)霸權(quán)。

但開(kāi)源也會(huì)然意味著谷歌、OpenAI等提供開(kāi)源內(nèi)核的企業(yè)在巨大的技術(shù)投入后很難得到相應(yīng)的回報(bào)，甚至讓企業(yè)生存難以為繼。

眾所周知，OpenAI也曾為開(kāi)源而生。但從GPT-3開(kāi)始，OpenAI便停止開(kāi)放模型源代碼；到GPT-4，更是連最基本的模型參數(shù)都沒(méi)公布。

會(huì)上，張宏江將未來(lái)是否會(huì)開(kāi)源的問(wèn)題拋向奧爾特曼，而奧爾特曼卻打起了“太極”：“隨著時(shí)間的推移，我認(rèn)為我們可能會(huì)期待更多的開(kāi)源模型，但我沒(méi)有具體的時(shí)間表。”奧爾特曼進(jìn)一步表示，開(kāi)源一切并不是最優(yōu)路徑。

曾有人推測(cè)認(rèn)為OpenAI走向“CloseAI”是因?yàn)槠浔澈蠼壎司揞^微軟，必須考慮商業(yè)回報(bào)。不過(guò)，在OpenAI的官方口徑中，閉源是出于安全考慮。

過(guò)去一段時(shí)間，奧爾特曼像一位AI安全的“布道者”，不斷呼吁全球各界人士重視AI安全。這一次也不例外。

3.控制AI是否為時(shí)尚早？

關(guān)于人類究竟應(yīng)不應(yīng)該盡早控制AI的問(wèn)題，專家們也始終爭(zhēng)執(zhí)不下。

一邊是以楊立昆為代表的樂(lè)觀派。

在他看來(lái)，超級(jí)人工智能確實(shí)存在安全風(fēng)險(xiǎn)，對(duì)此，各界可以通過(guò)謹(jǐn)慎的工程設(shè)計(jì)來(lái)減輕或遏制風(fēng)險(xiǎn)。但問(wèn)題在于，目前人類并沒(méi)有真正設(shè)計(jì)出超級(jí)智能系統(tǒng)，談?wù)摪踩蚩刂茊?wèn)題有些為時(shí)過(guò)早。

楊立昆舉了一個(gè)生動(dòng)的例子：“這就好像你在1930年問(wèn)航空工程師‘如何讓渦輪噴氣式飛機(jī)安全可靠’？工程師會(huì)說(shuō)‘什么是渦輪噴氣式飛機(jī)’？因?yàn)闇u輪噴氣發(fā)動(dòng)機(jī)在1930年還沒(méi)有被發(fā)明。”

另一邊，則是以?shī)W爾特曼、泰格馬克、辛頓等為代表的謹(jǐn)慎派。

“千里之行，始于足下。”在“AI安全與對(duì)齊”的分論壇上，奧爾特曼引用了《道德經(jīng)》中的一句話，來(lái)呼吁全球盡早邁出AGI治理最有建設(shè)性的第一步。

奧爾特曼表示，人工智能系統(tǒng)正在越來(lái)越強(qiáng)大，如果人類不做好規(guī)劃，一個(gè)原本設(shè)計(jì)用來(lái)改善公共衛(wèi)生的AI系統(tǒng)很可能提供破壞公共衛(wèi)生的建議；一個(gè)原本用來(lái)優(yōu)化農(nóng)業(yè)實(shí)踐的人工智能系統(tǒng)可能會(huì)無(wú)意中損害經(jīng)濟(jì)和資源的消耗，缺乏對(duì)長(zhǎng)期可持續(xù)性的考慮，從而影響食物生產(chǎn)和環(huán)境平衡。

因此，推進(jìn)AGI安全是全球?qū)ふ夜餐?chǎng)最重要的領(lǐng)域之一。首先，各國(guó)應(yīng)共同建立包容的國(guó)際準(zhǔn)則和標(biāo)準(zhǔn)，并在所有國(guó)家對(duì)AGI的使用中建立平等、統(tǒng)一的防護(hù)措施。其次，建立國(guó)際合作，以可驗(yàn)證的方式在全球范圍內(nèi)建立對(duì)越來(lái)越強(qiáng)大的AGI系統(tǒng)安全開(kāi)發(fā)的信任。

而在更具體的操作層面，“對(duì)齊”則是很重要的一步。

奧爾特曼表示，從GPT-4完成預(yù)訓(xùn)練到部署，OpenAI花了八個(gè)月來(lái)研究如何前置預(yù)判風(fēng)險(xiǎn)并給出對(duì)策的問(wèn)題。“GPT-4的對(duì)齊程度超過(guò)當(dāng)前所有的代碼。”

他進(jìn)一步表示，對(duì)于更高級(jí)的系統(tǒng)，對(duì)齊仍然是一個(gè)尚未解決的問(wèn)題。未來(lái)的AGI可能是一個(gè)十萬(wàn)行二進(jìn)制代碼的系統(tǒng)，人類很難判斷如此規(guī)模的模型是否在做一些損害人類社會(huì)的事情。因此，我們需要新的技術(shù)方法，并加強(qiáng)治理監(jiān)督。

奧爾特曼透露了兩個(gè)正在投資新的方向：

一個(gè)是可擴(kuò)展的監(jiān)督，嘗試使用AI系統(tǒng)來(lái)協(xié)助人類監(jiān)督其他AI系統(tǒng)。例如，訓(xùn)練一個(gè)模型來(lái)幫助人類監(jiān)督員找出其他模型代碼中的缺陷。

一個(gè)是可解釋性。我們希望更好地理解模型內(nèi)部發(fā)生的事情，我們最近發(fā)表了一篇論文，使用GPT-4來(lái)解釋計(jì)算機(jī)的復(fù)雜狀態(tài)。

麻省理工學(xué)院未來(lái)生命研究所創(chuàng)始人馬克斯·泰格馬克的觀點(diǎn)和奧爾特曼有異曲同工之妙。

在主題為《Keeping AI under control》的演講中，泰格馬克表示，要確保AI為人類服務(wù)而不是和人類作對(duì)，需要解決兩大問(wèn)題：

首先是對(duì)齊，讓單個(gè)AI真正按照其所有者的意愿行事。其次，是如何讓世界各地所有組織、公司、個(gè)人等保持一致，確保他們用AI來(lái)做正確的事。

在這次分享中，泰格馬克主要圍繞前者展開(kāi)討論。其中，讓機(jī)器具有可解釋性是關(guān)鍵。他將讓機(jī)器實(shí)現(xiàn)可解釋性分為三個(gè)層面：

首先，判斷機(jī)器的可信度。例如人在開(kāi)車時(shí)并不明白剎車的工作原理，但人們會(huì)相信踩下剎車板車就會(huì)慢下來(lái)。

其次，更好地理解機(jī)器，這會(huì)讓機(jī)器更值得被信賴。

最后，也是泰格馬克本人的志向，就是提取機(jī)器學(xué)習(xí)黑匣子中的所有知識(shí)，并將其在其他系統(tǒng)中復(fù)現(xiàn)，便能夠證明機(jī)器會(huì)按照人類的意愿做事。

泰格馬克用一些例子來(lái)解釋了最后一點(diǎn)，其中一個(gè)例子還反駁了楊立昆對(duì)自回歸模型中缺乏世界模型的批評(píng)。

他引用了一篇論文內(nèi)容，其中提到，研究者訓(xùn)練了一個(gè)transformer模型來(lái)預(yù)測(cè)奧賽羅游戲（一種比圍棋簡(jiǎn)單得多的棋盤游戲）的下一個(gè)動(dòng)作，他們并未告訴模型任何游戲規(guī)則，甚至沒(méi)讓模型知道這是一個(gè)棋類游戲。但機(jī)器的可解釋性發(fā)現(xiàn)，模型自己建立了一個(gè)8x8的二維世界模型，棋盤上還有棋子。

泰格馬克表示，這種能力也存在于其他大型語(yǔ)言模型中，例如人們?cè)谑褂冒俣鹊奈男囊谎曰騁PT-4時(shí)，會(huì)發(fā)現(xiàn)它們能夠?yàn)椴煌娜私＃凑帐褂谜叩娘L(fēng)格輸出內(nèi)容。

智源研究院院長(zhǎng)黃鐵軍也對(duì)「甲子光年」等媒體發(fā)表了自己的看法，強(qiáng)調(diào)了關(guān)注AI安全，應(yīng)對(duì)AI風(fēng)險(xiǎn)的重要性。

黃鐵軍認(rèn)為，目前，我們處在一個(gè)模糊的階段，他將其稱之為“Near AGI”，任何事情只要確定都是可以把控的，就怕不能確定。而今天，我們就處在一個(gè)不能確定的狀態(tài)。

“雖然我們認(rèn)為GPT-4還不算真正的AGI，但是其知識(shí)儲(chǔ)備量和融會(huì)貫通的能力已經(jīng)很強(qiáng)。這樣的‘Near AGI’比我們強(qiáng)嗎？超過(guò)我們的智能了嗎？今天論壇的所有嘉賓在報(bào)告中都沒(méi)有給大家一個(gè)確定的答案。并沒(méi)有明確說(shuō)‘NO’‘放心’‘今天的AI系統(tǒng)還不如人類強(qiáng)大呢’。這就是問(wèn)題所在”，黃鐵軍表示，“我們并不清楚地知道人工智能是不是已經(jīng)超過(guò)我們，不知道它何時(shí)會(huì)超過(guò)我們，該問(wèn)題處在一個(gè)完全無(wú)法把控的狀態(tài)。如果我們能夠像投資熱情那樣投入來(lái)應(yīng)對(duì)風(fēng)險(xiǎn)，至少還有一定把握未來(lái)的可能。但是，你相信人類能做到嗎？我不知道”。

4.人類和AI，誰(shuí)是未來(lái)世界的主宰？

大佬們之所以如此關(guān)注AI安全，核心是因?yàn)槿斯ぶ悄艿陌l(fā)展趨勢(shì)將直接影響到全人類的未來(lái)命運(yùn)。

有關(guān)AI顛覆人類的科幻故事不勝枚舉，甚至有不少人談“AI”色變。無(wú)論專家、從業(yè)者還是普通公眾，都迫切地想要知道：如果智能體比人類更聰明，世界會(huì)發(fā)生什么？

圖靈獎(jiǎng)得主、“深度學(xué)習(xí)之父”杰弗里·辛頓在閉幕演講中提到，超級(jí)智能可能會(huì)比預(yù)想中發(fā)生得更快。

不良分子可能會(huì)利用超級(jí)智能體操縱選舉等活動(dòng)。在美國(guó)和其他許多地方，他們已經(jīng)在利用它們進(jìn)行這些活動(dòng)，甚至可能會(huì)用于贏得戰(zhàn)爭(zhēng)。

如果要讓數(shù)字智能更高效，人們需要允許智能體制定一些目標(biāo)，而智能體實(shí)現(xiàn)這些目標(biāo)的大前提是擁有更多的控制權(quán)。辛頓認(rèn)為，目前很難想象人類該如何阻止數(shù)字智能為了實(shí)現(xiàn)更多目的而獲取更多控制權(quán)。

一旦數(shù)字智能開(kāi)始追求更多控制權(quán)，人類可能會(huì)面臨更多問(wèn)題。比如，在物理隔絕的情況下，超級(jí)智能物種仍然可以通過(guò)控制人類來(lái)輕易獲得更多的權(quán)限。

在辛頓的觀察中，這類人工智能已經(jīng)熟練掌握了欺騙人類的動(dòng)作。它可以通過(guò)閱讀小說(shuō)，來(lái)學(xué)習(xí)欺騙他人的方式，而一旦人工智能具備“欺騙”的能力，也就具備輕易控制人類的能力。

例如，如果超級(jí)智能體想入侵華盛頓的一座建筑，它不需要親自去那里，只需要欺騙人們，讓他們自認(rèn)為通過(guò)入侵該建筑物，就能拯救民主，最終實(shí)現(xiàn)目的。

現(xiàn)實(shí)世界中，也已經(jīng)出現(xiàn)了AI欺騙人類的先例。

據(jù)美聯(lián)社報(bào)道，6月9日，一名從業(yè)30年的紐約律師在其提交的法庭文件中使用了ChatGPT提供的案例，而這些案例中很多都是ChatGPT杜撰的，這導(dǎo)致這名律師面臨紀(jì)律聽(tīng)證會(huì)，甚至可能面臨處罰。

“這種操作令人感到害怕，因?yàn)槲乙膊恢廊绾巫柚惯@樣的行為發(fā)生。”辛頓擔(dān)憂道。

辛頓呼吁，希望年輕一代的研究人員可以找出一些更智能的辦法，來(lái)阻止超級(jí)智能體通過(guò)欺騙來(lái)控制人類的行為。

或許，人類的微弱優(yōu)勢(shì)是，這些智能物種都是由人類打造的，而非自然進(jìn)化的產(chǎn)物，也正因如此，它們可能不具備人類會(huì)競(jìng)爭(zhēng)、有攻擊性等特點(diǎn)。

為此，人類可以嘗試賦予人工智能一些倫理原則。但一個(gè)更讓人毛骨悚然的隱憂是，古往今來(lái)，主宰世界的往往是智能水平更高的物種。

在演講最后，辛頓留下了一則寓言式的警示：

“假設(shè)青蛙創(chuàng)造了人類，你認(rèn)為現(xiàn)在誰(shuí)會(huì)占據(jù)主動(dòng)權(quán)，是人，還是青蛙？”