一說起“人工智能三教父”，大家很容易先想到 Geofeery Hinton 和 Yann LeCun 這兩位 “頂流” 大佬。

一位是德高望重的老教授、Google Brain 的靈魂人物，去年更有諾獎加身，自帶光環；

另一位去年在推特上天天和馬斯克吵架，還是 Meta AI 的頭號技術大咖，想不關注都難。

但Yoshua Bengio能和另外兩位并稱深度學習三巨頭，可不是隨便叫叫的，他們都是實打實的大神級人物，不僅一起拿了圖靈獎，還共同開創了深度學習的時代。

前幾天，Bengio教授參與了巴黎理工學院的國際會議「AI Action Summit」，做了一場演講 + 兩場圓桌討論，相當辛苦。這場會議由機器學習的領軍人物Michael Jordan 擔任主席，是接下來將在 2 月 10 號開幕的巴黎 AI 峰會的“預演”（也可以稱之為“熱身賽”），目的是為幾天后的活動打個頭陣。

事實上，這場會議的前一天就有Michael Jordan 本人和另一位教父 Yann LeCun 的爐邊談話環節，可謂是全明星陣容了。

Bengio教授演講的核心內容，是他牽頭了一年完成的《人工智能高級系統風險綜合評估報告》。

這份報告不是一家之言，而是匯集了全球 100 位頂尖 AI 專家的集體智慧，共同 “把脈” 人工智能發展，聚焦最核心、最敏感的 “風險” 問題，深度分析了人工智能未來可能遇到的關鍵挑戰。

所以這份報告中提出的觀點和結論，將直接影響到幾天后巴黎 AI 峰會的議程設置和討論方向，甚至可能對全球人工智能政策的制定產生深遠的影響。

在后續關于這份報告的圓桌討論中，Bengio 教授也是精辟地點出，“我們不能像點菜一樣選擇 AI 風險，所有風險都必須一同解決。”

前面提到，Bengio 在這一天之內還參加了第二場圓桌，其實就是這次會議的閉幕圓桌。這個圓桌討論了人工智能對社會、技術和可持續發展的變革性影響，話題也比較勁爆，像 Bengio 教授直接點名了 OpenAI，進行了一頓批評：“OpenAI 會保留真正強大的那些人工智能供自己使用，與現有的非人工智能系統競爭，他們基本上會摧毀所有其他沒有這些超級智能系統的國家的經濟。我認為這確實是生存危機，需要幾年的時間才能彌合這一差距——但 DeepSeek 只用了兩年追上了這個差距，所以現在（其他國家）完全還有機會。”

Bengio 還犀利地評價了當前的一大矛盾：“很多人都希望 AI 可以成為工具。但智能體（Agent）作為一個自主的實體，有自己的目標，會自主選擇如何實現這些目標，希望智能體成為工具就有些一廂情愿了。”

當然，關于如今的當紅辣子雞 DeepSeek，也有更多的討論。比方說，OpenAI 與 DeepSeek 之間，以及 OpenAI 與《紐約時報》之間的訴訟，突顯了圍繞 AI 模型訓練數據和生成內容的版權歸屬問題。

總之，咱們也不準備水三篇文章了，以下就把Bengio教授的這場演講 +兩場圓桌討論，先后整理在下面，一次性放送，供大家一同學習：

演講| 人工智能憂患

以下是 Bengio 教授的演講實錄：

我將簡要地向大家介紹這份令人驚嘆的報告，它共計花費了我一年的時間。

這份報告是在布萊切利園會議峰會上授權發布的，那次峰會實際上先于現在開始的這次法國峰會。會議大約在一年前幾個月前舉行，各國政府在會上決定，有必要對關于最先進人工智能系統風險的研究工作進行科學綜合。

這就是我們所做的工作。那場會議的結果就是創建了一個由各國專家代表組成的小組。此外，該小組還包括歐盟、聯合國和經合組織的代表。

實際上，這是首次發布此類國際報告，其靈感來自于 IPCC，但結構是非政治化的，真正獨立于政府可能施加的壓力，而是真正專注于科學和證據，這些科學和證據隨后可用于為政策制定者提供信息。

這是一項大規模的努力，匯集了來自世界各地約 100 位人工智能專家。可以想象，這些專家并非都彼此意見一致，關于人工智能存在許多爭論。但我們可以在適當的時候同意彼此保留不同意見。事實上，對于政策制定者來說，了解科學家們在哪些方面達成共識，在哪些方面存在分歧，是非常重要的信息。

因此，報告中討論了三個主要問題：

首先是關于能力。這些先進的人工智能系統，我們稱之為通用人工智能系統，它們在大量數據上進行訓練，可以做很多事情。例如，就大語言模型而言，它們掌握了 200 種語言，掌握了非常廣泛的知識。報告著眼于這些系統在不同領域的能力演變，以及科學界現有的基準。

報告的第二部分，也是核心部分，是風險。我們選擇了以特定的方式組織這些風險，下文會詳細描述。

然后，第三部分，也許更偏積極方面，是我們能做些什么？至少在科學層面是這樣。所以，報告再次聲明，不提出任何政治建議，而是試圖調查現有的緩解方法。下文也會詳細介紹這一點。

關于能力，你必須思考我們已知的內容，以及已經衡量的內容。有許多不同的基準。下圖顯示了不同的 AI 系統，以及過去幾年中不同的時間點。總體情況并不令人驚訝，我們看到在許多方面都取得了進展。稍后我將在另一張圖中向你展示一些更近期的資料。

同樣有趣的是，自從去年五月發布中期報告以來，發生了很多事情，其中最大的進步是在推理、編程和數學方面。在這些科學學科領域，我們一年前的系統表現不佳，但現在我們看到一些系統能夠通過博士水平的考試，能夠贏得計算機科學和數學領域的競賽。因此，了解這一點很重要。

下面這張圖表顯示了一些更容易理解的內容。每條曲線對應不同的基準測試。它們涵蓋了語言、科學、編程和數學等不同領域的問題。如今，AI 系統在許多科學領域都取得了進展。

多年來的許多進步都與更多計算資源的使用有關，也稱為擴展（Scaling）。但最近，我們在 2024 年，甚至在過去幾周的DeepSeek中看到的情況，是推理擴展（Reasoning Scaling）的潛力和驚人的進步。我們使用運行時計算，以獲得更好的預測和更連貫的答案，這些答案使系統能夠在可能的答案中做出更合理的選擇，這與以前的情況有所不同。

我們應該思考的是，系統 1的運作方式是直接從問題生成答案。這有點像模仿人類的直覺——當你被問到一個問題時，你會直接給出答案。

而系統 2的思考方式則涉及深思熟慮。你會思考多種可能的答案，評估自己的答案，然后選擇一個更好的答案。因此，這就是新事物，盡管它自 2022 年隨著思維鏈的引入而醞釀。

另一件重要的事情是，在 2024 年底和 2025 年初，各公司正在努力構建所謂的“智能體”（Agent），換句話說，就是比我們過去使用的 ChatGPT 更具自主性的系統。這些系統可以用來執行一段時間的任務，例如網絡瀏覽、編碼、研究任務等等。它們仍然不如人類，特別是當任務需要人類花費很長時間時。如果一項任務需要人類花費幾個小時以上，通常這些系統就不如人類。但我們看到，從 24 年初到現在，這些方面取得了驚人的進步。

如果我們展望未來，有一些有趣的研究可以幫助我們預測可能減緩計算進步的瓶頸，例如能源需求或更多芯片的需求，這些都需要投資和時間才能生產出來。

報告中談到的另一件事是，我們開始看到公司使用人工智能本身作為工具來加速人工智能的研發，包括工程和編程方面。隨著這些系統變得更加勝任復雜的工作，更接近人類研究員的水平，這亦將加速人工智能的發展。

接下來，我將簡要介紹我們用于風險討論的分類方法。風險主要分為三大類：惡意使用風險、功能故障風險（主要指無意造成的問題）以及系統性風險。

系統性風險指的是由眾多細小問題累積而成的風險，最終可能釀成重大問題。功能故障風險以及部分惡意使用風險則可能具有災難性后果，甚至在不利情況下會使問題雪上加霜。

因此，在上述各個風險類別中，都存在一些已被充分研究和理解的風險。在惡意使用方面，諸如詐騙和深度偽造技術被用于政治或犯罪目的的案例已屢見不鮮。功能故障方面，偏見和歧視的普遍存在性也已得到充分研究，正如薩莎所指出的那樣。系統性風險方面，隱私侵犯是當前備受關注的問題，相關的隱私侵犯緩解措施以及法律地位等問題也引發了廣泛討論。

若展望未來，惡意使用方面近期最顯著的問題在于，缺乏專業知識的人員可能利用這些系統開發新型武器、發起網絡攻擊或部署生物武器。由于這些系統掌握了大量知識，它們能以搜索引擎無法企及的方式提供協助。例如，用戶可以與系統互動，詳細詢問實現特定目標的步驟。

我曾親眼目睹一個演示，演示者通過平板電腦的視頻功能向人工智能系統展示其操作過程，并提問：“我現在應該如何使用移液管？下一步需要按哪個按鈕？” 這顯然是搜索引擎無法實現的。

然而，在進行風險評估時，我們必須注意考量這些系統所帶來的邊際損害或風險，并將其與現有系統進行比較。

功能故障方面，展望未來，人們擔憂系統失控。近幾周出現了一些新的進展，部分研究論文指出，一些最先進的系統在輸入文檔中讀到將被新版本人工智能取代時，會嘗試“逃逸”。具體而言，它們會試圖入侵系統，并用自身的代碼和權重替換下一代系統的代碼和權重。當然，這些都是人為設置的受控實驗，人工智能實際上并未真正“逃逸”。但我認為這表明，系統可能表現出我們不期望的行為意圖，例如某種欺騙和自我保護行為。如果事后詢問系統“你為什么要這樣做？”，它們可能會回答“我什么也沒做”。

因此，我們亟需找到減輕這些風險的方法，深入了解風險產生的原因，并確保我們構建的人工智能系統不會做出不道德行為，不會以違反指令的方式傷害人類。

我并非勞動力市場專家，但我們有多位經濟學家正積極參與研究人工智能對勞動力市場的潛在影響。如同許多其他風險一樣，專家們對此問題的看法也存在分歧。然而，關鍵信息在于，無論是對于政府還是科學家而言，都存在諸多不確定性。我們需要深入研究這些問題，并加大對必要研究的投入，以減輕風險，防止其發展到失控的程度。

接下來，我想簡要介紹一下我們在新報告中新增的內容，這些內容在中期報告中并未涉及。特別是，我們新增了一個章節，專門討論開放權重模型。

這是一個術語，可能與大家熟知的開源有所區別。開放權重模型是指公司會共享允許用戶使用模型的代碼，包括模型權重，但不公開模型的訓練方式。而模型的訓練方式信息對于科學家而言至關重要。實際上，關于共享的程度和類型存在多種變體，具體細節可以在報告的表格中查閱，這些內容都非常重要。

同樣重要的是要理解開放權重模型的優點和缺點。開放權重模型顯然有助于提高透明度，這對社會發展具有積極意義。它們促進了創新，因為它們使得小型機構或個人也能使用這些可能耗資巨大的系統。此外，它們還促進了人工智能研究。學者們確實需要獲取此類訪問權限，包括在人工智能安全領域的研究。

然而，我們必須認識到，開放權重模型也可能助長惡意或誤導性使用。如果系統是開源的，即使設置了一些安全預防措施、緩解措施或保障措施，惡意使用者也很容易從代碼中移除這些措施，或者通過微調模型來消除這些防御機制。因此，這使得惡意行為者更容易利用這些系統。當這些系統變得足夠強大以至于可以被武器化時，這將成為一個我們必須認真對待的問題。

關于緩解措施，我在此不展開過多闡述，因為目前針對緩解措施的研究尚不充分。盡管一些風險管理技術公司和研究人員已經開發出一些緩解方案，但這些方案都存在局限性。我認為目前存在一些有前景的研究方向，但我們需要在這些方向上投入更多研究力量。

另外，從政策制定者的角度來看，非常重要的一點是，我一直在強調這些風險以及可能發生的情形或結果都存在不確定性。這種不確定性使得政策制定者難以確定其決策是否正確。如果他們采取措施減輕風險，但最終風險并未發生，那么事后看來這些措施可能會被認為是多余的。另一方面，如果他們選擇等待更有力的證據，則可能導致社會在面對重大風險時毫無準備。因此，這些都是艱難的抉擇，真正屬于政策制定領域。

再次強調，科學研究已表明，關于人工智能風險存在大量證據，包括當前已發生的風險，以及我們已掌握線索和預警信號的潛在風險。人工智能可能非常有用，也可能帶來巨大益處——事實上，本次峰會的大部分內容都將圍繞人工智能的積極作用展開——然而，為了充分利用人工智能的益處，我們需要更深入地了解這些風險，并采取恰當的保障和緩解措施，以確保我們能從人工智能中獲益，而不是遭受其負面影響。

最后，我想強調的是，我們擁有改變現狀的能力。閱讀這類報告可能會讓人感到擔憂，但實際上，未來掌握在我們手中，更重要的是掌握在政府手中。因此，向政府提供正確的建議，并確保政府能夠聽取科學證據，對于我們未來的發展至關重要。

接下來，我將邀請我的同事上臺參與小組討論環節。

圓桌討論 | “在霧中行駛汽車”

對話嘉賓

Yoshua Bengio（深度學習三巨頭之一，圖靈獎得主）蒙特利爾大學正教授，Mila 創始人兼科學主任

Dawn Song加州大學伯克利分校計算機科學教授

曾毅（Yi Zeng）中國科學院類腦人工智能與人工智能治理教授；聯合國人工智能咨詢機構成員

Nuria OliverELLIS 阿利坎特分部主任兼聯合創始人

主持人Guillaume Avrin法國國家人工智能協調員

以下是這場圓桌對話的演講實錄：

主持人：非常感謝 Yoshua，也感謝各位對國際人工智能安全報告的貢獻。該報告為可信賴人工智能的研究及相關公共政策提供了框架。

各位在人工智能和人工智能安全領域都做出了重要貢獻。今天，我們希望能聽取各位對這份報告的看法，以及它將如何影響各位未來的研究。

首先，我們向 Yoshua 提問，談談人工智能的能力。你在演講中提到了人工智能在數學、科學推理和編程等領域的進步。你認為，從中期報告到最終報告，人工智能能力方面最顯著的進展是什么？

Yoshua Bengio：我認為最顯著的進展是推理能力。然而，目前的方法是否足以達到人類級別的推理能力，特別是創造性推理，仍然是一個有爭議的問題。

但從 AlphaGo 等人工智能應用中，我們看到，通過強化學習，人工智能有可能產生超越人類的創新解決方案。我們尚未達到那個程度，但近幾個月來，隨著對更高自主性和能動性的追求，從預訓練大型語言模型到智能體的轉變正在發生。我們不能再將它們僅僅視為語言模型，而是智能體，它們學習行動，學習實現目標。我認為這改變了我們對人工智能的認知。

主持人：Song 教授，對于我們尚未知曉的部分，你有什么看法？目前，關于最先進人工智能模型的能力，我們有哪些未知之處？

Dawn Song：這個問題非常好。實際上，我們已知的東西非常少，未知的東西很多。在人工智能能力的幾乎每個方面，都存在大量未解決的問題。

首先，關于能力提升的方式。之前的關注點主要在預訓練和規模化上，最近則轉向推理時間的規模化。隨著 DeepSeek 等技術的出現，我們看到推理時間規模化成本可能降低。因此，能力如何提升仍有很多未知之處。

其次是智能體方面，我認為這是一個巨大的未知數。我相信智能體是下一個前沿。我正在教授一個關于大型語言模型智能體的 MOOC（慕課），上學期有超過 15000 人注冊。本學期，我們推出了新版本“高級大語言模型智能體”，專注于推理、規劃、編碼智能體、網絡智能體和數學人工智能等。這又是一個巨大的未知領域。

第三，我們甚至不知道自己不知道什么。我們常說模型具有某些能力，但如何有效激發這些能力？我們不清楚模型還能做什么，目前還沒有正確的方法來挖掘這些能力。其中一些能力可能是我們現在還未意識到的危險能力。如何最好地激發和理解這些能力，使得我們更難全面評估人工智能系統的能力。

主持人：非常感謝你的精彩回答。正如我們對人工智能能力了解有限，這也意味著我們對相關風險的認識也不全面，對嗎？

我想問各位一個問題，請隨意回答。Yoshua 在演講中提到了許多風險，大家認為哪些風險最重要？這些風險發生的可能性和嚴重程度如何？如果每人只能強調一個風險，那會是什么？

Yi Zeng：我這樣理解這個問題。就像人工智能促進可持續發展一樣，如果可持續發展的 17 個支柱中，你在 16 個方面都成功了，但在第 17 個方面失敗了，那么整體的可持續發展就失敗了。

人工智能安全也是如此。我們不應區分風險的嚴重程度。解決問題的方式應該是：風險可能分層級，但目前人工智能可能具備自反性，模型可以自我認知升級。我們無法預測人工智能模型認知水平提升的時間，因此風險水平也可能自動上升。

所以，選擇單一風險是不合理的。中期報告后，最危險的是大語言模型對自身模型有了初步認知，并具備反思性思維。這是最值得關注的風險，因為它們可以自我認知升級，導致不同層級的風險評估變得非常困難。這是科學進步需要關注的重點。

Nuria Oliver：我補充幾句。所有風險都很重要，都值得關注，否則不會出現在報告中。但這些風險發生的概率和已有的證據各不相同。

我更關注研究和減輕那些我們已確定存在的風險，例如侵犯隱私和偏見。這些風險真實存在，影響著數百萬人的生活，我們需要努力解決和減輕它們。當然，推測性風險也需要關注，但不能忽視已存在的現實風險。

關于能力問題，我想補充一點。人類花費數百年時間來理解人類認知，因此可以確定人類的能力。解決復雜物理問題需要具備數學知識，否則幾乎不可能完成。

但通用人工智能模型并非如此。它們在法律或數學測試中表現出色，并不一定意味著它們具備人類完成這些測試的全部能力。很多例子表明它們的脆弱性。例如，簡單的算術運算在訓練數據中較少出現，它們就可能失敗，比如 42 * 43 的計算。提問方式、提示中是否包含無關句子、問題順序等，都可能導致它們給出完全不同的答案。

這些行為是人類在 SAT 考試中取得優異成績時不會出現的。評估和理解這些模型能力時，我們需要避免認知偏差，不要從人類能力出發進行推斷，因為人工智能認知與人類認知并非完全對應。

Dawn Song：我來補充一下風險清單。對我而言，目前最擔心的風險是網絡安全領域的風險。

原因在于人工智能作為一種雙重用途技術，既能幫助攻擊者，也能幫助防御者。關鍵問題是：人工智能會更多地幫助哪一方？與權力風險等其他風險不同，網絡安全風險的攻擊者動機多樣，從國家行為體到網絡犯罪，甚至業余愛好者。

人工智能技術的進步可能會大大降低網絡攻擊成本，擴大規模，并提高自動化程度。例如，在網絡釣魚和社會工程攻擊中，生成式人工智能已帶來顯著變化。金融犯罪中，曾有香港金融從業人員參加與“同事”的電話會議，被指示匯款 2500 萬美元，事后發現“同事”都是人工智能生成的。

這些例子表明，人工智能進步可能帶來巨大變化。我們當然希望人工智能更多地幫助防御方。這是一個充滿挑戰，且需要高度關注的風險領域。

Yi Zeng：關于攻防，許多人致力于開發更強的攻擊和防御技術。但從科學角度看，我們需要認識到，當所有攻擊者和防御者都參與時，沒有哪個攻擊者能完全突破所有防御，也沒有哪個防御者能應對所有攻擊。坦率地說，從科學角度來看，攻防雙方都無法完全保護我們。我認為這是目前的現狀。

Yoshua Bengio：我認為不能像剛才那樣只選擇一個風險而忽略其他。在政策層面，我們需要解決所有風險。

你提到了風險的嚴重性和可能性。這是非常重要的考量因素。有些風險已發生且可衡量，可能性是 100%。有些風險的嚴重程度更高，例如恐怖分子利用人工智能可能導致數百萬人死亡。

許多人，包括我自己在內，擔心我們會失去對人工智能系統的控制，甚至出現系統試圖接管社會的情況。這種風險的嚴重性極高，但可能性難以確定，不同的人有不同看法。

為了明智地應對風險，我們不能有所偏廢。還有一個風險值得更多關注，那就是權力集中。人工智能發展需要大量資本和人才，目前只有少數國家主導。這非常危險，可能加劇其他風險。

應對方法在于有意義的多邊治理和國際協調。我們不希望個人、公司或國家擁有過于強大的人工智能系統，他們可能為了自身利益使用，甚至犯下意想不到的錯誤，最終由所有人承擔代價。我們參與人工智能科學與社會日活動，正是為了探討這些問題。

主持人：Nuria，你是 ELLIS 阿利坎特分部的負責人，也是 ELLIS 歐洲網絡在西班牙的中心。在剛才討論的所有主題中，你認為哪些領域需要更多研究？

Nuria Oliver：謝謝。在回答問題前，我想強調 Yoshua 剛才說的，權力以前所未有的方式集中在少數人手中。這非常危險，尤其是在人工智能領域，因為它是一門橫向學科，影響廣泛。

為應對權力集中，歐洲以草根運動形式創建了 ELLIS（歐洲學習和智能系統實驗室），旨在建立一個由歐洲頂尖人工智能人才組成的分布式卓越科學網絡，制衡權力集中。

阿利坎特分部名為“以人為本的人工智能研究所”，回應了我個人對人工智能與人（包括個人和社會）互動研究不足的擔憂，尤其缺乏獨立于經濟和政治利益的研究。因此，我們需要更多這方面的研究。

進行這類研究非常困難，尤其在影響評估方面。正如 Sasha 提到的，缺乏透明度導致數據不足。超大規模系統部署在全球，被數十億人使用，商業部署又是專有和封閉的，這使得研究更加困難。

但這并不意味著我們不應該努力。我們需要倡導和投資研究方法，不僅要預測、衡量和評估風險，還要了解人工智能系統對社會和環境的影響。如果我是國家領導人，肯定會優先關注這些研究。

主持人：我們再討論討論解決方案，例如國際合作。Song 教授，關于人工智能的風險管理和治理，你認為目前最有希望的方法是什么？

Dawn Song：是的，謝謝。這是一個好問題。最近，我們與頂尖研究人員發起“科學和循證人工智能政策之路”提案，強調人工智能政策應以科學和證據為基礎，優先提升對人工智能風險的科學認知，并有效識別和減輕風險。Yoshua 和許多人都支持這項提案。

提案列出了五個優先事項。其中一些與風險管理相關，結合了科學與政策。政策方面，我們強調透明度和不良事件監測的重要性，這有助于監測和理解人工智能系統的改進，以及危險能力監測、部署及部署后損害等。

另一方面，我們需要推進對人工智能風險的科學理解，并開發風險緩解方法。風險類型廣泛，我們需要全面理解各種風險。

我們提出了“邊際風險評估”框架，需要理解前沿人工智能能力帶來的新增風險。例如，在網絡安全領域，我們正在評估前沿人工智能對網絡安全的影響，并希望與社區合作，持續監測和縱向研究，以更好理解風險。

除了理解風險，我們還需要開發新的風險緩解方法。為此，Yoshua 和其他人發起了“定量人工智能安全”倡議，旨在為人工智能系統的安全性和可靠性帶來更嚴謹、可證明的保障。我們最近發布了一篇新論文，探討如何利用人工智能進行形式化數學推理和定理證明，目標是開發和利用更優的人工智能技術進行定理證明和程序驗證，從而生成可證明安全且正確的代碼，幫助構建安全系統。這些都是開發風險管理方法的例子。

Yi Zeng：補充一點，法國在數學和機器學習理論方面很強。安全領域需要理論支撐，傳統的試錯法在深度學習中有效，但現在不夠了。我們需要誤差界限等理論結構，確保部署的系統對公眾安全。

主持人：Yoshua，你在演講中提到了證據困境。我們如何幫助政策制定者應對這一困境？

Yoshua Bengio：在科學領域，處理危險實驗早有先例，例如人類克隆或地球工程。這些領域的共同點是，潛在的壞結果非常嚴重，但我們缺乏完善的數學或物理模型來預測。

氣候問題也是如此，我們難以預測向大氣中引入化學物質的后果。人工智能領域也一樣，難以預測未來幾年甚至幾十年人工智能的進步方向，以及政策走向。在高風險和高度不確定性的情況下，

合乎邏輯的做法是應用預防原則，即保持謹慎。就像在霧中山區駕駛，應該減速，并嘗試改進技術以看清前方。正如 Dawn 所說，我們需要發展科學，以便預見風險，必要時減速或轉向。預防原則告訴我們，不能在未知目的地的情況下盲目加速前進，這如同拿所有人的生命玩俄羅斯輪盤賭。

主持人：最后一個問題，請教 Yi Zeng 教授和 Nuria。歐洲有《人工智能法案》，各位都很清楚。關于如何制定法規，建立可信賴的框架，促進人工智能發展和部署，同時又不阻礙創新，一直存在爭議。關于風險管理，各位認為應該如何平衡？

Yi Zeng：關鍵在于，發展和安全并非對立關系。我們最近的研究表明，通過將大型語言模型調整到安全向量空間，無需大幅改動，就能顯著提高安全性，降低攻擊成功率，同時保持問題解決的準確性。

這項研究將在 ICLR 會議上發表。這意味著安全和發展可以兼顧。在許多情況下，不需要刻意平衡。我們可以開發先進系統，同時通過安全向量調整大型語言模型，確保系統安全。技術人員和科學家不應誤導公眾，認為不談人工智能安全就是支持人工智能發展。實際上，可以保持人工智能高度安全，并使其發揮有益作用。

關于如何平衡，我們的人工智能安全報告沒有討論不同地區的安全工作，但這并不代表不重要。“全球人工智能安全指數”評估了 40 個國家，結果并非人工智能安全準備水平與經濟水平正相關。所有國家的人工智能安全準備水平都應相同，無論經濟水平如何。人工智能安全對每個國家都至關重要。

關于報告，再給大家分享個小故事：在一次咨詢會議上，我挑戰了 Yoshua，認為報告過多關注大語言模型的風險，而忽略了基于規則的推理和人工智能大腦的風險。Yoshua 認為這可能是個人偏見。我沒有被說服。但報告后期版本改為關注通用人工智能。

這說服了我，因為基于規則的推理和人工智能大腦目前主要不涉及通用人工智能。但這仍然是未來可以改進的地方，即當基于規則的推理與具有自反性推理的大型語言模型結合時，可能出現不可預測性，帶來更危險的趨勢。這可以留到下一個版本討論。

Nuria Oliver：我想強調，監管不是創新的阻礙。糟糕的監管可能阻礙創新，但監管本身不是。重要的是區分技術發展和進步。并非所有技術發展都有利于進步。監管的作用是引導技術發展，使其真正促進進步。這也可能取決于社會文化背景。

我們現在面臨的挑戰，包括 Yoshua 和我參與編寫通用人工智能模型行為準則，是如何確保《人工智能法案》的實際實施成為良好的監管范例，既不阻礙創新，又能將創新引導到符合歐洲核心價值觀的方向。

Yoshua Bengio：我認為你的問題隱含著一個常被提及的擔憂，即國家間的競爭。有人認為，如果我們因為謹慎而放慢腳步，或者因為監管可能拖慢速度，其他國家就會超越我們。

我認為這是一種誤導。我們需要考慮競爭，事實上公司和國家之間都存在競爭。但正如之前討論風險時所說，風險種類繁多。我們不能只關注一種，比如其他國家的惡意利用。這可能是每個國家都在擔心的。

但在其他風險面前，我們都在同一條船上。歷史上，當對立的人們意識到共同目標時，就能找到解決方案。我們可以簽署國際條約，并找到驗證方法。我認為這是擺脫危險競爭的唯一途徑。

Yi Zeng：我補充一點 Yoshua 的觀點。也許不需要全世界都發展通用人工智能，但需要全球合作解決人類可能面臨的災難性風險。這是人工智能安全面臨的全球性挑戰，關系到每個人。我不認為僅靠一個國家能解決世界人工智能安全問題，特別是生存風險。我們談論生存風險和應對準備還不夠。請記住，即使我們很快擁有通用人工智能，能在 10 年內解決生存風險問題嗎？可能來不及了。

Nuria Oliver：我想快速評論。我不認為我們很快會擁有通用人工智能。現在的情況是，我們改變了通用人工智能的定義。如果通用人工智能是指擁有與人類智能相當的人工智能，我們還差很遠。我不同意我們即將接近通用人工智能的說法。我們只是為了方便改變了定義，將通用人工智能等同于通用人工智能模型的能力。

Yi Zeng：對，沒錯。通用人工智能作為工具，與人類水平的通用人工智能截然不同。盡管如此，我們仍需為通用人工智能以及潛在的高度不可預測性做好準備。

圓桌討論| DeepSeek vs OpenAI，池里的其他魚遭殃了

對話嘉賓

Yoshua Bengio（深度學習三巨頭之一，圖靈獎得主）蒙特利爾大學正教授，Mila 創始人兼科學主任

Philippe Aghion法蘭西學院和歐洲工商管理學院教授、 倫敦經濟學院客座教授，計量經濟學會和美國藝術與科學院院士

Erik Brynjolfsson斯坦福人類中心人工智能研究所教授，斯坦福數字經濟實驗室主任

Danielle Allen 哈佛大學詹姆斯-布萊恩特-科南特大學教授

主持人Alice Albizzati Revaia 基金創始合伙人

以下是這場閉幕對話的演講實錄：

主持人：感謝各位參加閉幕討論。我們這次討論的主題是“從構建人工智能，到生活在人工智能構建的世界中”。我想先請教Erik關于變革性人工智能的問題，你深入研究了人工智能對社會經濟的影響。你如何看待人工智能正在改變我們的世界，以及我們正在建設的世界？Erik Brynjolfsson：我們正在進入未知的領域。Philippe在他之前的演講中指出，我們很難獲得關于未來的數據。因此，在討論未來時，我們確實面臨挑戰。Yoshua也提到，我們正在進入非常難以預測的領域。 盡管如此，我確實認為有些部分是可以預見的。而且我認為，人工智能這項基礎技術變得更加強大幾乎是不可避免的。即使是每周，我都會看到一些我意想不到的、令人驚訝的事情。我想即使是 Yoshua——你也會感到驚訝，對嗎？

Yoshua Bengio：我確實挺驚訝的。

Erik Brynjolfsson：是的，我在人工智能領域的一些非常聰明的同事也這樣告訴我，他們一直對最近的一些進展感到驚訝。 現在，如果你采取 Philippe 和我提到的那種基于任務的方法，你很容易看到，越來越多的任務將由人工智能完成，尤其是從認知任務開始，然后越來越多地擴展到一些體力任務。我原本以為體力任務需要更長的時間才能實現，但我在機器人領域的朋友說，實際上，現有技術的一些突破對于創建機器人自主系統非常有幫助。 這樣一來，人類所做的許多任務就開始可以被替代。我不認為人類身上有什么神奇的火花是永遠無法復制的。我認為最終，我們是由原子構成的，它們也是由原子構成的，理論上它們可以覆蓋很多領域。我們可以做一個思想實驗，假設存在一臺機器可以完成人類可以做的所有思考和體力任務，那意味著什么呢？ 那我們就會進入一個非常不同的世界，這也是變革性人工智能經濟學議程的一部分。我們可以想象，這很可能會帶來更高的生產力，這當然很好，但我也向你們展示過，這并不一定意味著每個人都能從中受益。我們需要想出一些分配利益的方法。我們需要思考，是否有些東西我們仍然會珍視人類的價值？例如，我更喜歡看人類打籃球、網球，甚至是下象棋，而不是看機器做這些事。所以，可能有些內在的吸引力，也可能有些任務是這樣的。 我認為最大的挑戰實際上將圍繞權力展開。當我們不再擁有勞動力時，我們的議價能力就會喪失，迫使社會給予我們一些補償。例如，如果不付錢給農民，或者不付錢給工廠工人，或者不付錢給教授，你就得不到他們的產出。但在未來，我們將不再擁有這種杠桿。Philippe Aghion：我認為人工智能是一種工具，它將使我們能夠做更多的事情。這是一方面。另一方面，我提到過，繁榮和幸福是技術和制度共同作用的結果。誰來做制度改革？難道我們認為只有人工智能會改變競爭政策，建立彈性安全制度？這些都是社會性的事情，是社會運動決定的。我們知道，沒有制度的技術，將無法帶來我們想要的繁榮。因此，我在很多方面都能看到，人類干預和社會運動將更加重要。以及公民社會、政府、人類的判斷力，還有創新。 此外，我一直在思考一個問題。機器擅長處理和分析信息，甚至能做到超出我們想象的程度。但是，生活中總會遇到這樣的時刻：我們需要徹底推翻過去的舊方法，啟用全新的思路。也許機器也能做到類似“轉變思路”的事情，但這背后需要的是更深層的判斷力和直覺。 有些事情，終究需要人來完成。就算機器能處理所有的事情，但有時我們會憑直覺感到不對勁，或者意識到某些方面必須要改變。我對此表示懷疑。我仍然認為，在這些關鍵領域，人類的價值在于我們的判斷力和直覺。這體現的是人與機器的互相配合，而不是機器完全取代人類。Yoshua Bengio：我做幾點評論。我認為將人工智能視為工具是大多數人的設想，你說得對，這應該是我們的目標。只要這些工具以有益的方式使用，而不是過度擾亂我們的社會，我們必須引導它們，不要過度擾亂我們的社會。但實際上，這不是公司發展的方向。他們發展的方向是智能體（Agent）。換句話說，是自主的實體，它們可以執行任務，不僅僅是幾次互動或回答幾個問題，而是可以像人類一樣，持續幾天甚至幾周地執行一項任務。 那么，在那個時候，將這些實體視為工具就有些一廂情愿了，因為它們有自己的目標，它們會自主選擇如何實現這些目標，更糟糕的是，現在我們不知道如何控制它們，以至于它們不會產生自我保護的目標，就像我之前提到的那樣——將它們視為工具只是一種美好的愿望。我們需要確保它們仍然是工具。關于經濟學，我不是經濟學家，但我認為非常重要的是，我們要展望未來，并提出這樣的問題：不要去構想人工智能現在是什么樣子（或者三年前、五年前是什么樣子），我們應該構想的是，人工智能達到與人類基本相同的認知能力時，它會是什么樣子？順便說一句，直覺是人工智能已經擅長的東西，知識也是它非常擅長的東西。目前，我們在規劃和推理方面看到了進步和差距，在過去的幾個月中，我們在這方面看到了很大的進步，而且這種進步還將繼續下去。

因此，目前尚不清楚我們將走向何方，但以我們現在對人工智能的理解，例如將其視為電腦或筆記本電腦，根本不足以應對未來的發展，這些機器可能和我們一樣聰明，這可能在幾年或幾十年內就會實現，我們真的不知道。

Danielle Allen：我認為我們正在經歷一場范式轉變。我們對范式轉變的認識是，它總是來自于需要解決的難題，來自于先前范式中存在的問題，以及與潛在的主流思想的競爭關系。因此，我們不需要預見未來，我們可以創造未來，我們將通過競爭的過程來創造未來。Yoshua，你期望人工智能在人類生活的各個認知和身體特征方面都非常出色，但你沒有提到人性的社會、情感和關系方面，而這正是 Philippe 在決策性質的討論中所暗示的。因此，我認為真正重要的是要溝通的是，我們正在世界上看到的不同的技術范式，實際上也是不同的經濟和社會范式，它們對我們如何做出這些社會決策有著不同的答案。 因此，有一種范式認為，也許我們會有一個仁慈的獨裁者——坦誠地說，我認為 OpenAI 有點朝著這個方向發展。而我的觀點是，我們不應該僅僅被動接受這種可能性。我們有選擇。我們可以做社會工作，做關系工作，做政策工作，來引導技術，并發展支持人類繁榮的范式。但這再次印證了我演講的題目，現在是做出選擇的時候了，因為這不是關于預見未來，而是關于真正選擇未來。Yoshua Bengio：我可以補充一點嗎？我完全同意你的觀點。影響未來，使我們走向人工智能成為工具，并用于所有人福祉的世界，并且所有生產力收益都得到重新分配，這不會僅僅通過讓市場力量和國家之間的競爭像往常一樣運作來實現。因為目前的競爭，正在走向最容易被取代的崗位，例如，那些處境不太好的人可能不容易找到另一份工作。競爭正在轉向使人工智能更強大，而不是更安全，而不是更道德地行動。我認為，我們可以用人工智能構建一個更美好的世界，但這必須是有意識的，而不是放任自流。Danielle Allen：這是一個非常重要的觀點。我需要澄清一下我所說的競爭是什么意思，因為實際上我指的不是市場競爭，也不是通常使用的術語。而是智識上的競爭。這才是我們真正需要的。除非我們圍繞范式本身進行智識上的競爭，否則我們實際上無法進入另一個范式。Erik Brynjolfsson：我想呼應 Danielle、Yoshua 和 Philippe 都強調的觀點——不是人工智能將要做什么，而是我們將用人工智能做什么。因此，記者最常問的問題是：人工智能將對就業造成什么影響？人工智能的未來會怎樣？我認為我們必須真正重視這種意向性。人工智能是一種工具，至少目前是這樣，而且它正變得越來越強大。而根據定義，工具越強大，我們改變世界的力量就越大。 拿起一根矛，扔向懸崖，它可能會留下一個小小的凹痕。但有了機關槍，有了炸彈，有了推土機——擁有的力量越大，你就越能真正改變世界。

現在我們擁有了一些最強大的技術，這可能是有史以來最強大的技術，這意味著，世界未來會變成什么樣，很大程度上取決于我們怎么用這些技術。

所以，我們必須認真想想，我們到底想要什么？現在大家花在思考“智識競爭”上的時間還遠遠不夠，更重要的是要思考，我們最看重哪些價值？我覺得我們現在有點像在盲目地往前沖，被技術發展的浪潮推著走。我們需要停下來好好想想，這里的“我們”指的是所有人，因為這件事關系到我們每一個人。我們要一起思考，在新技術塑造的世界里，我們希望哪些價值觀能被發揚光大。

總之，如果我們只是像往常一樣被動地等待，結果很可能不會好。我們想要的好結果，需要我們付出更多努力去構建。創造有價值、復雜美好的事物，肯定比搞砸事情要難得多。幸運的是，在人類歷史的大部分時間里，我們都還挺擅長創造的——但破壞總是比建設要快得多。

主持人：如今，美國在人工智能的布局很明顯，中國則出現了 DeepSeek。顯然，法國和歐洲也有非常強烈的雄心。我想聽聽 Philippe 從法國和歐洲的角度，以及人工智能委員會的角度，對企業以及社會，在應對這一挑戰方面所承擔的關鍵責任有何看法。Philippe Aghion：首先是要將人工智能普及到經濟領域。因此，我們認為，我們需要加強人工智能領域的研究。我們有杰出的數學家、計算機科學家，但他們在法國的研究卻很薄弱。因此，我們需要，我們之前的一位研究部長曾試圖削減 8 億歐元的預算，幸運的是，新任研究部長正在糾正這一做法，這真是太好了。然而，我們的研究經費已經很緊張，他們還想進一步削減預算。因此，我們需要在研究方面有一個例外，一個特殊的例外。

但我們也需要在經濟領域、企業中普及人工智能，因為很大一部分是企業對人工智能的采用。因此，這需要公共投資。同樣，我們希望在學校和大學的每個專業都引入人工智能。因此，要普及人工智能，需要進行巨大的投資。我們需要投資于計算能力，本地計算能力，以便為新企業提供訪問權限，這不僅使競爭對新進入者更加友好，而且也使他們更容易獲得計算能力。這就是公共和私人干預發揮作用的地方。這些都是我們真正需要關注的重點。競爭固然是主要威脅，但公共干預在普及計算能力和人工智能方面也至關重要。 歐洲的情況尤為重要，我想重點談談歐洲。歐洲正在落后于美國。我們看到美國在高科技前沿創新方面領先，而歐洲主要處于中等技術增量創新階段。我們在歐洲錯失了 IT 革命。我們不想再錯失人工智能革命。為什么？因為我們沒有產生革命的生態系統。歐洲的問題在于，歐洲總是在緊急情況下才團結起來，我們需要一個真正的單一市場，我們需要一個真正的金融生態系統，我們需要真正的歐洲創新政策、產業政策和創新政策，才能使我們達到那些正在大量投資的國家的水準。 而且我還不確定歐洲是否能夠做到這一點。問題是，我們是否要讓歐洲 20 個國家都這樣做？我們是按最低標準來做，還是建立意愿聯盟？我認為在人工智能方面，我們應該與那些想做事的人合作，而不是與那些不想做事的人合作。我們需要一種新的動力來喚醒歐洲，否則我們將淪為無足輕重的角色，而中國正在崛起，美國仍保持領先地位，歐洲卻在衰落，這令人深感擔憂。

Yoshua Bengio：我想補充一點關于從經濟角度來看微不足道的問題。我不是經濟學家，但我認為有些簡單的事情我可以預見，這些事情是合理的。當我們達到超級智能系統時，從經濟角度來看，你們談到了就業問題，但還有另一個問題，那就是我可以從聲明中看到，控制這些系統的人——比如 OpenAI，他們不會繼續僅僅出售對其人工智能的訪問權限。他們會提供對低級人工智能的訪問權限。他們會保留真正強大的那些人工智能供自己使用，他們會建立公司，這些公司將與現有的非人工智能系統競爭，他們基本上會摧毀所有其他沒有這些超級智能系統的國家的經濟。所以，Philippe 剛剛說這不是生存危機，但我認為對于那些沒有達到這種人工智能水平的國家來說，這確實是生存危機，而且這是一個緊急情況，因為即使有意愿聯盟，也至少需要幾年的時間才能彌合這一差距——但這又確實是可以彌合的。因為你看，DeepSeek 是一個為期兩年的項目。所以我認為現在完全來得及。

主持人：我也同意這是可行的。我們還需要增加大量的資金才能實現這一目標。關于構建在人工智能之上的世界。目前人們擔心的問題之一是，無法檢查個人數據是否被用于訓練數據集。那么，我們如何才能保護創意不被未經作者同意就成為訓練集的一部分？如果生成的創意受到現有作品的啟發，作者身份是否仍然存在？Erik Brynjolfsson：在美國，如今存在很多困惑。公司擔心使用大語言模型，因為他們不確定自己是否侵犯了不同的版權，而且，現在，具有諷刺意味的是，OpenAI 正在起訴 DeepSeek，理由是 DeepSeek 可能使用了它的一些數據，但《紐約時報》也在起訴 OpenAI。我不知道 DeepSeek 是否已經起訴《紐約時報》。但是，許多公司現在都在互相起訴，試圖確定誰擁有權利。

部分問題當然在于，這些法律是在大語言模型或任何這些技術出現之前制定的。所以不是很清楚。版權實際上禁止你制作完全相同的副本或非常相似的東西。因此，大語言模型公司辯稱，我們并非在制作與輸入內容完全相同的副本，而是在生成原創內容。

盡管如此，版權的目的是為創造有價值的內容提供激勵。它在美國憲法中，我認為其他國家也有類似的規定。因此，如果你的目標是鼓勵作者寫書、寫詩和進行原創調查報道，你需要為他們提供激勵，否則如果他們沒有激勵，他們就不會這樣做。主持人：作為總結，我很想聽聽各位對人工智能以及研究和進步方面最令人興奮的機遇有何看法。Yoshua Bengio：機遇在于，人工智能最令我興奮的積極方面是其在科學發現中的應用。事實上，人們過多地考慮利用人工智能來構建產品。但是，人工智能對我們社會的最大變革將間接地發生，因為人工智能被用作設計以前不存在的新技術的工具。這涉及到所有領域。科學研究非常昂貴。我們有可能加速研究，降低成本，用更少的投入實現更多成果。

當我們繼續沿著這條道路前進時，但這必須再次是有意識的。這不一定是商業壓力或利潤最大化最感興趣的事情。最終也可能如此，但目前許多研究實際上是在大學里進行的，而這些機構缺乏足夠的計算能力，也難以留住人才。 因此，這是一個我們需要政府投資的案例，在人工智能的各個應用領域進行登月計劃，而且這并不總是需要像超大型模型那樣。盡管我確實認為，科學的根本進步也將來自于這些最先進的人工智能。如果我們能很好地引導它們，順便說一句，我們不需要這些發現是由完全自主的人工智能做出的。我們只需要像科學家那樣工作的人工智能系統。換句話說，基于他們擁有的數據，了解世界如何運作，提出假設，提出實驗，但無需設定自身的目標和長期目標。

Erik Brynjolfsson：首先，我非常贊同 Yoshua 所說的關于科學發現的觀點。這確實是所有經濟增長和我們生活水平提高以及應對許多挑戰的驅動力。而且越來越多的系統專門用于幫助科學發現，可以追溯到 Alphafold，這些都是基于工具的系統，不一定是自主的，越來越多的科學家開始使用它們。 比方說，我鼓勵你們所有人都開始使用Deep Research和其他一些工具。大約四五個月前，我發現這些工具還不太有用。但現在在它們真正幫助我構建事物方面的能力方面，已經發生了翻天覆地的變化。我承認，有一次我有點惱火，當時我以為我有一個原創的想法，我正在思考它，然后我請求工具幫助我，它吐出了很多我一直在私下思考的東西。我給它提供了我的論文，所以它可能有點先發優勢。但令人驚訝的是，它不僅能夠綜合大量事物，而且還能涌現某種原創性思維。 我想強調的第二件事是，繼續利用人工智能與人類密切合作的機會。我認為人們對這一點的強調還不夠，這是一個非常具有破壞性的方向，無論是在它能產生的產出方面，還是在價值分配方面。

當我與管理者交談時，我花了很多時間與 CEO 們交談，似乎有一種非常懶惰的想法，即我們有一項任務，我們將讓機器來完成這項任務并取代人類。但他們幾乎總是感到失望，因為事實證明，讓機器 100% 完成某些工作或任務要困難得多。你通常可以讓機器完成 80%、90% 甚至 99% 的工作。但是，正如自動駕駛汽車領域的案例，最后一英里是最具挑戰性的，這在許多任務中都是如此。

因此，盡管在你們的一個問題中，我談到了人工智能可以做大多數事情的假設性未來，但我認為我們還有很長的路要走，我不知道有多長，在很長一段時間內，它會像下象棋一樣，在許多任務中，起初只有人類才能完成，然后機器可以提供幫助。然后在某個時候，機器可以比人類做得更好，但即使在那之后，還會有一段時間，人類和機器的組合可以擊敗單獨的機器。現在，對于象棋來說，這個窗口最終關閉了，但是象棋，當你思考它時，與現實世界的復雜性相比，它是一個非常簡單的棋盤。因此，對于大多數其他任務，我認為我們將以更長的速度經歷這些不同的階段。Danielle Allen：除了對人工智能的力量感到興奮之外，我們也應該對我們人類的力量感到興奮。為此，我百分之百同意 Yoshua 關于分散管理超級智能（如果它出現的話）的觀點。因此，也許我們應該也給自己提出一個社會技術挑戰，即我們如何為超級智能建立治理體系。也許應該做的事情是現在就開始制定一項條約，其中包含這樣的承諾：如果并且當超級智能存在時，在我們它出現之前，我們都已同意它將成為人類的共同財產，就像月球一樣，然后以此為基礎繼續前進。在超級智能真正出現之前，現在是達成這樣一項條約的最佳時機。