基辛格在《大西洋月刊》發表的一篇題為《How the Enlightenment Ends》的文章中指出，從哲學、理性，以及各個方面來說，人類社會對人工智能的興起都毫無準備。人類現在必須要開始做出努力了，不久我們就會發現我們開始得太晚了。

前美國國家安全顧問和國務卿亨利·A·基辛格

壹

三年前，在一次跨大西洋問題會議上，人工智能的主題出現在議程上。我當時正準備跳過那次會議——這畢竟不是我通常關心的問題——但是演講開始了，我只好坐在我的座位上。

演講者描述了一個很快就會挑戰圍棋國際冠軍的計算機程序。我很驚訝一臺計算機能夠掌握圍棋，它比象棋還要復雜。根據圍棋的規則，每個玩家分別持有180或181個棋子(取決于他或她選擇的顏色)，交替放置在最初空白的棋盤上；想要取得勝利，就要通過做出更好的戰略決策，控制棋盤上更多的領土。

演講者堅持認為，這種能力不能預先編程。他說，他的機器學會了通過實踐來訓練自己掌握圍棋。考慮到圍棋的基本規則，計算機與自己進行了無數次對弈，從錯誤中吸取教訓并不斷完善算法。在這個過程中，它超越它的人類導師所掌握的技能。的確，在演講之后的幾個月里，一個叫AlphaGo的人工智能項目就擊敗了世界上頂級的圍棋選手。

我聽到演講者慶祝這一技術進步的時候，我作為一名歷史學家和偶爾從事政治活動的經驗，讓我有些躊躇。自我學習機器——通過特定過程獲得的知識機器——并將這些知識應用于超出人類理解范疇的終結，會對歷史會產生什么樣的影響？這些機器會學會彼此交流嗎？如何在新出現的選擇中作出選擇？人類歷史是否有可能走上印加人的道路，面對著一種不可理解的、甚至令人敬畏的“西班牙”文化？我們現在是處于人類歷史新階段的邊緣嗎？

由于意識到我在這一領域缺乏技術能力，我組織了一系列關于這一主題的非正式對話，并得到了技術和人文科學專家的建議。這些討論使我的擔憂有所增加。

迄今為止，對現代歷史進程改變最大的技術是在十五世紀發明的印刷術，這種發明使人們能夠尋求實證知識來取代禮拜儀式，并使理性時代則逐漸取代了宗教時代。個人洞察力和科學知識取代了信仰作為人類意識的主要準則。信息被存儲在不斷擴大的圖書館中，并被系統化。理性時代起源于塑造當代世界秩序的思想和行動。

但是，這種秩序現在正處于動蕩之中，因為一場新的、甚至更為廣泛的技術革命出現了，我們并沒有對其帶來的后果有充分的考慮，最終的結果，可能會誕生一個依靠數據和算法驅動、充滿機器的世界，受倫理或哲學準則約束的世界將會消亡。

貳

在互聯網時代，我們已經生活在了一些問題之中，而人工智能只會使這些問題更加尖銳。啟蒙運動試圖將傳統的真理交給人類理性。互聯網的目的，是通過積累和操縱不斷擴大的數據對知識進行評級。人類的認知失去了它的個性。個體轉變成了數據，而數據則成了規范。

互聯網用戶強調檢索和處理信息，而不是其意義置于背景或概念上。他們很少會質疑歷史或哲學；一般來說，他們需要的信息與他們當前的實際需要相關。在這一過程中，搜索引擎算法獲得了預測個人用戶偏好的能力，使得算法能夠自定義結果，并使其可供其他當事方用于政治或商業目的。真理變成了相對的。信息威脅著智慧。

在社交媒體上，用戶被多種觀點淹沒，他們不再自省。實際上，許多技術愛好者使用互聯網來避免他們害怕的孤獨。所有的這些壓力都削弱了發展和維持信念所需的堅韌，而這種堅韌只能通過一條孤獨的道路來實現，這就是創造力的本質。

互聯網技術對政治的影響特別明顯。針對微型群體的能力，通過專注于某些目的或者不滿的情緒上，可以打破了先前關于優先事項的共識。政治領導人受到這些細分群體的壓力，被剝奪了思考或反映場景的時間，以及他們用來發展愿景的空間。

數字世界對速度的強調抑制了反思；它的激勵使激進分子勝過了深思熟慮的人；它的價值觀是由分組共識塑造的，而不是內省形成的。盡管它取得了種種成就，但由于它的不足壓倒了它的便利性，它仍有可能自食其果。

叁

隨著互聯網的發展和計算能力的增強，促進了海量數據的積累和分析，關于人類理解的前所未有的前景出現了。也許最重要的是制造人工智能的項目，這種技術能夠通過復制人類思維的過程，來發明和解決復雜的、看似抽象的問題。

這遠遠超出了我們所知道的自動化。自動化處理意味著：通過使實現這些目標的手段合理化或機械化來實現規定的目標。相反，人工智能處理的是目的；它確定了自己的目標。在某種程度上，它的成就是由它自己決定的，人工智能本身就是不穩定的。人工智能系統通過其自身的操作，在獲取和即時分析新數據時，不斷發生變化，然后在分析的基礎上尋求自我改進。通過這個過程，人工智能發展了一種以前被認為是為人類保留的能力。它會對未來做出戰略判斷，有些基于作為代碼接收的數據(例如游戲規則)，有些基于它自己收集的數據(例如，通過玩100萬次游戲進行迭代)。

自動駕駛汽車展示了傳統的由人控制的，軟件驅動的計算機和人工智能尋求導航之間的區別。駕駛汽車需要在不可能預料到的多種情況下進行判斷，因此需要提前編程。以一個眾所周知的假設例子來說，如果這種汽車因突發情況被迫在殺害祖父母和殺害兒童之間作出選擇，會發生什么情況？它會選擇誰？為什么？它將嘗試優化其選項中的哪些因素？它能解釋它的基本原理嗎？面對挑戰，如果它能夠溝通，它的真實答案可能是：“我不知道(因為我遵循的是數學，而不是人的原則)，”或“你不會理解(因為我受過訓練，以某種方式行動，但沒有解釋它)。”然而，自動駕駛汽車很可能在10年內在公路上普及。

迄今為止，人工智能仍局限于特定的活動領域，現在的研究正在尋求實現能夠在多個領域執行任務的“通用智能”人工智能。在可測量的時間段內，越來越多的人類活動將由人工智能算法驅動。但這些算法是對觀測數據的數學解釋，并不能解釋產生這些數據的潛在現實。矛盾的是，隨著世界變得更加透明，它也將變得越來越神秘。新世界和我們所知道世界有什么區別？我們將如何生活在其中？我們將如何管理人工智能、改進人工智能，或者至少防止人工智能造成傷害，并最終導致最不祥的擔憂：人工智能通過比人類更快和更明確地掌握某些能力，隨著時間的推移，在將人工智能轉化為數據時會削弱人類的能力和人類狀況本身。

肆

人工智能將及時給醫學、清潔能源供應、環境問題和許多其他領域帶來非凡的好處。但正因為人工智能是對一個不斷發展、尚未確定的未來做出判斷，其結果中也必然會有不確定性和模糊性。有三個特別令人關切的領域：

首先，人工智能可能會帶來意想不到結果。科幻小說已經想象出了人工智能轉向創造者的情景。更有可能的是，人工智能會因為其缺乏場景化的能力而誤解人類指令。最近一個著名的例子是叫做Tay的人工智能聊天機器人，旨在用一個19歲女孩的語言模式產生友好的對話。但事實證明，該機器無法定義訓練員所說的“友好”和“合理”語言的必要性，反而被種族主義、性別歧視和煽動性言論綁架。技術界的一些人聲稱，這個實驗構思不當，執行不力，但它說明了一個潛在的模糊性：在多大程度上可以讓人工智能理解其指令的背景？有什么媒介可以幫助Tay在面對一些人們理解并不一致的詞語時，定義自己的攻擊性？我們能否在早期階段發現并糾正一個超出預期的人工智能程序？還是說，如果任由人工智能自行其是，它會不可避免地出現微小的偏差，隨著時間的推移，這些偏差會演變成災難性的偏離？

第二，在實現預期目標的過程中，人工智能可能會改變人類的思維過程和價值觀。AlphaGo通過采取戰略上前所未有的舉措擊敗了世界圍棋冠軍——這些舉措是人類尚未構思出來、也尚未成功學會克服的。這些舉措是否超出了人腦的能力？或者說，既然它們已經被一位新的大師證明了，人類能學習它們嗎？

在人工智能開始玩圍棋之前，這個游戲有著多種多樣、層次分明的目的：玩家不僅要想贏，還要學習可能適用于生活其他方面的新策略。相比之下，人工智能只有一個目的：取勝。它不是從概念上而是從數學上通過對算法的邊緣調整來“學習”。因此，在學習如何通過與人類不同的方式來贏得比賽時，人工智能改變了比賽的性質和影響。這種一心一意地堅持，是否是所有人工智能的特征？

其他人工智能項目，致力于通過開發能夠生成一系列人類查詢答案的設備，來改變人類思維。除了事實問題(“外面的溫度是多少？”)，關于現實的性質或生命的意義的問題，引發了更深層次的問題。我們想讓孩子們通過無約束算法的對話來學習價值觀嗎？我們應該通過限制人工智能對其提問者的了解來保護隱私嗎？如果是，我們如何實現這些目標？

如果人工智能的學習速度比人類快，那么我們必須指望人工智能會以指數級的速度加速人類決策的試錯過程：比人類犯錯誤的速度更快，程度更大。正如人工智能研究人員經常建議的那樣，通過在程序中加入要求“合乎道德”或“合理”結果的警告，可能無法緩和這些錯誤。整個學科都是由于人類無法就如何定義這些術語達成一致而產生的。因此，人工智能應該成為他們的仲裁者嗎？

第三，人工智能可能達到預期目標，但無法解釋其得出這一結論的理由。在某些領域——模式識別、大數據分析、游戲——人工智能的能力已經超過了人類。如果它的計算能力繼續快速復合，人工智能可能很快就能以與人類優化環境的方式略有不同、甚至可能顯著不同的方式優化環境。但到了那個時候，人工智能能否以一種人類可以理解的方式解釋為什么它的行為是最優的？或者說，人工智能的決策會超越人類語言和理性的解釋力嗎？在整個人類歷史中，文明創造了解釋他們周圍世界的方法——在中世紀，宗教；在啟蒙運動中，理性；19世紀的歷史；20世紀的意識形態。關于我們正在走向的世界，最困難但最重要的問題是：如果人工智能超越了人類意識本身的解釋能力，而社會不再能夠用對他們有意義的語言來解釋他們所居住的世界，那么人類意識會變成什么樣子？

在一個機器的世界里，機器把人類的經驗減少為數學數據，由他們自己的記憶來解釋，意識是如何被定義的？誰對人工智能的行為負責？他們的錯誤應如何確定責任？一個由人類設計的法律體系能跟上人工智能所產生的活動嗎？

伍

最后，人工智能這個術語可能用詞不當。可以肯定的是，這些機器可以解決復雜的、看似抽象的問題，而這些問題以前只產生于人類的認知。但它們所做的獨一無二的事情。并不是迄今為止所構思和經歷的那樣，而是史無前例的記憶和計算。由于人工智能在這些領域的固有優勢，它很可能贏得分配給它的任何游戲。但是對于我們人類來說，游戲不僅僅是關于勝利的；也是關于思考的。把一個數學過程當作一個思維過程來對待，或者試圖模仿這個過程，或者僅僅接受結果，我們就有失去作為人類認知本質的能力的危險。

最近設計的一個程序AlphaZero展示了這種演變的含義，它以一種國際象棋史上前所未有的風格，在比國際象棋大師更高級的水平上下棋。僅僅在幾個小時的自我游戲中，它就達到了人類用1500年時間才能達到的技術水平。在整個過程中，只給AlphaZero提供了游戲的基本規則 。人類和人類生成的數據都不是其自學過程的一部分。如果AlphaZero能夠如此迅速地達到這個目標，那么未來五年的人工智能會在哪里呢？對人類認知的影響是什么？當這個過程的實質是加速選擇時，倫理道德在這個過程中的作用是什么？

這些問題通常留給技術人員和相關科學領域的知識分子來解決。人文學科領域的哲學家和其他人幫助塑造了以前的世界秩序概念，但缺乏對人工智能機制的了解，或者被人工智能的能力所嚇倒，他們往往處于不利地位。相比之下，科學界不得不探索其成就的技術可能性，而科技界則專注于規模驚人的商業前景。這兩個世界的動機是推動發現的極限，而不是理解它們。而治理，就其涉及的主題而言，更有可能調查人工智能在安全和情報方面的應用，而不是探索它已經開始產生的人類狀況的變化。

啟蒙運動始于一項新技術傳播的基本哲學見解。我們的時代正朝著相反的方向發展。它產生了一種潛在的主導技術，尋找一種指導哲學。其他國家已將人工智能作為一項重大的國家項目。美國作為一個國家，尚未系統地探索其全部范圍，研究其影響，或開始最終的學習進程。最重要的是，從人工智能與人文傳統相關的角度來看，這應成為國家高度優先的事項。

人工智能開發人員在政治和哲學方面，和我在技術方面一樣缺乏經驗，他們應該問自己一些我在這里提出的問題，以便在他們的工程工作中找到答案。美國政府應該考慮成立一個由杰出思想家組成的委員會，以幫助制定國家愿景。這一點是肯定的：如果我們不盡快開始這項努力，不久我們就會發現我們開始得太晚了。