什么是奇點(diǎn)（Singularity）？奇點(diǎn)是指在未來某個(gè)假想的時(shí)間點(diǎn)，因?yàn)榧夹g(shù)發(fā)展太過迅速，以致于達(dá)到我們無法理解的地步。奇點(diǎn)被看成是人類無法達(dá)到的文明程度……一些我們不用指望能夠預(yù)測到的東西。

最近計(jì)算機(jī)科學(xué)教授 Edward W. Felten 在自己博客上發(fā)表了一篇文章，認(rèn)為奇點(diǎn)還遠(yuǎn)未到來，這一言論得到了 Yann LeCun 的強(qiáng)烈支持，我們將教授的原文做了翻譯。

為什么說奇點(diǎn)不是奇點(diǎn)？

英國數(shù)據(jù)家 I.J. Good 在 1965 年的一篇論文中對奇點(diǎn)理論進(jìn)行了概括：

我們假設(shè)超智能機(jī)器是一種可以超越人類智慧的機(jī)器。既然這樣的一種機(jī)器是通過人類的智慧設(shè)計(jì)出來的，那么超智能機(jī)器也就能夠設(shè)計(jì)出更好的機(jī)器。這樣無疑會(huì)出現(xiàn)“智能大爆炸”，人類的智慧會(huì)遠(yuǎn)遠(yuǎn)落在后面。因此，如果超智能機(jī)器能夠告訴我們?nèi)绾慰刂扑敲吹谝慌_(tái)超智能機(jī)器也就是需要由人類發(fā)明的最后一臺(tái)機(jī)器。

Vernor Vinge 是第一個(gè)將這種理論描述為“奇點(diǎn)”的人，“奇點(diǎn)”的概念來自于數(shù)學(xué)，用于表示數(shù)量的增長達(dá)到了無限的速度。后來，Ray Kurzweil 將“奇點(diǎn)”一詞用在他的“奇點(diǎn)臨近（The Singularity is Near）”一書中，才為人們所熟知。

指數(shù)增長

奇點(diǎn)理論主要與未來機(jī)器智能的增長速度有關(guān)。不過，在深入探討這個(gè)理論之前，先讓我們來澄清一些與增長速度有關(guān)的概念。

指數(shù)增長是最為關(guān)鍵的一個(gè)概念，也就是說，事物的增長與其現(xiàn)有的規(guī)模呈比例關(guān)系。例如，如果我的銀行存款每年增長 1%，那么銀行每年要把當(dāng)前余額的 1% 累加到賬戶中。這就是所謂的指數(shù)增長。

指數(shù)增長的速度各異，我們可以使用兩種方式來表示指數(shù)增長速度。第一種是增長速率，通常表示為單位時(shí)間內(nèi)的百分比。例如，銀行存款的增長速率為每年 1%。第二種是倍增時(shí)間，也就是數(shù)量翻番需要多少時(shí)間。例如，我的銀行存款要翻番需要大概 70 年時(shí)間。

要想知道一個(gè)數(shù)量是否呈指數(shù)級(jí)增長，最好的辦法是使用上述的兩種方式來衡量它。如果它符合上述中的任何一種模式，那么它就是呈指數(shù)級(jí)增長。例如，大部分國家都通過 GDP 來衡量經(jīng)濟(jì)增長，當(dāng)然，GDP 在短期內(nèi)可能會(huì)有起伏，但從長期來看，它是呈指數(shù)級(jí)增長的。如果一個(gè)國家的 GDP 每年增長 3%，那么大概 23 年就可以翻一番。

指數(shù)增長在人類社會(huì)和自然界中都是很常見的。所以，一個(gè)呈指數(shù)級(jí)增長的數(shù)量并不會(huì)讓自己變得有任何特別之處，也不會(huì)出現(xiàn)任何違反直覺的變化。

計(jì)算機(jī)的速度和容量也是呈指數(shù)級(jí)增長的，這也沒有什么新奇的。新奇的是計(jì)算機(jī)容量的增長速率?！澳柖伞备嬖V我們，計(jì)算機(jī)的速度和容量每 18 個(gè)月就會(huì)翻一番，相當(dāng)于每年 60% 的增長速率。摩爾定律在過去 50 年被證明是正確的，計(jì)算機(jī)容量整整翻了 33 番，也就是差不多百億倍。

奇點(diǎn)并非實(shí)際意義上的奇點(diǎn)

在討論奇點(diǎn)假設(shè)的真實(shí)性之前，先讓我們來看看實(shí)際意義上的奇點(diǎn)——在未來某個(gè)時(shí)間點(diǎn)，機(jī)器智能的改進(jìn)速率趨向于無窮。這就要求機(jī)器智能的增長速度超過指數(shù)級(jí)，翻番的時(shí)間就會(huì)縮短，最后趨向于零。

實(shí)際意義上的奇點(diǎn)可能并沒有任何理論依據(jù)。在人類社會(huì)和自然世界根本不存在超指數(shù)增長的東西，而即使有，也不可能達(dá)到真實(shí)意義上的奇點(diǎn)。簡單地說，人工智能的“奇點(diǎn)”不可能變成現(xiàn)實(shí)。

如果說奇點(diǎn)不是真正意義上的奇點(diǎn)，那它會(huì)是什么？

為何自我改進(jìn)還不夠？

我們在上面討論了為何不可能存在單一的奇點(diǎn)——換言之，為何 AI 不可能擁有無限的增長率。那么如果奇點(diǎn)并不單一，那又會(huì)呈現(xiàn)出怎樣的形式？

首先來回顧奇點(diǎn)理論，其基本上屬于一項(xiàng)關(guān)于機(jī)器智能增長率的主張。在排除了指數(shù)級(jí)以上增長的可能性之后，其主要假設(shè)在于認(rèn)為 AI 技術(shù)將以指數(shù)形式增長。

指數(shù)級(jí)增長并不代表著發(fā)生“爆炸式”發(fā)展。舉例來說，盡管我的儲(chǔ)蓄帳戶擁有 1% 的利率并實(shí)現(xiàn)持續(xù)增長，但我本人并不會(huì)因此迎來“財(cái)富爆炸”，即突然之間獲得超出想象的資金數(shù)額。但是如果指數(shù)級(jí)增長率非常高，是否會(huì)帶來爆炸式增長？

在這方面，我認(rèn)為摩爾定律是最理想的類比對象。在過去幾十年當(dāng)中，計(jì)算能力一直以 60% 的年增長率保持著穩(wěn)定發(fā)展，換言之即第 18 個(gè)月翻一番。這意味著 這數(shù)十年周期內(nèi)的計(jì)算能力提升了約 100 億倍。這雖然是一項(xiàng)了不起的成就，但卻仍 無法從根本上改變?nèi)祟惖纳娣▌t。事實(shí)上，這種增長對社會(huì)與經(jīng)濟(jì)的影響屬于漸進(jìn)式推動(dòng)。

計(jì)算能力增長一百億倍，仍無法令我們獲得百倍于以往的幸福感，其中的原因可謂顯而易見——計(jì)算能力并不是我們的核心。為了讓計(jì)算能力轉(zhuǎn)化為我們的幸福感，人類必須想辦法利用計(jì)算資源改進(jìn)我們最關(guān)心的方方面面——這顯然非常困難。

更重要的是，將計(jì)算能力轉(zhuǎn)化為幸福感的努力似乎總是面臨著回報(bào)快速衰減的難題。舉例來說，計(jì)算能力每增加一倍，我們都能夠通過發(fā)現(xiàn)新型藥物來更好地評(píng)估醫(yī)學(xué)診療效果或者更高效地改善人類健康水平。然而其最終結(jié)果是，健康改善更像是關(guān)于我們身體的一種儲(chǔ)蓄帳戶，而非摩爾定律。

以下一項(xiàng) AI 實(shí)例。圖中所示為上世紀(jì)八十年代到現(xiàn)在計(jì)算機(jī)在國際象棋領(lǐng)域的表現(xiàn)提升趨勢。垂直軸所示為 Elo 等級(jí)，好衡量象棋技巧的自然度量，其定義為如果 A 的 Elo 點(diǎn)數(shù)比 B 高 100 點(diǎn)，則 A 在與 B 對局時(shí)的勝率則為 64%。

盡管計(jì)算能力呈指數(shù)級(jí)增長，且算法性能同樣保持著指數(shù)級(jí)增長趨勢，但其勝率結(jié)果在過去三十年當(dāng)中仍然保持著顯著的線性關(guān)系。這意味著雖然 AI 在國際象棋層面的改進(jìn)速度擁有指數(shù)級(jí)特性，但所產(chǎn)出的自然度量卻僅僅能夠?qū)崿F(xiàn)線性提升。

那么這一切對于奇點(diǎn)理論又意味著什么？請考慮智能爆炸這一論點(diǎn)的核心所在——正如谷歌公司在其經(jīng)典論文中所言：

……一臺(tái)超級(jí)智能機(jī)器如果能夠設(shè)計(jì)出更好的機(jī)器，那么其無疑將引發(fā)一場“智能爆炸”……

如果“設(shè)計(jì)出更好的機(jī)器”被具象為下國際象棋，那么輸入內(nèi)容（即機(jī)器智能）的指數(shù)級(jí)改進(jìn)為何只會(huì)帶來輸出結(jié)果（即機(jī)器在設(shè)計(jì)其它機(jī)器時(shí)的效能）的線性改進(jìn)？即使如此，那么智能爆炸的論斷顯然并不準(zhǔn)確。事實(shí)上，機(jī)器智能的增長將僅僅保持線性水平。（我們可以從數(shù)學(xué)角度進(jìn)行理解：如果我們假定智能的導(dǎo)數(shù)與 log（智能）成正比，那么智能在時(shí)間 T 上的增長將遵循 T log(T)，幾乎與 T 的線性保持一致。）

那么設(shè)計(jì)新機(jī)器是否能夠與下國際象棋這樣的行為進(jìn)行類比？對此，我們并不確定。這是復(fù)雜性計(jì)算理論中的一個(gè)難題，其本質(zhì)在于討論隨著計(jì)算資源的增加，究竟能夠達(dá)到多少目標(biāo)。在通過比大多數(shù)人更為深入的復(fù)雜性理論研究之后，我們發(fā)現(xiàn)機(jī)器設(shè)計(jì)也同樣會(huì)呈現(xiàn)國際象棋當(dāng)中所出現(xiàn)的這種收益遞減狀況。無論如何，這種可能性確實(shí)令我們有理由對谷歌提出的自我改進(jìn)“無疑”將帶來智能爆炸這一結(jié)論感到懷疑。

因此，奇點(diǎn)理論家們有責(zé)任解釋為什么機(jī)器設(shè)計(jì)能夠表現(xiàn)出引起智能爆炸所需要的這種反饋回路——而非像國際象棋那樣遵循收益線性增長。

奇點(diǎn)為何仍未真實(shí)發(fā)生？

我認(rèn)為，有時(shí) AI 系統(tǒng)（計(jì)算機(jī)速度和算法）的輸入改進(jìn)對 AI 性能改善的作用不大。

有人對此持有各種反對意見。有人說，計(jì)算機(jī)國際象棋 Elo 評(píng)級(jí)水平提升應(yīng)該是指數(shù)級(jí)的增長；有人說，新 AI 程序 AlphaZero 的到來（我未在我的帖子中討論過它）改變了游戲規(guī)則，有力地證明了我的論點(diǎn)無效。下面我來一一反駁這些反對意見。

首先，我們來談?wù)勎覀兪侨绾魏饬咳斯ぶ悄艿男阅艿?。對于國際象棋，我使用了 Elo 評(píng)級(jí)，這個(gè)等級(jí)評(píng)定的規(guī)則是，如果玩家 A 比玩家 B 高 100 分，我們預(yù)計(jì) A 玩家在和 B 玩家對局時(shí)可以得到 64％的分?jǐn)?shù)（贏得游戲得一分，平局每個(gè)玩家得 0.5 分，輸?shù)囊环降昧泓c(diǎn)。）

有一個(gè)可以代替 Elo 的評(píng)級(jí)系統(tǒng)，我稱其為 ExpElo，它的預(yù)測結(jié)果與 Elo 相差無幾。Explo 評(píng)級(jí)是 Elo 評(píng)分的乘方。Elo 使用兩位選手的評(píng)分來預(yù)測勝率，ExpElo 則使用評(píng)分的比例來進(jìn)行預(yù)測。從抽象的數(shù)學(xué)角度來看，Elo 和 ExpElo 的預(yù)測能力旗鼓相當(dāng)，而且預(yù)測結(jié)果完全相同。但是，如果說 Elo 的提升是呈線性的，則 ExpElo 的改進(jìn)則是呈指數(shù)級(jí)的。所以，國際象棋的成績是線性的還是指數(shù)性的？

在解決這個(gè)問題之前，讓我們停下來思考一下，這種情況并不是國際象棋獨(dú)有的。任何線性增長的度量都可以重新調(diào)整（通過對度量求冪），以得到一個(gè)指數(shù)級(jí)增長的新度量。而且，任何指數(shù)級(jí)增長的度量都可以重新調(diào)整（通過取對數(shù)）來獲得線性增長的新度量。因此，對于任何改進(jìn)的數(shù)量，我們將始終能夠從線性增長和指數(shù)增長中做出選擇。

人工智能的關(guān)鍵問題是：衡量某個(gè)特定任務(wù)的“智力”水平最合適的標(biāo)準(zhǔn)是什么？對于國際象棋來說，我認(rèn)為是 Elo（而不是 ExpElo）。此前，Arpad Elo 推出了被專業(yè)象棋人員采用的 Elo 系統(tǒng)。美國國際象棋聯(lián)合會(huì)按照技能將玩家分大師、專家、A 級(jí)、B 級(jí)、C 級(jí)等級(jí)別，而我們選擇用 Elo 為人類國際象棋玩家進(jìn)行分類。那么，為什么當(dāng)談到 AI 時(shí)，我們應(yīng)該換一個(gè)不同的度量呢？

轉(zhuǎn)折就發(fā)生在這里：隨著電腦的發(fā)揮水平接近完美，而實(shí)際上人類永遠(yuǎn)不可能達(dá)到完美的水平，因此，無論是 Elo 還是 ExpElo 在國際象棋中的評(píng)級(jí)的作用將趨于穩(wěn)定。

在每一場棋局中，都有一些可能得到最佳游戲結(jié)果的最佳棋路（或移動(dòng)）。對于一個(gè)非常強(qiáng)大的玩家，我們可能會(huì)問他的錯(cuò)誤率是多少：即在高水平的比賽中，他會(huì)在什么情況下走錯(cuò)棋路？

假設(shè)一個(gè)玩家愛麗絲的錯(cuò)誤率為 1％，并假設(shè)一盤棋持續(xù)了五十回合。那么從長遠(yuǎn)來看，愛麗絲每兩場比賽就會(huì)走一次非最優(yōu)的棋步，在一半的比賽中，她將以最佳狀態(tài)進(jìn)行比賽。這意味著，如果愛麗絲與上帝進(jìn)行一場國際象棋比賽（總是走最佳棋路），那么愛麗絲將得到至少 25％的分?jǐn)?shù)，因?yàn)樗龝?huì)在半場比賽以最佳棋路與上帝對弈，在最糟糕的情況下，她會(huì)在犯錯(cuò)誤的比賽中輸?shù)簟Ｈ绻麗埯惤z能夠得到至少 25％的分?jǐn)?shù)，那么愛麗絲的 Elo 評(píng)級(jí)將不會(huì)比上帝低 200 分。結(jié)果是，類似于 “上帝的評(píng)級(jí)”將無人可以超越，在 Elo 和 ExpElo 系統(tǒng)中都是如此。

Ken Regan 等人的研究表明，今天最好的國際象棋程序的錯(cuò)誤率相當(dāng)?shù)?，可以說正在接近“上帝的評(píng)級(jí)”。Regan 的研究表明，RoG 的評(píng)分約為 3600，這很值得注意，因?yàn)閾?jù)我所知，最好的程序 Stockfish 的評(píng)分約為 3400，Google 的 DeepMind 研發(fā)的新 AI 棋手 AlphaZero 可能在 3500 左右。如果 Regan 的估計(jì)是正確的，那么 AlphaZero 就會(huì)在與上帝比賽中的大部分時(shí)間以最佳的棋路與其對弈，得到大約 36％的分?jǐn)?shù)。AI Elo 評(píng)級(jí)的歷史增長率為每年 50 分，所以看起來增長的趨勢可能會(huì)持續(xù)幾年，然后才會(huì)趨于平穩(wěn)。目前，不管國際象棋評(píng)級(jí)分?jǐn)?shù)增長趨勢到底是呈線性還是指數(shù)級(jí)，似乎在幾年內(nèi)都會(huì)趨于平緩。