自“阿爾法狗事件”以來，人工智能成了一個膾炙人口的熱詞。事實上，人工智能誕生迄今已有70年，期間有過三次發展高潮。但中國只參與了當下第三波發展，且短短幾年內對人工智能的關注被不斷放大，因此社會上普遍缺乏對其成熟的理解。許多人認為不久以后人工智能技術將超越某個臨界點，然后指數級地超越人類能力。也有觀點認為，現有人工智能技術只是“人工弱智”，有多少人工就有多少智能，實際并不智能。這些誤區是中國人工智能發展的主要思想障礙。長期從事人工智能與機器人交叉研究的中科大陳小平教授基于對70年來人工智能技術成果的總結梳理，分析了人工智能到底如何運作、到底有多智能等問題，并提出了理解人工智能的“封閉性準則”。他認為，在封閉性場景中，我們不僅可以規避人工智能技術失控的風險，而且可以推動現有人工智能技術在未來10-15年內中國產業升級中發揮關鍵作用，為產業發展帶來新的廣闊空間。

封閉性場景：人工智能的產業化路徑

目前，社會上對于人工智能技術的討論可謂眾說紛紜，莫衷一是。有觀點認為，人工智能技術已經或即將全面超越人類的能力水平，已經可以無條件應用，因而也會產生嚴重的倫理危機；也有觀點認為，現有人工智能技術只是“人工弱智”，“有多少人工就有多少智能”，因而無法應用，也就根本不存在倫理風險。但如果依據前一種看法從現在開始就限制人工智能的發展，或者基于后一種看法完全放棄對人工智能倫理風險的監管，都是不明智的。

本文立足于對70年來人工智能的技術成果進行總結梳理，根據對現有人工智能成果的技術本質的理解，提出人工智能封閉性和強封閉性準則，形成觀察人工智能的一種新視角，進而得出以下觀察：第一，在滿足強封閉性準則的場景中，現有人工智能技術可以大規模應用，而在不滿足該準則的場景中難以獲得成功應用；第二，受強封閉性準則的制約，短期內不存在人工智能技術失控的風險，而未來長期風險也是可控的；第三，在強封閉性準則的有效范圍內，人工智能的主要風險來自技術誤用和管理失誤。脫離人工智能技術本質的政策，將難以避免“***”的監管困境。

▍人工智能應用與治理的迫切需求

人工智能迄今已有約70年歷史，出現了三次浪潮，每次浪潮經歷大約20年。也有人將以往的人工智能技術歸結為兩代，每代的發展經歷了30~40年。由于本輪產業升級的窗口期只有10~15年，而一代新技術從誕生到成熟往往需要幾十年，所以本輪產業升級依靠的人工智能技術，將主要是現有人工智能技術的工程化落地，而不是等待下一代新技術的成熟。于是，下列問題尖銳地呈現在全社會面前：10~15年內，現有人工智能技術能否以及如何在我國產業升級中發揮關鍵作用？如果我們不能從現有人工智能技術的本質出發回答這個問題，人工智能國家戰略必將落空，與此有關的產業升級也必將受到極大影響。

在西方發達國家中，人工智能的前三次浪潮均引起普遍關注，因而社會各界對人工智能的了解是長期的，也較容易形成較為客觀的看法。但在我國，由于社會上普遍關心的只有人工智能的第三次浪潮，而且在短短幾年之內這種關注又被放大，故而普遍存在著對人工智能技術真相了解不夠，甚至誤將國外影視作品當作現實的現象。而我國人工智能領域的專家學者，又極少介入社會上的討論，極少參與倫理風險研究和政策制定。因而，如果相關政策建議不能如實反映人工智能技術本質、應用條件和發展態勢，必將隱含著管理失誤的巨大風險。

▍人工智能三次浪潮的技術進展

人工智能研究已形成了至少幾千種不同的技術路線，其中最成功、影響最大的有兩種，被稱為人工智能的兩種經典思維：“基于模型的暴力法” 與“基于元模型的訓練法”。這兩種思維雖然不能代表人工智能的全部，但它們已經不是停留在單個技術的層面，而是上升到“機器思維”的高度，因而它們在近期應用中發揮關鍵作用，最值得關注。

第一種人工智能經典思維是“基于模型的暴力法”，其基本設計原理是：第一，構建問題的一個精確模型；第二，建立一個表達該模型的知識表示或狀態空間，使得推理或搜索在計算上是可行的；第三，在上述知識表示或狀態空間中，用推理法或搜索法窮舉所有選項，找出問題的一個解。因此，暴力法包含推理法和搜索法兩種主要實現方法，它們具有共同的基本前提：待解問題存在良定義的、精確的符號模型。

在推理法中，通常采用邏輯形式化、概率形式化或決策論形式化作為知識表達的手段。以邏輯形式化為例，一個AI推理系統由一個知識庫和一個推理機組成，推理機是一個執行推理的計算機程序，往往由專業團隊長期研發而成，而知識庫則需要由不同應用的研發者自行開發。推理機根據知識庫里的知識進行推理，回答提問。

基于形式化邏輯系統的推理機的研制以對應邏輯的“保真性”為標準，因此推理機本身是“可證正確的”—只要推理機使用的知識庫是“正確的”，則對知識庫有效范圍內的任何問題，推理機給出的回答都是正確的。然而，一個知識庫的“正確性”以及相對于一個應用領域的充分性，至今沒有形成公認的、可操作的標準，只能通過測試進行實驗檢驗。

第二種人工智能經典思維是“基于元模型的訓練法”，其基本設計原理是：第一，建立問題的元模型；第二，參照元模型，收集訓練數據并進行人工標注，選擇一種合適的人工神經網絡結構和一個監督學習算法；第三，依數據擬合原理，以帶標注的數據，用上述監督學習算法訓練上述人工神經網絡的連接權重，使得網絡輸出總誤差最小。訓練好的人工神經網絡可以對任意輸入快速計算出對應的輸出，并達到一定的準確性。例如，針對給定的圖像庫，一些經過訓練的深層神經網絡，可以對輸入的圖片進行分類，輸出圖片中物體的種類，分類準確性已超過人類。然而，訓練法目前沒有可證正確性，甚至沒有可解釋性。

在訓練法中，只有監督學習算法和帶標注的數據是不夠的，還必須對學習目標、評價準則、測試方法、測試工具等進行人工選擇。本文將這些人工選擇匯集在一起，用“元模型”概括它們。因此，訓練法絕不是只要有訓練數據和訓練算法就行的，人工智能已具備獨立于人類的“自我學習”能力的說法更是毫無根據的。

訓練法和暴力法都存在“脆弱性”問題：如果輸入不在知識庫或訓練好的人工神經網絡的覆蓋范圍內，將產生錯誤的輸出。針對實際應用中無處不在的感知噪聲，美國麻省理工學院做過一個測試。先用一個著名的商業機器學習系統訓練出一個深層神經網絡，該網絡可以從照片中識別各種槍支，并達到很高的正確識別率。然后，人為修改了這些照片上的少量像素（代表感知噪聲），這些修改對人眼識別沒有任何影響，可是訓練好的深層神經網絡卻不能正確識別修改后的照片，而且會發生離奇的錯誤。自20世紀80年代以來，脆弱性已成為制約現有人工智能技術成功應用的主要瓶頸。

除了脆弱性之外，暴力法和訓練法還存在其他短板。工程上，訓練法的主要短板是需要對大量原始數據進行人工標注，費時費力，且難以保證標注質量；暴力法的主要短板是需要人工編寫知識庫或制定搜索空間，而這兩項工作對于絕大多數開發者而言是十分困難的。因此，嘗試將暴力法和訓練法取長補短，以消除或減少它們各自的短板，一直是人工智能的一個研究課題。

AlphaGo Zero采用了四項人工智能技術，包括兩項暴力法技術—簡化的決策論模型和蒙特卡洛樹搜索，用這兩項技術進行自博（自己和自己下棋），自動產生訓練數據和標注，而且不僅下了人類下過的很多棋，也下了人類沒下過的很多棋；另外兩項是訓練法技術——殘差網絡和強化學習，強化學習算法用自博產生的全部訓練數據及標注對殘差網絡進行訓練，不斷改進殘差網絡，最終訓練出一個網絡，其下棋水平遠遠超過了人類。這也表明，認為AlphaGo Zero僅僅是深度學習的勝利，是一個巨大的誤解。正是由于暴力法和訓練法的結合，使得AlphaGo Zero完全不需要人工標注和人類圍棋知識（除了規則）。

根據規則，圍棋一共可以下出大約10的300次方局不同的棋。AlphaGo Zero通過40天自博，下了2900萬局棋（不到10的8次方），僅僅探索了所有圍棋棋局中的一個極小部分，所以AlphaGo Zero的下棋水平還有巨大的提升空間。這表明，在現有人工智能技術的有效工作范圍內，人工智能系統的能力已經遠遠超過了人類，“多少人工多少智能”的說法是沒有根據的，也是不符合事實的。

以上分析表明，社會上流行的兩種極端說法都是不成立的。那么，現有人工智能技術的真實能力到底如何？

▍現有人工智能技術的能力邊界—封閉性

有人認為：圍棋是最難的問題，既然AlphaGo在最難的問題上超過了人類，當然人工智能已全面超過了人類。但事實上，對人工智能而言，圍棋是最容易的一類問題，比圍棋更難的問題不僅有，而且非常多，而在這些問題上，現有人工智能技術遠遠達不到人的能力水平。

因此，我們需要某種準則，以便客觀地判斷：哪些場景中的應用是現有人工智能技術能夠解決的，哪些問題是不能解決的。這個準則就是封閉性。為了便于理解，這里給出封閉性的一種盡可能通俗的描述。

一個應用場景具有封閉性，如果下列兩條件之一得到滿足：（1）存在一個可計算的和語義完全的模型，并且所有提問在該模型的可解范圍內；（2）存在有限確定的元模型，并且代表性數據集也是有限確定的。

封閉性條件（1）和條件（2）是分別針對暴力法和訓練法而言的。一個應用場景如果不滿足條件（1）或條件（2）中的任何一個要求，則該場景應用就不能用暴力法或訓練法解決。例如，假設一個場景具有可計算的和語義完全的模型，但某些提問不在該模型的可解范圍內，那么就不能保證智能系統對這些提問的回答都是正確的，這時就出現了脆弱性。

因此，封閉性給出了一個場景中的應用能夠被暴力法或訓練法解決的理論上的必要條件，也就是說，不滿足這些條件的場景應用是不可能用現有人工智能技術實現的。但是，實際場景往往是非常復雜的，理論上的必要條件與工程實際之間存在一定距離。例如，用訓練法進行圖像分類時，不保證分類誤識別率為零，而且錯誤的性質可能非常嚴重，無法滿足用戶的需求。為了盡可能縮小理論與實際之間的距離，本文引入強封閉性準則如下。

一個場景具有強封閉性，如果下列條件全部得到滿足：（1）該場景具有封閉性；（2）該場景具有失誤非致命性，即應用于該場景的智能系統的失誤不產生致命的后果；（3）基礎條件成熟性，即封閉性包含的要求在該應用場景中都得到實際滿足。

基礎條件成熟性包含的內容較多，下面介紹兩種重要的典型情況。

第一種情況是，滿足要求的模型理論上存在，工程上構建不出。封閉性準則中的條件（1）要求，存在一個可計算的和語義完全的模型，而這里所謂“存在”只要理論上成立就行。但對于一項具體的工程項目來說，僅僅在理論上存在這樣的模型是不夠的，必須能夠在該項目要求的施工期限內，實際地構建出一個這樣的模型。可是有些場景過于復雜，無法在項目期限內實際構建出它的模型。于是，這樣的場景雖然符合封閉性準則，卻在項目實施中無法成功。基礎條件成熟性要求：在項目施工期限內可以實際構建出所需的模型，因而強封閉性準則反映了工程可行性。

第二種情況是，代表性數據集理論上存在，工程中得不到。封閉性準則的條件（2）要求保證找到一個復雜問題的代表性數據集，即使理論上可以證明存在這樣的代表性數據集。因此，目前主要在環境變化可忽略或可控的場景中運用訓練法，因為代表性數據集在這種場景中是可以得到的。這里的“環境變化可忽略或可控”就是強封閉性準則的一項具體要求，而封閉性準則不包含這項要求。

當一個應用場景出現以上兩種情況時，怎么處理才能符合強封閉性準則？對于多數企業特別是中小企業來說，最有效的辦法是進行場景裁剪，比如縮小場景規模、舍棄場景中難以建模的部分、舍棄場景中環境變化不可控或不可忽視的部分，使得裁剪后的場景符合強封閉性準則。

另外，人工智能技術在實際應用中往往起“畫龍點睛”的作用，而不是單打獨斗地解決一個行業的全部技術問題。因此，通常是在其他條件都已具備，卻仍然無法實現預期工程目標的情況下，引入人工智能技術以攻克難點，從而發揮關鍵性作用。這也是基礎條件成熟性的要求之一。例如，傳統制造業的信息化和自動化、大面積高標準農田的實施，分別為我國傳統制造業和現代農業的智能化提供了重要的、決定性的基礎條件。

▍現有人工智能技術在實體經濟中的落地路徑

在實體經濟特別是制造業中，大量場景的自然形態非常復雜，難以通過場景裁剪使之符合強封閉性準則。針對這種情況，可以采取場景改造的辦法。目前至少有如下三條場景改造策略，可以作為現有人工智能技術在實體經濟中的落地路徑。

第一條落地路徑：封閉化。具體做法是將一個自然形態下的非封閉場景加以改造，使得改造后的場景具有強封閉性。場景改造在制造業中是常見的，也是成功的。例如汽車制造業，原始的生產過程是人工操作的，其中包含大量不確定性，不是封閉性場景。建設汽車自動化生產線的本質，是建立一個物理的三維坐標系，使得生產過程中出現的一切（如車身、零件、機器人和其他裝備）都在這個坐標系中被精確定位，誤差控制在亞毫米級以下，從而把非封閉的場景徹底改造為封閉的（這種改造在工業上稱為“結構化”），于是各種智能裝備和自動化設備都可以自動運行，獨立完成生產任務。這種封閉化/結構化策略正在越來越多地應用于其他行業，而且智能化程度不斷提升。

第二條落地路徑：分治法。一些復雜的生產過程難以一次性地進行封閉化，但可以從整個生產過程中分解出一些環節，對這些環節進行封閉化，使之符合強封閉性準則；而不能封閉化的環節繼續保留傳統生產模式，各個環節之間通過移動機器人進行連接。這種策略已被奧迪等大型企業采納，其實對較小型企業也是適用的。

第三條落地路徑：準封閉化。在服務業和人機協作等場合，普遍存在著大量無法徹底封閉化的場景，這時可考慮采取“準封閉化”策略：將應用場景中可能導致致命性失誤的部分徹底封閉化，不會出現致命性失誤的部分半封閉化。舉一個運輸業的例子，高鐵系統的行車部分是封閉化的，而乘客的活動不要求封閉化，在遵守相關規定的前提下可自由活動。對于服務業的很多場景，只要滿足失誤非致命性條件，就可以放寬封閉性程度要求，因為適當條件下，這些場景中的人可以彌補人工智能系統的不足。

因此，強封閉性準則并非簡單地要求一個場景在自然形態下滿足該準則，而是指出一個目標方向，并通過場景裁剪或場景改造，只要裁剪/改造后的場景符合強封閉性準則，就可以在該場景中應用現有人工智能技術，實現產業升級。

不滿足強封閉性準則（包括無法通過場景裁剪或場景改造滿足準則）的場景也是大量存在的，現有人工智能技術在這些場景中難以實用化。一個典型例子是開放領域的人機對話。由于這種對話的提問集不是有限確定的，無法收集、標注所有代表性提問數據，也無法寫出足夠的規則描述提問或對應的回答，因而無法用現有人工智能技術完全實現開放領域的人機對話。

尤其值得注意的是，目前國內外人工智能應用都沒有充分體現強封閉性準則，具體表現是：一方面選擇了自然形態下不符合強封閉性準則的應用場景，另一方面又沒有進行充分的場景裁剪或場景改造。因此，人工智能應用的現實情況不容樂觀。近來，國外媒體開始注意到人工智能初創企業發展不順的情況，卻只報道現象，沒有分析深層原因。本文的觀察是直截了當的：人工智能技術落地不順利的原因不是現有人工智能技術不具備應用潛力，而是因為這些落地項目沒有通過充分的場景裁剪或場景改造，以確保符合強封閉性準則的要求。

▍人工智能的風險分析

人工智能技術具有正、反兩方面的作用，在造福于人類的同時，也存在各種風險。理論上可能存在四種風險：技術失控、技術誤用、應用風險、管理失誤。從封閉性準則的視角分析這些風險，可以得出更符合實際的觀察。對四種風險的具體分析簡述如下。

風險1：技術失控。技術失控指的是技術的發展超越了人類的控制能力，甚至人類被技術控制，這是很多人最為擔憂的風險。上面的分析表明，現有人工智能技術僅在滿足強封閉性準則的條件下，才可發揮其強大功能；在非封閉的場景中，現有人工智能技術的能力遠遠不如人類，而現實世界的大部分場景是非封閉的。所以，目前不存在技術失控風險，并且未來只要依據封閉性準則做到以下三點，仍然可以避免技術失控。第一，在封閉化改造中，不僅考慮產業或商業需求，也考慮改造后場景的可控性，這種考慮不應局限于單個場景，而應通過行業標準批量式地制定和落實。第二，在對適用于非封閉性場景的人工智能新技術的研發中，不僅考慮技術性能，也考慮新技術的倫理風險及其可控性。第三，在對具有特殊需求的人工智能新技術的研發中，不僅考慮特殊需求的滿足，也考慮新技術的倫理風險和應用條件，并嚴格控制這些技術的實際應用。

風險2：技術誤用。與信息技術相關的技術誤用包括數據隱私問題、安全性問題和公平性問題等，人工智能技術的應用可以放大這些問題的嚴重程度，也可能產生新的技術誤用類型。在現有條件下，人工智能技術本身是中性的，是否出現誤用完全取決于技術的使用。因此，對人工智能技術誤用的重視和風險防范應提上議事日程。值得注意的是，根據封閉性準則，現有人工智能技術僅在封閉性場景中有效，而對于這種場景中的技術誤用，至少理論上是有辦法應對的，所以應該積極對應，無須恐懼。不僅如此，應用自動驗證等現有技術，可以消除或減輕某些技術誤用的風險。

風險3：應用風險。應用風險指的是技術應用導致負面社會后果的可能性。目前人們最擔心的是人工智能在某些行業中的普遍應用導致工作崗位的大量減少。應用風險是由技術的應用引起的，因此關鍵在于對應用的掌控。根據強封閉性準則，人工智能技術在實體經濟中的應用往往需要借助于場景改造，而場景改造完全處于人類的控制之下，做多做少取決于相關的產業決策。因此，在強封閉性條件下，應用風險是可控的；同時也意味著，產業決策及相關的風險預測是應用風險防范的重點。

風險4：管理失誤。人工智能是一項新技術，它的應用是一項新事物，社會缺乏管理經驗，容易陷入“一管就死，一放就亂”的局面。為此，更需要深入理解人工智能現有成果的技術本質和技術條件，確保監管措施的針對性、有效性。封閉性準則刻畫了現有人工智能技術的能力邊界，從而為相關治理措施的制定提供了依據。同樣，當未來人工智能技術超越了強封閉性條件，那時人類就需要某種把握未來人工智能技術本質的新準則（如封閉性準則2.0）。還應看到，人工智能倫理問題不是一個單純的風險管控問題，而需建設一個將監管與發展融為一體的完整倫理體系。

以上分析表明，封閉性準則幫助我們形成對各種風險的更具體、更明確、更貼近實際的認識，三點主要觀察概括如下。第一，短期內不存在技術失控風險；對長期風險來說，應關注適用于非封閉性場景的新技術，而強封閉性準則為保證這種技術的風險可控性提供了初步指導。第二，技術誤用和管理失誤是目前的主要風險來源，應重點關注，著力加強研究。第三，應用風險尚未出現，未來出現的可能性、形態及應對手段需提早研判。

▍結語

本文認為目前關于人工智能存在這三種認識誤區：

第一種誤區：人工智能已經無所不能，因此現有人工智能技術可以無條件地應用。根據強封閉性準則，現有人工智能技術遠未達到無所不能的程度，應用是有條件的。因此，在產業應用中亟須加強對強封閉性準則的認識，加強場景裁剪和場景改造，避免違反強封閉性準則的盲目應用，而這種盲目目前在國內外都十分普遍，不僅浪費資源，更嚴重的是干擾了有希望成功的應用。

第二種誤區：現有人工智能技術不能大規模實際應用，因為現有人工智能技術依賴于人工標注，并不智能。本文指出，現有人工智能技術并不局限于深度學習，而暴力法和訓練法的結合可以避免人工標注，而且符合強封閉性準則的應用場景可以有效地實施數據采集和人工標注。目前一些應用不成功的原因在于違反了強封閉性準則，而不是因為現有人工智能技術不能應用。這個誤區往往發生在對人工智能技術有一定了解而認識不到位的情況下。與第一種誤區一樣，這種誤解會嚴重影響我國人工智能產業應用的進度。

第三種誤區：在未來20~30年內，人工智能技術發展將超越某個臨界點，之后人工智能將不受人類控制自由發展。根據強封閉性準則和全球人工智能研究現狀，這種“奇點說”在技術范圍內沒有任何科學依據。封閉性準則包含的一些條件，如模型的語義完全性、代表性數據集的有限確定性，通常需要借助于強封閉性準則要求的人工措施的輔助才可以滿足。假想未來有可能突破這些限制，與人工智能目前已具備突破這些限制的能力，完全是兩回事。即使將來突破了某種限制，還會有新的限制加以約束。這一類說法無形中假定，可以存在脫離具體條件的人工智能技術。這種技術是否可能存在，目前并沒有任何科學證據的支持，有待于未來的觀察和研判。

這三種誤區是我國人工智能發展的主要思想障礙。封閉性和強封閉性準則立足于現有人工智能技術本質，為消除這些誤區提供了依據，也為觀察、思考和研究人工智能發展的其他問題，避免重復以往人為放大“周期性起伏”的干擾，提供了一種新的視角。