隨著人工智能技術的發展，人工智能已廣泛應用到各行各業，推動人類社會發生廣泛而深刻的變革。然而，人工智能技術是把“雙刃劍”，人工智能也可能帶來意想不到的安全問題。從無人駕駛汽車撞人到自主武器殺人，從腦機接口打造超級人類到人工智能自我復制，人工智能真的安全嗎？特別是人工智能應用到軍事領域，世界是否會陷入可怕的“人工智能軍備競賽”，而導致人工智能失控？

人工智能安全風險的根源

人工智能之所以給人類帶來安全風險，一方面是人工智能技術不成熟造成的，包括算法不可解釋性、數據強依賴性等技術局限性；另一方面是人工智能技術在應用和濫用過程中對不同領域造成的影響和沖擊，包括對政治、經濟、軍事、社會倫理道德等的沖擊和挑戰。具體到軍事領域，人工智能帶來的風險和挑戰，除了技術局限性和不成熟性帶來的風險，還包括對現有戰爭機理的改變，對戰略穩定性的沖擊，對戰爭倫理道德的挑戰等。本文僅選取智能情報系統的誤判風險、輔助決策系統的安全風險、自主武器系統的安全風險三個方面進行分析。

智能情報系統的誤判風險

基于人工智能技術的感知系統可廣泛用于情報、監視和偵察任務，但是這種智能情報系統存在誤判的風險。

首先，智能情報系統的視覺感知是基于已有的圖象數據集進行訓練，數據的數量和質量都會影響人工智能的情報判斷的準確性。其次，人工智能的計算機視覺與人類的認知方法是不同的。人工智能系統在接受訓練后能夠對物體或人物圖像進行識別和分類，但卻并不能像人類一樣理解對象的含義或概念。當面臨新的圖像數據集時就會做出錯誤的判斷。再次，智能情報系統還可能被欺騙做出錯誤判斷，即對抗樣本攻擊。例如，將一小塊精心挑選的膠布粘貼到交通信號燈上能夠使人工智能系統判斷失誤，把紅燈判斷為綠燈。2019年8月，來自莫斯科國立大學和華為莫斯科研究中心的兩位研究人員公布了一項研究結果，只需要用普通打印機打印一張彩色貼紙貼到帽子上，就能使ArcFace等業內領先的人臉識別系統做出錯誤判斷。在作戰中，這種錯誤有可能導致對攻擊目標的錯誤判斷，誤傷平民或者己方人員和設施。

思考：在戰爭中，如果采用對抗樣本攻擊故意使對方的人工智能系統無法分辨軍人與平民，軍事設施和民用設施，導致錯誤的攻擊，誰承擔責任？

輔助決策系統的安全風險

人工智能輔助決策系統在軍事上的應用可加快數據處理速度，提高對象識別能力，提高人機交互水平。DARPA于2007年啟動“深綠”（Deep Green）項目，將人工智能引入作戰輔助決策，它通過對OODA環中的觀察和判斷環節進行多次計算機模擬，提前演示不同作戰方案可能產生的各種結果，對敵方行動進行預判，協助指揮官做出正確決策。但是，輔助決策系統的安全風險也同樣不可忽視。首先，戰場環境的改變和戰場的復雜性可能使人工智能系統做出錯誤判斷，從而影響指揮官的決策。其次，如果戰爭雙方均采用人工智能輔助決策系統，在戰場上對抗雙方部署的人工智能系統會使環境復雜化，超出一個或多個系統的解析力，進一步加劇了系統的脆弱性，并增加了事故和失誤的可能性。第三，人工智能使決策流程和時間被大大縮短，國家之間因意外事件導致的沖突升級風險便大大提升。如果人工智能參與核打擊的決策，后果將更加嚴重。美國國防部前副部長羅伯特·沃克曾以俄羅斯的“周長”核武控制系統為例說明人工智能不應參與管控核武器，因為它們會根據某些指標或數據做出錯誤判斷，啟動核武。在特殊情況下，人工智能可能會誤判一些潛在威脅，從而更輕易地引發核戰爭。

思考：如果輔助決策系統顯示敵人馬上要對我進行核打擊的概率是60%，我們應該如何抉擇？先發制人，還是靜觀其變？

自主武器系統的安全風險

自主武器系統可以實現“非接觸、零傷亡、低成本”的戰爭，降低了戰爭的門檻，很可能會導致武力的濫用。同時，自主武器系統無需人類干預自行決策的特點，割斷了戰場上人與人的情感關聯，減少了攻擊方的負罪感，有可能引發人道主義危機。由于缺乏價值判斷和主觀考量，自主武器系統或者無法合理評估對平民或民用物體的傷害，做出錯誤的攻擊行為，違反相稱性規則。如果自主武器無法適應戰爭態勢和環境的變化，自主武器系統還可能違反區分原則，誤傷平民。而如果允許自主武器適應環境變化，實現自我進化，則有可能失去人類控制。

自主武器系統迫使人類重新思考戰爭法的主體界定、適用范圍和基本原則等多內容，使現有的戰爭法面臨嚴重的考驗。

思考：在各利益相關方都事先認可人工智能具有“自我進化”可能性的情形下，程序“自我進化”導致的后果，該由誰負責？“誰制造誰負責”、“誰擁有誰負責”？還是“誰使用誰負責”？

人工智能安全治理

目前，人工智能正逐步應用到軍事領域，人工智能帶來的風險和挑戰也越來越嚴峻。如果不對其進行有效限制，人工智能一旦脫離人類期望的發展方向，其帶來的危害也將是巨大的，甚至是毀滅性的。在武器開發過程中，要堅持有效人類控制的原則。包括開發和使用過程中的控制。因此，應當給人工智能打造一套“規則”的牢籠，使其更好地服務人類。目前，社會各界已開始采取行動，包括加強人工智能安全監管，制定人工智能原則，制定人工智能安全標準，發展可解釋的人工智能技術等。