現在有很多技術可以欺騙人工智能，也有很多人工智能技術被用來欺騙人。在人工智能（AI）時代，安全問題不容忽視。

近幾年，人工智能技術在很多領域都取得了初步的成功，無論是圖像分類、視頻監控領域的目標跟蹤，還是自動駕駛、人臉識別、圍棋等方面，都取得了非常好的進展。那么，人工智能技術到底安全不安全？事實上，目前的人工智能技術還存在很多問題。

人工智能并不安全

現在有很多技術可以欺騙人工智能，如在圖片上加入一些對抗干擾。所謂對抗干擾，就是針對智能判別式模型的缺陷，設計算法精心構造與正常樣本差異極孝能使模型錯誤識別的樣本。本來是一幅手槍的圖片，如果加入一些對抗干擾，識別結果就會產生錯誤，模型會識別為不是槍。在人的前面掛一塊具有特定圖案的牌子，就能使人在視頻監控系統中“隱身”。在自動駕駛場景下，如果對限速標識牌加一些擾動，就可以誤導自動駕駛系統識別成“Stop”，顯然這在交通上會引起很大的安全隱患。另一方面，人工智能的一些技術現在正在被濫用來欺騙人。例如，利用人工智能生成虛假內容，包括換臉視頻、虛假新聞、虛假人臉、虛擬社交賬戶等。

不只在圖片和視頻領域，在語音識別領域也存在這樣的安全隱患。例如，在語音中任意加入非常微小的干擾，語音識別系統也可能會把這段語音識別錯。同樣，在文本識別領域，只需要改變一個字母就可以使文本內容被錯誤分類。

除了對抗攻擊這種攻擊類型外，還有一種叫后門攻擊的攻擊類型。后門攻擊是指向智能識別系統的訓練數據安插后門，使其對特定信號敏感，并誘導其產生攻擊者指定的錯誤行為。例如，我們在對機器進行訓練時，在某一類的某些樣本中插入一個后門模式，如給人的圖像加上特定的眼鏡作為后門，用一些訓練上的技巧讓機器人學習到眼鏡與某個判斷結果（如特定的一個名人）的關聯。訓練結束后，這個模型針對這樣一個人還是能夠做出正確的識別，但如果輸入另一個人的圖片，讓他戴上特定的眼鏡，他就會被識別成前面那個人。訓練的時候，模型里留了一個后門，這同樣也是安全隱患。

除了對抗樣本、后門外，如果AI技術被濫用，還可能會形成一些新的安全隱患。例如，生成假的內容，但這不全都是人工智能生成的，也有人為生成的。此前，《深圳特區報》報道了深圳最美女孩給殘疾乞丐喂飯，感動路人，人民網、新華社各大媒體都有報道。后來，人們深入挖掘，發現這個新聞是人為制造的?，F在社交網絡上有很多這樣的例子，很多所謂的新聞其實是不真實的。一方面，人工智能可以發揮重要作用，可以檢測新聞的真假；另一方面，人工智能也可以用來生成虛假內容，用智能算法生成一個根本不存在的人臉。

用人工智能技術生成虛假視頻，尤其是使用視頻換臉生成某個特定人的視頻，有可能對社會穩定甚至國家安全造成威脅。例如，模仿領導人講話可能就會欺騙社會大眾。因此，生成技術是否需要一些鑒別手段或者相應的管理規范，這也是亟須探討的。例如，生成虛假人臉，建立虛假的社交賬戶，讓它與很多真實的人建立關聯關系，甚至形成一些自動對話，看起來好像是一個真實人的賬號，實際上完全是虛擬生成的。這樣的情況該如何管理還需要我們進一步探索和研究。

人工智能安全隱患的技術剖析

針對AI的安全隱患，要找到防御的方法，首先要了解產生安全隱患的技術。以對抗樣本生成為例，其主要分為2類：一類是白盒場景下對抗樣本生成；另一類為黑盒場景下對抗樣本生成。白盒場景的模型參數完全已知，可以訪問模型中所有的參數，這個情況下攻擊就會變得相對容易一些，只需要評估信息變化的方向對模型輸出的影響，找到靈敏度最高的方向，相應地做出一些擾動干擾，就可以完成對模型的攻擊。黑盒場景下攻擊則相對較難，大部分實際情況下都是黑盒場景，我們依然可以對模型遠程訪問，輸入樣本，拿到檢測結果，但無法獲得模型里的參數。

現階段的黑盒攻擊可大致分為3類。第一類是基于遷移性的攻擊方法，攻擊者可以利用目標模型的輸入信息和輸出信息，訓練出一個替換模型模擬目標模型的決策邊界，并在替換模型中利用白盒攻擊方法生成對抗樣本，最后利用對抗樣本的遷移性完成對目標模型的攻擊。第二類是基于梯度估計的攻擊方法，攻擊者可以利用有限差分以及自然進化策略等方式來估計梯度信息，同時結合白盒攻擊方法生成對抗樣本。在自然進化策略中，攻擊者可以以多個隨機分布的單位向量作為搜索方向，并在這些搜索方向下最大化對抗目標的期望值。第三類是基于決策邊界的攻擊方法，通過啟發式搜索策略搜索決策邊界，再沿決策邊界不斷搜索距離原樣本更近的對抗樣本。

有攻擊就有防御，針對對抗樣本的檢測，目前主要有3種手段。第一種，通過訓練二分類器去分類樣本是否受到干擾，但通用性會比較差。通常而言，訓練一個分類器只能針對某一種特定的攻擊算法，但在通常情況下并不知道別人使用哪一種攻擊算法。第二種，訓練去噪器。所謂的對抗干擾基本上都是樣本中加入噪聲，通過去噪對樣本進行還原，從而實現防御。第三種，用對抗的手段提升模型的魯棒性，在模型訓練中加入對抗樣本，模型面對對抗樣本時會具有更強的魯棒性，提高識別的成功率，但訓練的復雜度較高。整體而言，這些方法都不很理想，我們亟須研究通用性強、效率高的對抗樣本的防御方法。

針對換臉視頻的生成，目前主流技術是基于自動編碼器進行人臉圖像重建。在模型訓練階段，所有的人臉圖像使用同一個編碼器，這個編碼器的目標是學習捕捉人臉的關鍵特征。對于人臉重構，每個人的臉都有一個單獨的解碼器，這個解碼器用于學習不同人的臉所具有的獨特特征。利用訓練后的編碼器與解碼器即可進行虛假人臉生成。

針對換臉視頻的鑒別，目前主流技術是基于視覺瑕疵進行鑒別，這個假設是換臉視頻具有不真實的情況。因此，可以對眨眼頻率、頭部姿態估計、光照估計、幾何估計等提取特征，利用這些特征去判斷人臉的圖片或者視頻的真假。

對抗攻防已取得一定研究成果

目前，我們在人工智能安全技術上加大了投入，圍繞人工智能安全領域的問題開展了一些研究。

第一個工作是針對視頻識別模型上的黑盒對抗攻擊。在該工作中，我們利用對抗擾動的遷移性，將圖像預訓練模型中得到的擾動作為視頻幀的初始擾動，并在此基礎上利用自然進化策略對這些初始擾動噪聲進行糾正。當我們得到針對視頻域特殊糾正后的梯度信息后，采用投影梯度下降來對輸入視頻進行更新。該方法可以在黑盒場景下，對主流視頻識別模型進行攻擊，這也是全球在視頻模型黑盒攻擊上的第一個工作。我們實現的結果是在目標攻擊情況下，需要3萬至8萬次查詢就可以達到93%的攻擊成功率，非目標攻擊只需要數百個查詢就可以完成對主流模型的攻擊。目標攻擊是指不僅讓這個模型識別錯，還要指定它把這個東西識別成什么，如把A的照片識別成B。非目標攻擊是指只要識別錯就可以了，識別成誰則不重要，如A的照片只要不識別成A就可以。

第二個工作是基于時空稀疏的視頻對抗攻擊。由于視頻數據的維度很高，導致攻擊算法的復雜度往往較高。對此，我們提出了基于時空稀疏的視頻數據對抗攻擊方法。時空稀疏是指在生成對抗擾動時，僅對特定幀的特定區域生成擾動，以此降低對抗擾動的搜索空間，提高攻擊效率。在該工作中，為了實現時空稀疏，我們根據啟發式規則衡量每個幀的重要性，選擇視頻幀的子集進行擾動；同時，在空間上我們選擇指定幀的寫入區域，如針對前景運動的人做一些干擾。以此實現高效的視頻黑盒攻擊。

第三個工作是針對視頻識別模型進行后門攻擊。針對后門攻擊，之前的研究都集中于圖像領域，且都是生成固定的棋盤格式的后門，這種方法在視頻上的攻擊成功率極低。對此，我們提出了一種針對視頻數據的后門攻擊方法。在該工作中，我們首先對視頻數據進行后門生成，并將后門圖案安插在視頻中不顯眼的角落，同時我們對原始視頻其他內容施加一些對抗干擾，使得我們識別的模型更加側重利用后門，以此得到污染數據，并用污染的數據替換原始數據集里對應的數據，實現后門攻擊。該工作在公開數據集上取得了比較好的攻擊結果，在很多類別上平均攻擊成功率可以實現80%左右，遠高于現有的基于圖像數據的后門攻擊方法。

技術對人工智能治理至關重要

未來，技術將在人工智能安全問題檢測以及相應規則落實上發揮重要的作用。在保障模型安全方面，通過發展對抗攻防理論設計更加魯棒的智能模型，確保智能系統在復雜環境下的安全運行，形成人工智能安全評估和管控能力。在隱私保護上，發展聯邦學習及差分隱私等理論與技術，規范智能系統分析和使用數據的行為，保障數據所有者的隱私。針對智能系統決策的可解釋性問題，發展機器學習可解釋性理論與技術，提升智能算法決策流程的人類可理解性，建立可審查、可回溯、可推演的透明監管機制。在決策公平方面，可以利用統計學理論與技術，消除算法與數據中的歧視性偏差，構建無偏見的人工智能系統。最后，為了保證人工智能技術不被濫用，可以通過發展大數據計算與模式識別等理論與技術，預防、檢測、監管智能技術被濫用的情況，創造有益于人類福祉的人工智能應用生態。

姜育剛，復旦大學教授、博士生導師，計算機科學技術學院院長、軟件學院院長、上海視頻技術與系統工程研究中心主任。
責任編輯：tzh