近年來，AI 技術在圖像識別、語音識別、自然語言翻譯等領域得到廣泛應用。因此，在關鍵的 AI 應用場景上，其安全問題也逐步成為企業所擔憂和關注的話題。

如果說模型誤判是對 AI 系統攻擊，那么信息泄露就是對 AI 系統的竊取。這種攻擊可導致模型功能被第三方還原，造成用戶隱私的泄漏、公司信息資產被竊取等巨大危害。

一個良好的模型，往往需要大量的算力訓練與高質量的數據支持。很多場景下，企業將訓練好的模型部署在云端，開放 API 接口供用戶使用。用戶可以根據大量的輸入查詢，得到大量模型輸出，從而對此系統建模，逆向還原其功能，進而降低商用模型的競爭力并削減其收益。

在醫療或金融領域，用戶的數據是極為重要的資源，如果泄露，會造成嚴重的隱私危機和商業價值流失。由于機器學習是數據驅動的，研究者通常采用分布式方法打破數據孤島，聯合企業間數據，并保證數據安全。

但是在這種場景下，訓練者依然有可能竊取數據端的內容。此外，如果項目成果以模型的方式交付，攻擊者也有可能基于所得模型逆向恢復出訓練數據，引發隱私危機。在考慮模型性能的同時，技術人員與用戶也要對 AI 系統自身的安全有所考慮，確保 AI 模型在業務場景下的安全性，從而避免被攻擊者輕易控制、影響、或欺騙，也避免造成結果誤判或隱私數據泄漏等嚴重后果。

9 月 25 日，騰訊發布業內首個 AI 安全攻擊矩陣。這是一份具有高實用性的 AI 安全技術指導框架，首次全面梳理了學術及工業界最前沿的 AI 安全研究，并從攻擊者視角系統列舉了 AI 技術研發部署各個環節中的攻擊過程與技術實現手段，可幫助 AI 從業者快速了解全生命周期下 AI 系統的風險點與對應緩解方法，為 AI 系統的安全部署和應用落地提供重要的技術參考。

圖｜AI 安全的威脅風險矩陣（來源：騰訊）

據了解，該矩陣由騰訊兩大實驗室騰訊 AI lab 和朱雀實驗室聯合編纂，并借鑒了網絡攻防領域中成熟度高、實戰意義強的開源安全研究框架 ATT&CK，全面分析了攻擊者視角下的戰術、技術和流程，能幫助防御者更精準地掌握安全響應方法與防御措施。相比從單一角度研究算法的安全問題，該矩陣的實用價值和參考意義更高。

該 AI 安全的威脅風險矩陣，不僅強調真實場景，還按照較成熟、研究中、潛在威脅三種成熟度直觀地將攻擊技術分類。據騰訊 AI Lab 介紹，矩陣編撰的核心難點在于如何選取和梳理 AI 系統安全問題的分析角度。

作為一種與其他軟硬件結合運作的應用程序，AI 系統安全的分析切入角度與傳統互聯網產品并不完全一致。經過充分調研，該團隊最終從 AI 研發部署生命周期的角度切入，總結歸納出 AI 系統在不同階段所面臨的安全風險，從全局視角來審視 AI 的自身安全。

在上述思想的指導下，該矩陣能夠像字典一樣便捷使用。研究人員和開發人員根據 AI 部署運營的基本情況，可對照風險矩陣，來排查潛在安全問題，并根據推薦的防御建議，降低已知的安全風險。

圖｜攻擊者的入侵手段示意圖（來源：騰訊）

據悉，騰訊朱雀實驗室則專注于實戰攻擊技術研究和 AI 安全技術研究，以攻促防、守護騰訊業務及用戶安全。此前，朱雀實驗室就曾模擬實戰中的黑客攻擊路徑，直接控制 AI 模型的神經元，為模型“植入后門”，在幾乎無感的情況下，實現完整的攻擊驗證，這也是業內首個利用AI模型文件直接產生后門效果的攻擊研究。

-End-

原文標題：騰訊發布業內首個AI安全攻擊矩陣，可像查字典一樣排查風險

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq