某科技公司技術中心運營部晨會

安全主管老王：“兄弟們，持續一周的數據防泄漏演習中，客戶名單輕易發送到了私人郵箱！財務的報銷單截圖在朋友圈曬了三天！法務的合同草稿居然出現在相親相愛一家人的群里？！數據防泄漏任務艱巨啊，我們的技防手段還是存在明顯的不足呀！”

部門眾兄弟心中默到：“第1024次失敗了...防不甚防啊，一周的加班毀于一旦，”

為啥敏感數據防不甚防？

數據量大
每天每人至少產生GB級別數據，隨著用戶數增加，相關關聯、外部交換數據會出現激增。
文件格式多樣
文字報告、財務表格、合同掃描件、會議錄音、監控截圖、聊天記錄、設計圖紙，文件格式多樣，數據展示形態多樣。
文件流轉途徑多
即時通信工具、電子郵件、USB外設、視頻拍照，交互越多，通道越多。

數據防泄漏的關鍵在于對于數據的敏感性識別，除了無限量使用人力做純“人工智能”識別，有沒有更好的方案來解決這個問題？當然有，多模態AI了解一下。

什么是多模態AI？

通俗的說，讓AI像人類一樣綜合運用五感來感知認識世界。
多模態AI = 視覺 + 文本 + 語音 + 跨模態理解*數據融合
舉個簡單的例子：

從這里例子我們可以看出，相較于單模態的識別，多模態AI的判斷會更準確，從而提供更高的準確性。

簡單的多模態AI識別系統架構如下圖所示：

基本功能模塊構成包括如下：
文本感知，通常使用NLP語義分析+正則分析技術，常用于合同條款、身份證號、密鑰分析
圖像感知，通常使用目標檢測+OCR透視眼技術，主要用于處理截圖中的二維碼、公章、表格數據
語音感知，通知通過聲紋識別+關鍵詞捕捉，可以用識別會議錄音中的電話號碼等
多模態決策引擎，通過對于感知模塊數據進行綜合判定來最終確認“這數據到底多敏感”。

主流架構對比

多模態AI可以用做什么？

誤殺率下降
以前：把“交易金額：一塊兩毛五”識別成敏感數據（金額也是錢！嚴謹！）
現在：自動忽略小額轉賬截圖（AI：呵，人類窮得如此安全...）

檢出率提升
成功攔截《公司燒烤福利申請表》里隱藏的客戶手機號（提交人：“我寫調料偏好里也能被發現？！”）

最好的安全防護，不是讓人類變成機器，而是讓機器學會人類的幽默與溫度。

審核編輯 黃宇