9月15日消息，《連線》網站撰文指出，Facebook名為Rosetta的人工智能技術平常可分析數十億張包含文本的圖像，能夠分析表情包，但它能像人類那樣理解表情包的內涵嗎？

以下是文章主要內容：

每天都有數十億的文本帖子、照片和視頻被上傳到社交媒體上，這是人類審核員無法全面篩選的一個信息量級。因此，Facebook和YouTube等公司長期以來一直依賴人工智能來幫助解決垃圾郵件和色情內容等問題。

不過，對于機器來說，審核像白人至上主義的表情包這樣的東西可能更具挑戰性，因為這項任務需要同時處理幾種不同的視覺元素。自動化系統需要檢測和“讀取”疊加在照片上的文字，并分析圖像本身。表情包也是一種復雜的文化產物，很難脫離語境去理解。盡管它們帶來了挑戰，但一些社交平臺已經在使用人工智能來分析表情包，其中包括社交網絡巨頭Facebook。Facebook本周分享了它如何使用一種名為Rosetta的工具來分析包含文本的照片和視頻的細節。

Facebook表示，它已經在使用Rosetta來自動檢測違反其仇恨言論政策等規定的內容。該公司本周還宣布，在該工具的幫助下，它正在擴大其第三方事實核查的努力，納入照片和視頻，而不僅僅是基于文本的文章。Rosetta將自動檢查包含文本的圖像和視頻是否曾被標記為錯誤，從而幫助完成審查。

Rosetta通過將光學字符識別(OCR)技術與其他機器學習技術相結合來處理照片和視頻中的文本。首先，它使用OCR來識別文本在表情包或視頻中的位置。你可能以前用過類似OCR的東西；它可以讓你快速瀏覽紙質表單，并將其轉換為可編輯的文檔。該自動化程序知道文本塊的位置，并能將它們與你應該簽名的地方區分開來。

一旦Rosetta知道文本在哪里，Facebook就會使用一個神經網絡來轉錄文本并理解其含義。然后，它可以將文本傳輸到其它的系統，比如一個檢查表情包是否與已經被揭穿的病毒騙局有關的系統。

Rosetta的研究人員表示，該工具現在可以實時從公開上傳到Facebook的每張圖片中提取文本，并且可以“閱讀”多種語言的文本，包括英語、西班牙語、德語和阿拉伯語。(Facebook表示，Rosetta不會用于掃描用戶在時間軸上私密分享的圖像或私信。)

Rosetta可以分析包含多種文本形式的圖像，比如抗議標識、餐廳菜單、店面等的照片。在Facebook工作的軟件工程師維斯瓦納斯·西瓦庫馬爾(Viswanath Sivakumar)在一封電子郵件中說，這個工具既能識別景觀中的文本(比如街道標識)，也能識別表情包——但后者更具挑戰性。他寫道，“在主動檢測仇恨言論和其他違反政策內容的情況下，分析表情包式的圖像是一項更加復雜的人工智能挑戰。”

西瓦庫馬爾指出，與人類不同，人工智能通常需要看到成千上萬個例子才能學會完成復雜的任務。但是，即便是對于Facebook而言，表情包方面的例子也不是無窮無盡的，而且在不同的語言上收集足夠多的例子也很困難。尋找高質量的訓練數據是人工智能研究的一個持續性挑戰。數據通常需要花費大量的功夫來進行手工標記，而且許多數據庫都受到版權法的保護。

為了訓練Rosetta，Facebook的研究人員使用了在網站上公開發布的含有某種文本形式的圖片，以及它們的標注和發布地點信息。他們還創建了一個程序來生成額外的示例，這種做法的靈感來自于牛津大學的一個研究團隊在2016年設計的一種方法。這意味著整個過程在某種程度上是自動化的：一個程序自動地產生表情包，然后另一個程序試圖分析它們。

不同的語言還給Facebook的人工智能團隊帶來了其它的挑戰。例如，研究人員必須找到一種變通方法來使得Rosetta能夠用于阿拉伯語等語言。阿拉伯語從右到左閱讀，與英語等其他語言相反。Rosetta倒著“閱讀”阿拉伯語，經過處理后，Facebook將那些字符顛倒過來。研究人員在他們的博客中寫道：“這個技巧的效果出奇的好，讓我們有了一個統一的模型，它既適用于從左到右的語言，也適用于從右到左的語言。”

雖然自動化系統在內容審核方面非常有用，但它們并不總是萬無一失的。例如，騰訊的微信絡使用兩個不同的算法來過濾圖像，多倫多大學公民實驗室的一個研究團隊成功地騙過了它們。第一個算法是基于OCR的程序，會過濾含有特定話題文本的照片，而另一個算法則會審查那些看起來與中國政府可能創建的黑名單相似的照片。

研究人員能夠通過改變圖像的屬性，比如顏色或方向，輕易地避開微信的過濾器。雖然Facebook的Rosetta更加先進，但可能也不是完美無缺；該系統可能會受困于難以閱讀的文本或扭曲的字體。所有的圖像識別算法也仍然可能會受到對抗性的例子的影響，那些經過輕微改動的圖像在人類看來是一樣的，但會導致人工智能陷入混亂。

在對特定種類的內容的審核方面，Facebook和Twitter、YouTube和Reddit等其他的平臺在多個國家都面臨著巨大的壓力。周三，歐盟提出了一項新的法規，要求社交媒體公司在接到通知后一小時內刪除***的帖子，否則將面臨罰款。Rosetta和其他類似的自動化工具已經在幫助Facebook和其他平臺在德國等地遵守類似的法律。

它們在那方面也做得更好了：兩年前，Facebook首席執行官馬克·扎克伯格(Mark Zuckerberg)曾說，Facebook的人工智能系統只能主動捕捉到該公司所刪除內容的一半左右；人們必須先要標記其余要刪除的內容。現在，Facebook表示，它的人工智能工具可以檢測到幾乎100%的垃圾郵件、99.5%的恐怖內容和86%的暴力圖片。YouTube等其他平臺在利用自動內容檢測系統上也取得了同等程度的成功。

然而，這些喜人的數字并不意味著像Rosetta這樣的人工智能系統是完美的解決方案，尤其是當涉及到更微妙的表達形式的時候。與餐館菜單不同的是，如果不知道表情包的發布背景，就很難理解它的含義。這就是為什么有很多網站在致力于解釋它們。表情包通常描述的是圈內笑話，或者是針對特定的網絡亞文化。人工智能仍然不能像人類那樣理解表情包或視頻。就目前而言，Facebook仍需要依靠人工審核員來決定是否應該刪除某個表情包。