2018 年 12 月 17 日，Tumblr(湯博樂)網站宣布即日起全面禁止色情內容。當這項新的政策實施了兩周后，就立馬暴露出了問題。在Tumblr的人工智能系統(tǒng)成功部署后，它對一些中立的內容進行了錯誤標記，導致該網站的4.554億個博客和1662億個帖子無辜躺槍。它們的內容僅包含花瓶、女巫、魚類以及介于它們中間的所有內容。

目前該公司并未對此有任何回應，也不清楚Tumblr使用的是何種內容過濾技術，或者是否創(chuàng)建了自己的內容過濾系統(tǒng)，但顯然，社交網站在政策和技術方面都陷入了困境。例如，關于“女性乳頭”和“藝術裸體”的外延，Tumblr 認為是取決于上下文語境，這透露出Tumblr自己也不確定它想要在平臺上禁止什么內容。也難怪，站在企業(yè)的立場，究竟該如何定義“淫穢”內容呢？

01

如果難以定義，就很難阻止“淫穢”內容

首先，定義“淫穢”本是個陷阱。歷史可以追溯到1896年左右，當時美國首次通過規(guī)范“淫穢”的法律。1964 年，“雅各貝利斯訴俄亥俄州”一案中，關于俄亥俄州是否可以禁止出演著名的路易·斯馬勒（Louis Malle）電影，最高法院給出了可能是迄今最著名的有關“硬核色情”的一句話。

“我今天不打算進一步去定義我所理解的那種在速記中被包含的內容，‘硬核色情片’，也許我永遠也不會成功地做到這一點。但我知道，當我看到它的時候，它的動作畫面就不是這樣了。” 法官波特·斯圖爾特在他的贊同意見中如是說。

機器學習算法也處于同樣的窘境，這是Picnix（一家提供定制化AI服務的公司）的首席執(zhí)行官Brian DeLorge正試圖解決的問題。Iris是其產品之一，專門用于檢測色情內容的客戶端應用程序。正如DeLorge所說，“誰不希望生活中有點色情內容？”他指出另一個問題，色情片可以是很多不同的東西，但色情與非色情圖像會共享相似的圖像特征。

一張海灘上派對的照片可能被封殺不是因為它上面展現(xiàn)的皮膚比一張辦公室的照片更多，而是因為它觸碰到色情圖像的邊緣線了。“這就是為什么很難將圖像識別算法訓練成一種可廣泛應用的解決方案，”DeLorge繼續(xù)說到，“如果關于“淫穢”的定義對人類來說很困難，那對機器學習技術來也同樣如此。”如果人們無法就色情是什么達成一致，那么AI是否有望學習里面的差異呢？

02

教 AI 如何檢測色情片，第一件事就是收集色情片作為訓練集

網上有很多的色情片。在哪里可以得到它們呢？ “人們經常從Pornhub、XVideos等網站下載，”Lemay.ai的聯(lián)合創(chuàng)始人兼首席技術官Dan Shapiro說到。Lemay.ai是一家為其客戶創(chuàng)建 AI 過濾技術的初創(chuàng)公司。“這是一個合法的灰色地帶，但如果你正在使用其他人的內容進行訓練，（訓練）結果是否屬于你？”

從你最喜歡的色情網站獲得訓練數(shù)據(jù)集之后，下一步是從色情的視頻中刪除所有不是色情內容的幀，以確保你正在使用的幀不是像一個拿著披薩盒子的人。平臺會向大多數(shù)美國以外的人付費，來標注這些內容。這通常是一個低工資的重復勞動，就好像那些每次填一個驗證碼的工作。Dan Shapiro說到，“他們只是標注像‘這種色情片’或‘那種色情片’。通常你還可以再過濾一下，因為色情片上已經有很多可用的標簽了”。當你使用不僅僅包含色情內容的大數(shù)據(jù)集時，訓練效果往往會更好。”

Shapiro說：“很多時候，你不僅需要過濾色情內容，而且也需要過濾掉與色情內容相近的東西。像人們貼出的這些虛假檔案，一張女孩的照片，一個電話號碼。”在這里，他指的是尋找客戶的性工作者，但很容易就被誤認為是合法問題。“這不是色情片，但它是你不想放在平臺上的東西，對嗎？”一個好的自動化的檢測模型至少需要在數(shù)百萬級的內容上進行訓練，這意味著需要投入大量的人力。

“這就類似于孩子和成年人間的不同，”Clarifai的創(chuàng)始人兼CEOMatt Zeiler說道，Clarifai是一家為企業(yè)客戶提供圖像過濾的計算機視覺創(chuàng)業(yè)公司。“我可以說這是事實，幾個月前我們剛生了一個孩子。他們對這個世界一無所知，一切都是新的。“你必須向寶寶展示很多東西，以便他們學習。“你需要數(shù)以百萬計的例子，但對于成年人，由于現(xiàn)在我們已經擁有了很多關于世界的背景知識，并理解它是如何運作的，我們只需要幾個例子就可以學到新東西，”他說。

上述文字解釋一遍就是：訓練AI系統(tǒng)來過濾成人內容，就好比向寶寶展示大量的色情內容。

今天，像Clarifai這樣的人工智能技術供應商已經成長起來了。他們對世界有很多基礎知識，也就是說他們知道狗是什么樣，貓是什么樣，什么是樹，什么不是樹，以及最重要的，什么是裸體，什么不是裸體。Zeiler的公司使用自己的模型為其客戶訓練新模型，因為原始模型已經能處理很多數(shù)據(jù)，因此定制的版本僅需要來自客戶的新訓練數(shù)據(jù)，就能啟動和運行。

03

人工智能算法的判斷不一定準確

對明顯是色情的內容，分類器效果很好；但它可能會錯誤地將內衣廣告標記為色情，因為圖片中的皮膚比例更多。（例如，分類器很難正確分辨比基尼和內衣。）這意味著做標簽的人必須對那些模棱兩可的訓練集更細心，需要優(yōu)先考慮模型難以分類的內容。那其中最難的一個例子是什么呢？

“動漫色情片。我們的第一版色情檢測算法沒有接受過任何卡通色情內容的訓練。”很多時候人工智能系統(tǒng)會失敗，因為它不理解什么是變態(tài)。“因此，一旦我們?yōu)樵摽蛻糇鲞@樣的工作，我們就將大量數(shù)據(jù)整合到模型中，就大大的提高了檢測漫畫的準確性，并同時保持了在真實照片上的檢測準確率，”Zeiler說。“你不知道你的用戶會做什么。”

用來檢測色情片的技術也可以用來檢測其他東西。系統(tǒng)的基礎技術非常靈活。這個靈活度比得上動漫里夸張的胸部。Perspective，是一個來自 Alphabet's Jigsaw的被廣泛用于報紙自動評論的模型。

Jigsaw的溝通主管Dan Keyserling說，在Perspective之前，“紐約時報”只對大約10％的作品發(fā)表評論，因為他們的版主可以在一天內處理的數(shù)量有限。他聲稱Jigsaw的產品可以使這個數(shù)字增加三倍。該軟件與圖像分類器的工作方式類似，不同之處在于它對“毒性”進行排序，它們定義“毒性”為某人可能會根據(jù)評論而不是色情進行的對話。（毒性在文本評論中同樣難以識別，就好比識別圖像中的色情圖像。）再比如，F(xiàn)acebook使用類似的自動過濾技術來識別有關自殺的帖子和內容，并試圖利用該技術在其龐大的平臺上發(fā)現(xiàn)虛假新聞。

04

整個事情仍依賴于標記數(shù)據(jù)才能發(fā)揮作用

Zeiler并不認為他的產品會讓任何人失業(yè)。它本來就是在解決互聯(lián)網上的“尺度問題”。一個婚禮博客Clarifai使用其產品來進行自動化的內容審核，而以前負責審批圖像的編輯則轉向從事定性標記的任務。這并不是要降低自動化下真正的人力成本。人們必須對AI進行訓練，并對內容進行分類然后進行標記，以便AI能夠識別哪些不能或可能導致創(chuàng)傷后應激障礙（PTSD）。

這才是未來應有的樣子：公司提供個性化，現(xiàn)成的解決方案，使其全部業(yè)務能夠在越來越多的數(shù)據(jù)上訓練更好的分類器。就像Stripe and Square為不想在內部處理支持的企業(yè)提供現(xiàn)成的支付解決方案一樣，而AWS已經確立了自己作為托管網站的地位，像Zeiler的Clarifai、DeLorge的Picnix、Shapiro的Lemay.ai等創(chuàng)業(yè)公司正在爭相成為在線內容審核的一站式解決方案提供商。Clarifai已經擁有適用于iOS和Android的軟件開發(fā)套件，Zeiler表示正在努力讓產品在物聯(lián)網設備（如安全攝像頭）上運行，但實際上，那意味著每個設備上都需要有優(yōu)化的AI芯片或足夠的終端計算資源。

Lemay.ai的Dan Shapiro滿懷希望。“與任何技術一樣，它還沒有完全發(fā)明成功，”他說。“所以這樣做是不合理的，就好比我對一家公司的安排不滿意，就開始想著放棄。”但無監(jiān)督學習是否是一條好的出路？這就比較費解了。 他說：“你需要從某些地方獲得訓練數(shù)據(jù)”，這意味著總會涉及到人的因素。“不過這是一件好事，因為它會減輕人們的壓力。”

另一方面，Zeiler認為AI終有一天能夠自己適應一切。他說：“我認為很多人的努力方向將轉變?yōu)槿斯ぶ悄芙裉鞜o法做到的事情，比如高級推理、自我意識，就像人類所擁有的那樣。”

識別色情片就是其中的一部分。識別它對于人來說是一項相對簡單的任務，但訓練算法識別其中的細微差別卻要困難得多。弄清楚檢測模型將圖像標記為色情或非色情的閾值也很困難，而且還受到數(shù)學上的限制。該函數(shù)稱為精確-召回率曲線（precision-recall curve），它描述了模型返回結果的相關關系，但是人類需要的是靈敏度。

正如Alison Adam在其1998年出版的《人工知識：性別與機器思維》一書中提到的那樣，無論是學習、在空間中移動和互動、推理，還是使用語言，AI的目的是“模擬人類智能的某些方面”。AI是我們如何看待世界的一個不完美的鏡子，就像色情是當兩個人獨處時的反應一樣：它可以說是一種片面性的真理，但卻不是整個全貌。