在本周由民主與技術(shù)中心在布魯塞爾舉行的小組討論中，我討論了AI驅(qū)動(dòng)的內(nèi)容審核技術(shù)的功能和局限性。其他小組成員包括現(xiàn)任S&P Global的Armineh Nourbakhsh，她討論了在路透社期間幫助開發(fā)的Tracer工具，以及與CDT的EmmaLlansó，討論了她與他人合著的最新論文《混合消息?自動(dòng)化社交媒體內(nèi)容分析的局限性。” 歐盟委員會的Prabhat Agarwal提供了有見地的決策者觀點(diǎn)。

平臺和其他Internet參與者使用自動(dòng)化程序?qū)ο到y(tǒng)上的非法材料(例如仇恨言論或恐怖分子材料)采取行動(dòng)。他們還使用相同的技術(shù)來強(qiáng)制執(zhí)行自己要求的用戶自愿服務(wù)條款，以維護(hù)穩(wěn)定和有吸引力的在線環(huán)境。最后，存在一種中間類型的內(nèi)容，它不僅不吸引人，本身并不完全違法，而且是有害的并且需要加以控制。虛假信息活動(dòng)屬于此類。

現(xiàn)在討論自動(dòng)刪除此材料的原因不僅是技術(shù)上的。政策制定者非常關(guān)心用于內(nèi)容審核的系統(tǒng)的有效性，并正在推動(dòng)平臺做更多的事情。有時(shí)，這會溢出到法規(guī)要求中。

在 最近公布的歐盟法規(guī)草案防止在線恐怖內(nèi)容就是一個(gè)很好的例子。許多關(guān)注點(diǎn)集中在其提案上，該提案允許成員國的主管國家主管部門要求平臺在收到通知的一個(gè)小時(shí)內(nèi)刪除恐怖分子內(nèi)容的特定實(shí)例。但是，更令人擔(dān)憂的是，它要求平臺必須采取“主動(dòng)措施”，旨在首先防止恐怖分子的資料出現(xiàn)在系統(tǒng)上。由于主動(dòng)措施是針對恐怖分子內(nèi)容的自動(dòng)阻止系統(tǒng)，因此擬議的法規(guī)明確規(guī)定了對當(dāng)前電子商務(wù)指令的克減，以規(guī)定對恐怖分子內(nèi)容進(jìn)行監(jiān)視的職責(zé)。更糟的是，如果一家公司收到太多的拆除訂單，并且無法與監(jiān)管機(jī)構(gòu)就設(shè)計(jì)改進(jìn)達(dá)成協(xié)議。

刪除決定必須使用明確的標(biāo)準(zhǔn)，并且這些標(biāo)準(zhǔn)必須透明，以便用戶可以對超出范圍和可接受的范圍形成期望。此外，需要對各個(gè)刪除決定進(jìn)行說明，以說明觸發(fā)刪除的內(nèi)容的特定功能或方面。最后，由于沒有一個(gè)系統(tǒng)能完美無缺，因此需要一種糾正機(jī)制，以便在錯(cuò)誤刪除材料后可以對其進(jìn)行恢復(fù)。作為模型，請看一下美國信貸行業(yè)的做法，該行業(yè)具有世代相傳的透明，解釋和補(bǔ)救措施。

出于EmmaLlansó在其論文中概述的原因，僅依靠自動(dòng)化系統(tǒng)進(jìn)行清除是一個(gè)錯(cuò)誤。錯(cuò)誤率太高了，始終需要人工檢查，以確保在刪除內(nèi)容之前充分考慮內(nèi)容的上下文和含義。