人工智能的快速發展的確值得欣喜，但快速發展的背后還有各種不完善的地方。比如，前不久麻省理工學院的一些學生，利用3D打印出來的烏龜，成功地讓谷歌的InceptionV3圖像分類器認為其是一個步槍。烏龜=步槍？這個差距還是非常巨大的。如果正在行駛的無人汽車，把一個停車標志看成了限速標志呢？這將會帶來多大的危險？

一輛自動列車在軌道上飛速行駛，它的攝像頭不斷地掃描著各種信號，以預測它的行駛速度應該有多快。它注意到了一個似乎需要提高速度的信號，然后照做了。幾秒鐘之后，火車險些出軌。后來，當一名人類調查員檢查出問題的標志時，他們得到的是一種截然相反的信號——是放慢速度，而不是加快速度。

這是一種極端的比喻，但它表明了當今機器學習面臨的最大挑戰之一。神經網絡能做的只能和它們所接受的信息一樣好。這導致了一些引人注目的例子，說明基于錯誤數據訓練的人工智能是有偏見的。但這些技術也容易受到另一種被稱為“對抗性的例子”的弱點的影響。當一個神經網絡將圖像識別為一件事物時，就會出現一個對抗性的例子——人類看到的是另外一種東西。

這一現象是在2013年發現的，當時一群來自谷歌和OpenAI的研究人員意識到，他們可以稍微改變圖像中的像素，使其看起來和人看到的一樣，但機器學習算法會將其歸類為完全不同的東西。例如，一個圖像可能看起來像一只貓，但是當一個計算機視覺程序看到它時，它是一只狗。

為什么這種巧合如此重要——而且有潛在的風險？想象一下，如果一輛自動駕駛汽車正沿著街道行駛，它可能把停車標志看成限速標志。如果有人能設計出一種財務文件，當一個人看到它時，它是一種樣子，但當它被掃描進電腦時，卻顯示出完全不同的數字，這意味著什么呢？或者，如果某個充滿惡意的人發明了一種武器，當美國運輸安全管理局的攝像頭掃描、使用深度學習來處理圖像的時候，這種武器似乎是無害的——比如說，一只烏龜？

當它們剛被發現的時候，對抗性的例子并不是令人擔憂的。許多研究人員認為這是一個極端案例，一個隨機的理論巧合。畢竟，在需要完全訪問算法內部的時候創建一個敵對的例子，它會欺騙用戶。研究人員只能用數字圖像來構建這些例子——如果你試圖打印出數字形式的圖像，那么你對圖像的超精確控制會立即被扭曲，因為打印機的分辨率無法在如此詳細的水平上捕捉像素的變化。例如，盡管你可以成功地騙過一種算法，讓你以為是狗的圖片在它看來是只貓，但如果你把圖像打印出來，并要求算法識別它時，它就不會被騙了。在現實世界中改變一個物體似乎更加困難。這似乎是一個不可能的挑戰，要創造出一個物體，在形狀方面有如此細微的變化，以至于人工智能會把它誤認為是別的東西。另外，即使你做到了，一旦改變了角度也不會奏效。

或者說，學界的想法就是這樣的。但本月早些時候，麻省理工學院的一組學生成功用3D打印做了一個看起來像一只可愛的小烏龜的物體——但被機器學習算法當作步槍來分類。麻省理工學院的博士生AnishAthalye說：“我們已經證明了它們不是利用奇怪的角落或奇怪部件。實際上，你可以在現實生活中偽造這些物體，從而騙過機器學習算法。”

學生們創建了自己的算法，無論模糊，旋轉，縮放，還是角度的任何變化（無論是打印出的2D圖像還是3D模型），都可以產生物理對抗性的例子。換句話說，他們的烏龜式步槍不只是一次性的。例如，他們用3D打印出的棒球，被電腦認為是濃縮咖啡。它可以可靠地騙過谷歌的InceptionV3圖像分類器——可以識別1000個不同的物體的圖像。這些算法已經存在于我們的手機和電腦上，使得照片庫可以被搜索到，并使得在網上可以很容易對圖片中對朋友進行標記。

在被問到如何應對敵對的例子時，谷歌指出，谷歌的研究人員已經在著手解決這個問題，該公司正在進行一項競賽，目的是創建一種圖像分類算法，不會被對抗性例子所愚弄。

這個3D打印的棒球，在電腦看起來就像是一杯濃縮咖啡。

麻省理工學院的學生們的工作給將原本只存在于理論上的擔憂變成了現實。“風險很高，”Athalye說，他有計算機安全方面的背景。“我們還沒有打破真正的系統，但我們已經比人們想象的更接近這一步了。”

并不是只有Athalye和他的同事們在這方面進行努力。來自華盛頓大學、密歇根大學、石溪大學和加州大學伯克利分校的一組學者能夠打印出貼紙，并將其附著在停止標記上，從而使圖像分類神經網絡將它們識別為別的東西。對停車標志的微小改動可能看起來像是給司機（或乘客）的涂鴉，但自動駕駛汽車會看到一個讓車標志或限速標志。除了擾亂交通，這可能是危險的：如果一輛車沒有看到停車標志，并穿過十字路口，它就會撞上另一輛車，讓人們的生命處于危險之中。

Athalye說：“在實際系統中，對抗性的例子應該是一個真正值得的問題。如果我們能做到這一點，壞人也能做到。”

部分問題在于，研究人員并不完全理解為什么會出現對抗性的例子——盡管很多人能自己創造出這方面的例子。如果沒有對這一現象的深刻理解，就很難建立起防御機制，使圖像分類器神經網絡不容易受到機器學習中最令人費解的特性的影響。

但這并不意味著研究人員沒有嘗試。據加州大學伯克利分校的博士后研究員BoLi說，目前已經有60多篇論文致力于在各種不同的語境中尋找對抗性的例子。他曾致力于制作貼紙，以改變算法對街頭標識的看法。

一些人樂觀地認為，最終研究人員將能夠找到一個解決方案，并找到一種方法來預防這種對抗性。對于安全研究人員來說，將能夠通過特定的軟件解決方案來抵御特定的威脅，這一點仍然是積極的。這可能不是一個能保護所有攻擊的萬能工具，而是防范特定類型威脅的防御措施。

NicolasPapernot是賓夕法尼亞州立大學計算機科學研究生，他指出，研究人員正開始尋找解決方案，無論成果多么有限。他在電子郵件中告訴我：“我非常樂觀地認為，我們可以取得進步，最終實現強大的機器學習。”安全和機器學習社區也進行了卓有成效的交流。例如，今年3個不同的研究小組報告了對視覺模型進行基準測試的三個關鍵任務：手寫數字識別、街景房屋號碼識別，以及對象和動物的彩色圖像分類。

其他人則不那么肯定。NicholasCarlini是加州大學伯克利分校計算機安全專業的一名博士生，他想要攻破其他學者對對抗性例子的防御機制。“我有點像壞人，”他說。“我說對不起，不，這沒用。”作為攻擊者，我可以根據你的防御來調整波長以進行攻擊。”

Carlini已經發表了幾篇關于他的攻擊的文章，在2017年5月的一篇文章中，他廢除了10個不同的防御計劃，并正在進行更多的工作。他認為，他的研究是一種扼殺研究思路的方法，他認為這些研究不會帶來任何領域的進步，學者需要將研究的火力集中在更有前途的方法上。在有限的情況下，這樣的一種方法會迫使攻擊者歪曲對手的樣例照片，以致于人眼能明顯察覺到。盡管如此，為了抵御特定的、有限的攻擊，少數有效的防御手段還是無法在數據集之間進行轉換。

至少根據Carlini的說法，這是一個光明的一面。他說：“在一般安全社區，我們遇到了這樣一個問題，在人們開始真正試圖攻擊他們之前，系統已經被使用了20年，我們意識到攻破它們已經太晚了，我們已經被問題困住了。令人興奮的是，在這些東西真正被投入使用之前，人們正在努力解決這個問題，因為這意味著我們有希望解決問題，至少有一點，或者至少在我們付諸實踐之前就能理解這個問題。”

即使是3D打印的海龜也只能工作，因為Athalye和他的同事們能夠接觸到他們能夠愚弄的神經網絡的內部機制——一個“白盒子”的情況。研究人員是否能夠在不知情的情況下創造出物理對抗的例子還有待觀察，即所謂的“黑匣子”情況。這就是真實世界的攻擊者的處境，因為美國運輸安全管理局肯定不會把代碼發布到任何可以用來掃描行李的神經網絡上。Athalye說，在不考慮圖像分類器的代碼的情況下，找出如何做出對抗性的例子是他的下一個目標。

盡管這看起來很可怕，但Athalye并不認為我們需要擔心——至少現在還沒有出現。“沒有理由恐慌。”他說：“我認為我們的工作是及時的，而且有可能損害系統。但我們還沒有發現能夠撞到別人的特斯拉。”