需要大量的注釋數據；難以在標準測試集外取得良好表現；對于數據的微小變化尤為敏感。

這都是近年來深度學習被詬病的缺陷。

即便深度學習已經在諸多領域得到廣泛應用，但這三大缺陷也成為了深度學習仍舊無法完全勝任自動駕駛、醫療診斷等“敏感”任務的致命弱點。

畢竟，如果一臺自動駕駛系統因為訓練數據集中不包含“坐在路上的嬰兒”這一情境，就無法作出正確的避讓判斷，想必不會有人會放心讓這一系統完全接管方向盤。

那么，這些問題的背后，究竟體現了深度神經網絡怎樣的致命缺陷呢？

近期，計算機視覺的奠基人之一、約翰霍普金斯大學教授Alan Yuille和他的學生劉晨曦撰寫了一篇博文，詳述了深度網絡局限性的本質所在。

那么，什么是組合爆炸問題呢？

讓我們先來看下面這個例子。

圖1 :添加遮擋體(Occluders)會導致深層網絡失敗。左：添加遮擋體摩托車將猴子變成了人類。中心：添加遮擋體自行車將猴子變成人，叢林將自行車把手變成鳥。右：添加遮擋體吉他將猴子變成了人類，叢林將吉他變成了一只鳥。

這張圖顯示了將吉他照片添加到叢林中的猴子照片中的效果。Deep Net錯誤地將猴子識別為人類并將吉他誤解為鳥類，大概是因為Deep Net認為猴子不可能攜帶吉他，并且鳥類比吉他更可能在猴子附近的叢林中出現。

這種對背景的過度敏感可以歸因于有限的數據集大小。對于任何對象，數據集中僅出現有限數量的背景，因此神經網絡就會發生判斷偏差。

例如，在早期數據集中，長頸鹿僅在樹木邊出現，因此，如果長頸鹿附近如果沒有樹，那神經網絡就無法正確識別，即使它們是圖片中最主要的對象主體。

捕捉各種各樣背景的困難，以及探索大范圍的滋擾因素的需要，造成了Deep Nets這類方法的缺陷。

關于組合爆炸

上面這一問題就是“組合爆炸”很好的例子。

真實世界圖像集是組合的。因此，任何數據集（無論多大）都很難代表現實世界的復雜性。

組合能產生出多大的集合呢？

想象一下，我們可以在一個場景中隨意添加各種物體，這顯然可以用很多方式完成。即使對于單個對象的圖像，我們也可以獲得類似的復雜度，因為它可以以指數增加的方式添加被部分遮擋的情況。我們還可以通過無數種方式更改對象的背景。

盡管人類能夠自然地適應視覺環境的變化，但是深度神經網絡卻更敏感，然而更容易出錯，就如圖1所示。

在某些視覺任務中，這種組合爆炸基本不會發生。深度神經網絡在醫學圖像的應用中可謂是非常成功，因為其背景的變化相對較小（例如胰腺總是非常接近十二指腸）。

但是，對于許多日常使用的應用程序來說，如果沒有指數級別的數據集，我們就無法捕捉到現實世界的復雜性。

這就帶來了巨大的挑戰——在數量有限、隨機抽取的樣本上訓練和測試模型的標準范式變得不切實際。

所以這迫使我們解決兩個新的問題：

我們怎樣在有限大小的數據集上訓練算法，從而使它們能夠在需要龐大數據集才能捕獲現實世界的組合復雜性的任務中表現良好？

如果我們只能在有限的子集上測試這些算法，那么我們如何有效地測試并確保它們在龐大的數據集中表現優秀？

如果克服組合性爆炸

像深度神經網絡這樣的方法，以目前的形式來看，似乎不太可能具有處理組合爆炸的能力，因為數據集的數量可能永遠都不足以訓練或測試它們。

我們認為，組合模型或許是解決問題的關鍵。

組合性

組合性是一個基本原則，可以感性的稱它為“一種信仰的體現，即世界是可知的，人們可以將事物拆開并理解它們，然后在精神上隨意地重新組合它們”。

但其中關鍵的假設是，結構是由更基本的子結構按照一組語法規則組成的。這就表明子結構和語法可以從有限的數據中學習，然后拓展到組合的場景中。

與深度神經網絡不同，組合模型需要結構化的表征，從而明確其結構和子結構。組合模型能夠對可見的數據進行外推，對系統進行推理、干預、診斷以及使用相同的基礎知識結構回答許多不同問題。

我們注意到，盡管深度神經網絡捕獲了一種組合性形式，例如，高層特征是由來自下層特征的響應組成的，但與本文中我們所指的組合性顯然還是不一樣的。

圖2：從（a）到（c），可變性增加同時出現了遮擋情況。尤其（c）是一個龐大組合數據集的例子，它本質上與驗證碼相同。有趣的是，關于驗證碼的研究表明，組合模型的性能很好，而深度神經網絡的性能則較差。

組合模型的優勢已經在很多視覺問題上得到了證明，例如使用相同的底層模型執行多個任務和識別驗證碼（圖2）。其他非視覺的例子也說明了同樣的觀點，比如智商測試。

在這項任務中，我們的目標是預測3x3網格中丟失的圖像，其中8個網格的圖像已經給出，同時任務的基本規則是組合型的（并且可以存在干擾）。在這一任務上，組合模型相比深度神經網絡也有相當的優勢。

組合模型具有許多理想的理論性質，例如可解釋性和可生成樣本性。這使得錯誤更容易診斷，因此它們比像DeepNets這樣的黑盒方法更難被欺騙。

但是，學習組合模型也是十分困難的，因為它涉及到學習構件和語法（甚至語法的本質也是有爭議的）。此外，為了通過合成進行分析，它們需要有一個模型來生成對象和場景結構。

更為根本的是，處理組合爆炸需要學習三維世界的因果模型以及這些模型如何生成圖像。對人類嬰兒的研究表明，他們通過預測環境結構的因果模型來學習。這種因果理解能夠讓他們從有限的數據中學習，并拓展到新的環境中。

這與牛頓定律與托勒密模型的對比類似，牛頓定律用最小的自由參數來解釋因果關系，而太陽系的托勒密模型給出了非常精確的預測，但它需要大量的數據來確定其細節。

在組合數據上測試

在現實世界中測試視覺算法的組合復雜度的一個潛在挑戰是，我們只能測試有限的數據。我們可以通過關注最壞情況，而不是一般情況來解決這一問題。

正如我們前面所說，如果數據集沒體現出問題的組合復雜性，那么算法在有限大小數據集中的結果可能沒有意義。顯然，如果目標是為自動駕駛汽車開發視覺算法，或者在醫學圖像中診斷癌癥，那么關注最壞的情況也是有意義的，因為算法的失敗可能會產生嚴重的后果。

如果能在低維空間中捕捉到故障模式，例如立體匹配算法的危險因素，那么我們可以利用計算機圖形學和網格搜索對其進行研究。但對于大多數視覺任務，特別是涉及組合數據的任務，我們很難識別出少數可以被隔離和測試的危險因素。

另一種策略是將標準對抗攻擊的概念擴展到包括非局部結構，并允許復雜的操作，這些操作會導致圖像或場景發生變化，例如通過遮擋或更改正在查看的對象的物理屬性，盡管這不會對人的感知造成太大的影響。

將此策略擴展到處理組合數據的視覺算法仍然是非常具有挑戰性的。但是，如果在設計算法時考慮到了組合性，那么它們的顯式結構可能使診斷和確定它們的故障模式成為可能。

挑戰與未來

幾年前，Aude Oliva和Alan Yuille（本文第一作者）共同組織了一個由NSF贊助的計算機視覺前沿研討會（MIT CSAIL 2011）。這次會議鼓勵參會者坦誠交換意見，參會者對計算機視覺的深度神經網絡的潛力產生了巨大分歧。

Yann LeCun大膽地預言，每個人都將很快地使用深度神經網絡。他的預測是正確的。深度神經網絡的成功非同尋常，它帶領計算機視覺走向了熱門，極大地增加了學術界和工業界之間的互動，將計算機視覺應用到了許多不同的學科，并產生了很多有意義的成果。

但是，盡管深度神經網絡取得了成功，但在我們達到通用人工智能和理解生物視覺系統的目標之前，仍然存在著巨大的挑戰。我們的一些擔憂與最近對深層網絡的批評中提到的類似。

其中，我們今天討論的“組合爆炸”就是最大的挑戰之一。

雖然深度神經網絡肯定是解決方案的一部分，但我們相信，我們還需要一些額外的方法用來捕獲數據基礎結構的復合原理和因果模型。此外，面對組合爆炸，我們需要重新思考如何訓練和評估視覺算法。