Topbots總結了他們眼中 2018年里 10篇最為重要的AI研究論文，帶領大家領略過去的一年中機器學習領域的關鍵進展。現在點開了這份清單的人顯然是極為幸運的，獲得了一個精彩瞬間回放的機會。

不得不說，考慮到這個領域極快的發展速度和極多的論文數量，肯定還有一些值得閱讀的突破性論文沒能包括在這份榜單中。不過這份清單是一個好的開始。

1. Universal Language Model Fine-tuning for Text Classification

「用于文本分類的通用語言模型的精細調節」

論文地址

https://arxiv.org/abs/1801.06146

內容概要

兩位作者 Jeremy Howard和Sebastian Ruder提出了可以用預訓練的模型解決多種NLP任務的想法。通過這種方法，研究人員不需要為自己的任務從零開始訓練模型，只需要對已有的模型做精細調節。他們的方法，通用語言模型精細調節ULMFiT ，得到了當時最好的結果，比其他模型的錯誤率降低了 18%到 24%。更令人欽佩的是，ULMFiT 只用了 100個有標簽樣本得到的結果就可以和用 10K有標簽數據從零開始訓練的模型一樣好。

論文思想要點

為了應對缺乏標注數據的問題，以及讓NLP分類任務更輕松、更省時，他們提出了把遷移學習用在NLP問題中。這樣，研究人員們不再需要從零開始訓練新模型，只需要找到一個已經在相似的任務上訓練完畢的模型作為基礎，然后為新的具體問題微調這個模型即可。

然而，為了讓這樣的做法發揮出理想的效果，這個微調過程有幾個細節需要注意：

網絡中不同的層應該為不同的內容進行微調，因為它們捕捉的信息的類別也是有所不同的；

把模型參數向新的具體任務適配時，讓學習率先線性增加，再線性衰減，學習的效率會比較高；

一次微調所有的層會帶來災難性的遺忘問題。所以，比較好的做法是一開始只更新最后一層的參數，然后逐步讓前面的層也參與到微調中來。

領域內學者評價

可以輕易得到的預訓練ImageNet模型已經給整個計算機視覺界帶來了巨大的改變。ULMFiT也可以在NLP任務中起到同樣的重要作用；

這種方法可以用于任意語言上的任意NLP任務。全世界的研究人員們已經在德語、波蘭語、海地語、印度尼西亞語、中文、馬來語等許多語言上進行了嘗試，同樣得到了大幅進步的結果。

未來可能的相關研究

繼續改善語言模型預訓練以及精細調節；

把這種方法用于其它新的任務以及模型上（比如序列標注，自然語言生成，概括或者問答）。

2. Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

「模糊梯度防御帶來的只是安全的假象：繞過對抗性樣本的防御」

論文地址

https://arxiv.org/abs/1802.00420

內容概要

研究人員們發現，對于對抗性樣本的防御，目前主要使用的是梯度模糊方法，但這種方法并不能帶來真正的安全，因為它可以被輕松規避。這篇論文了研究了三種使用了梯度模糊的防御方法，并展示了可以繞過梯度模糊防御的技巧。他們的發現可以幫助目前使用了梯度模糊防御的組織機構考慮如何強化自己的方法。

論文思想要點

目前有三種常見的梯度模糊做法：

梯度破碎（shattered gradients），防御方法會有意地（通過不可微的運算）或者無意地（通過數值的不穩定性）提供不正確的梯度，或者不提供梯度；

通過隨機防御提供隨機梯度；

通過非常深的深度神經網絡評估帶來消失梯度/爆炸梯度。

基于梯度的方法有一些問題，我們可以看到下面這些跡象：

一步式的攻擊比迭代式的攻擊效果更好；

黑盒攻擊比白盒攻擊的效果更好；

無限制攻擊也無法達到 100% 成功率；

隨機采樣也可以找到對抗性樣本；

提高圖像扭曲的容忍度并不能提高攻擊成功率。

論文的關鍵成果是，通過實驗表明如今使用的大多數防御技術都還很脆弱。ICLR 2018 接收論文中的 9 種防御技術中，有 7 種都使用了梯度模糊，而論文作者們提出的新攻擊方法可以完全繞過 7 種中的 6 種防御，并部分繞過最后 1 種。

領域內學者評價

這篇論文獲得了 ICML 2018 的最佳論文獎；

這篇論文清晰地展示出了我們現有技術的優點和缺點

未來可能的相關研究

我們需要考慮在細致、全面的評價方式下構建新的防御技術，目標是不僅能夠防御現有的攻擊方式，還要能夠防御以后有可能開發出的新的防御方式。

3. Deep Contextualized Word Representations

「深度上下文依賴的單詞表征」

論文地址

https://arxiv.org/abs/1802.05365

內容概要

來自艾倫人工智能研究院（Allen Institute for Artificial Intelligence）的作者們介紹了一種新型的深度上下文依賴單詞表征：Embeddings from Language Models (ELMo)。在使用了 ELMo 強化的模型中，每個單詞的向量化都是基于它所在的整篇文本而進行的。把 ELMo 添加到現有的 NLP 系統中可以帶來的效果有：1，錯誤率相對下降 6% 到 20%；2，訓練模型所需的 epoch 數目顯著降低；3，訓練模型達到基準模型表現時所需的訓練數據量顯著減小

論文思想要點

在很大的文本語料庫上預訓練一個深度雙向語言模型（biLM），用它生成單詞嵌入，這些嵌入來自這個模型的內部狀態的加權和；

嵌入中包括了 biLM 的所有層的表征，因為網絡中不同的層表征了不同類型的信息；

ELMo 的表征被設計為基于字符的，這樣網絡還可以利用單詞拼寫的信息，更好地理解訓練中未曾見過的超出詞匯表的單詞的意思。

領域內學者評價

這篇論文獲得了 NAACL 的杰出論文獎；

這篇論文提出的方法也被認為是近幾年來 NLP 領域最大的突破之一。

未來可能的相關研究

可以把這種方法集成到特定任務中，方式是把 ELMo 和不依賴上下文的單詞嵌入級聯起來；

也可以嘗試把 ELMo 和模型輸出級聯起來。

4. An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

「一般卷積網絡和循環網絡用語序列建模的實證評價研究」

論文地址

https://arxiv.org/abs/1803.01271

內容概要

領域內有種常見的假設：對于序列建模問題來說，選擇一個循環網絡架構作為出發點是默認的做法。這篇論文的作者們就對這種假設提出了質疑。他們的結果表明，一般的時序卷積網絡（TCN）能在許多種不同的序列建模任務中穩定地超出 LSTM 以及 GRU 之類的典型的循環神經網絡。

論文思想要點

在近期發現的最佳實踐做法（比如空洞卷積和殘差連接）的幫助下設計出的時序卷積網絡（Temporal convolutional networks）可以許多復雜的序列建模任務中發揮出超過一般循環網絡架構的表現；

TCN 表現出的記憶能力比循環網絡明顯更長，也就更適合那些需要很長的歷史記錄的序列建模任務。

領域內學者評價

特斯拉 AI 總監Andrej Karpathy 評論：「在用 RNN 之前一定要先試試 CNN。CNN 的表現會好到你驚訝的。」

未來可能的相關研究

為了在不同的序列建模任務上進一步提高 TCN 的表現，我們還需要更多的架構探索、算法探索方面的合作。

5. Delayed Impact of Fair Machine Learning

「公平的機器學習的影響是有延遲的」

論文地址

https://arxiv.org/abs/1803.04383

內容概要

這篇論文的目標是想要確保，當使用一個機器學習算法生成分數來決定不同的人是否能夠得到某些機會（比如貸款、獎學金、工作等）時，人口統計學角度分出的不同族群可以被公平地對待。UC伯克利人工智能實驗室（BAIR）的研究人員們表明，使用常見的公平性條件實際上有可能傷害到弱勢群體，這是由于某些后果的出現是有延遲的。通過這項研究他們希望鼓勵大家在設計公平的機器學習系統時考慮它的長期后果。

論文思想要點

作者們考慮了施加公平性條件之后出現的有延遲的結果，結果表明，這些條件對于想要保護的群體來說可能長期看來是有害的（比如借款人的信用分數長期來看會變低，因為他會還不上貸款，而這筆貸款在無限制的條件下其實一開始就不會發放給他）；

由于公平性條件有可能會主動地給弱勢群體帶來傷害，可以考慮一些額外的解決方案，比如使用一個會顯式地最大化結果的決策規則，或者使用一個結果模型。

領域內學者評價

這篇論文獲得了ICML 2018的最佳論文獎；

這項研究澄清了一個誤區：即便是好的出發點的區別對待也有可能會起到壞的效果。

未來可能的相關研究

對于結果評價的考量，可以考慮群體均值變化之外的其它因素（比如方差、個體級別的結果）；

針對建模和測量誤差，研究結果優化方法的魯棒性。

6. World Models

「世界模型」

論文地址

https://arxiv.org/abs/1803.10122

內容概要

DavidHa和JurgenSchmidhuber開發了一個世界模型，它可以用無監督的方式快速訓練，學到所處環境的空間和時間表示。這個智能體可以成功地在賽車地圖中導航，并且在VizDoom環境中躲開怪物發射的火球。而這些任務對于此前的方法來說都難以解決。

論文思想要點

論文所提的解決方案包含三個獨立的部分：

一個變分自動編碼器（VAE），它負責捕捉視覺信息。它會把RGB形式表示的輸入圖像壓縮為一個服從 高斯分布的 32維隱含向量。這樣，這個智能體只需要處理一個環境的很小的表示，從而大幅提高了學習效率。

一個循環神經網絡（RNN），它負責前饋思考。這是一個起到記憶作用的組件，它會在給定前一幀圖像和前一個動作的條件下嘗試預測視覺部分看到的下一幀圖像可能是什么樣子。

一個控制器，它負責選擇動作。它是一個非常簡單的神經網絡，它把VAE的輸出和RNN的隱含狀態級聯起來，然后選擇一個好的動作。

領域內學者評價

這篇論文在AI研究者間得到了廣泛的討論，它是一項設計優美的使用神經網絡做強化學習的研究，而且讓智能體在自己「幻想」出的世界中進行訓練。

未來可能的相關研究

為了讓智能體探索更加復雜的世界，可以把小的RNN換成有更大容量的模型，或者集成一個外部存儲模塊。

論文中使用的規劃方法是逐時間步的，可以考慮嘗試更通用化的方法，也就可以使用層次化的規劃方法。

7. Taskonomy: Disentangling Task Transfer Learning

「任務學：任務遷移學習的解耦」

論文地址

https://arxiv.org/abs/1804.08328

內容概要

自從現代計算機科學發展的早期以來，就有許多研究者們提出不同的視覺任務之間具有某種結構。現在，Amir Zamir和他的團隊終于做出了尋找這種結構的嘗試。他們使用一個完全計算性的方式進行建模，發現了不同視覺任務之間的許多有用的聯系（甚至包括一些非平凡的視覺任務）。他們也表明了可以利用這些相互依賴關系進行遷移學習，只需要大約 1/3的標注數據就可以達到相同的模型表現。

論文思想要點

一個了解不同視覺任務之間關系的模型需要的監督可以更少，需要的計算量可以更小，而且它的行為也更容易預測。

人們更喜歡用這樣的完全計算性的方法發現不同視覺任務之間的關系，因為它可以避免引入人類的先驗假設。人類的先驗假設來自于直覺或者分析性的知識；這些假設完全可能是錯誤的，而神經網絡可能是以完全不同的法則運行的。

領域內學者評價

這篇論文獲得了 CVPR2018最佳論文獎；

論文的結果意義重大，因為大多數的真實世界任務中都沒辦法獲得大規模標注數據集。

未來可能的相關研究

目前論文中研究的常見視覺任務都是完全由人類定義的，下一步可以嘗試新的模式，那就是首先用計算性的方法發掘一些隱含的子任務，而人類定義的視覺任務就是對它們觀察后得到的采樣；

探索是否有可能把模型學到的東西遷移到不完全屬于視覺領域的任務中，比如遷移到機器人控制。

8. Know What You Don't Know: Unanswerable Questions for SQuAD

「知道你不知道的：SQuAD 中無法回答的問題」

論文地址

https://arxiv.org/abs/1806.03822

內容概要

斯坦福大學的一組研究人員們拓展了著名的斯坦福問答數據集 SQuAD，在其中增加了超過 5萬個無法回答的問題。這些問題的答案是無法從給出的文本段落中找到的，無法給出回答，但這些問題又和那些可以回答的問題看起來非常相似。更進一步的是，給出的文本段落中會含有仿佛相符但實際上并不正確的答案，這進一步提高了數據集的難度。升級后得到的 SQuAD 2.0也就成為了現有頂尖模型的重大挑戰：一個在原版的SQuAD上可以得到 86%準確率的強有力的神經網絡模型，如今在SQuAD 2.0上只能得到 66%的準確率。

論文思想要點

目前的自然語言理解系統與真正的語言理解還相距甚遠，其中一項根本原因就是目前的問答數據集都是僅僅針對「給出的文本段落里必然包含了正確答案」這一種情況設計的；

為了讓問答數據集變得真正有難度，「無法回答的問題」應當滿足這兩種條件：

它們和給出的文本段落之間有一些聯系；

給出的文本段落中包含了看起來仿佛相符的答案，它包含的信息和提問想要獲得的信息是同一類型的，但并不正確。

領域內學者評價

這篇論文獲得了 ACL2018最佳短論文獎；

這個新數據集提高了自然語言理解領域研究的問題的復雜度，會為這個領域的模型訓練結果提升起到直接的推動作用。

未來可能的相關研究

未來可以繼續開發出新種類的模型，它們要能夠「知道自己不知道什么」，從而對自然語言有更好的理解。

9. Large Scale GAN Training for High Fidelity Natural Image Synthesis

「用于高保真度自然圖像生成的大規模 GAN的訓練」

論文地址

https://arxiv.org/abs/1809.11096

內容概要

DeepMind 的一個研究團隊認為目前的深度學習技術就已經足以從現有的ImageNet、JFT-300M之類的圖形數據集生成高分辨率的、多樣化的圖像。具體來說，他們展示了生成式對抗性網絡（GANs）如果以非常大的規模訓練的話，可以生成看起來非常真實的圖像。這個「非常大的規模」有多大呢？相比于以往的實驗，他們的模型的參數數量是 2到 4倍，訓練所用的批量大小也達到了 8倍。這種大規模的GANs，他們稱為BigGANs，已經稱為了分類別圖像生成的最新頂級模型。

論文思想要點

選取更大的批量大小和參數數目以后，GANs的表現可以得到明顯的提升；

在生成器中加入正交正則化可以讓模型對某種特定的技術更為敏感（就是「截斷法」），這讓研究人員們有辦法控制樣本保真度和樣本多變性之間的平衡。

領域內學者評價

這篇論文已經投遞到了ICLR 2019；

BigGAN的生成器自從在TFHub上發布就受到了全世界AI研究人員們的追捧，（研究以及娛樂性質地）用它生成貓狗、手表、泳裝、蒙娜麗莎、海岸等等各種內容的圖像。

未來可能的相關研究

嘗試用更大的數據集訓練模型，進一步緩和GAN的穩定性問題；

探索是否有可能降低GANs生成的奇怪樣本的數量。

10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

「BERT：用于語言理解的深度雙向Transformer模型的預訓練」

論文地址

https://arxiv.org/abs/1810.04805

內容概要

谷歌AI團隊展示了一個新的用于自然語言處理的前沿模型：BERT（BidirectionalEncoderRepresentations fromTransformers，用于Transformer模型的雙向編碼器表征）。它的設計可以讓模型同時從左以及從右處理文本內容。雖然概念上說起來很簡單，但BERT帶來了驚人的實際表現，它刷新了 11項不同的自然語言處理任務的最好成績，包括問答、命名實體識別以及其他一些和通用語言理解相關的任務。

論文思想要點

訓練一個深度雙向模型，在訓練過程中隨機地遮蔽一定比例的輸入字符。這種做法避免了在不同的訓練循環中模型可以間接地看到曾經被掩蔽的字符。

同時也預訓練了一個句子關系模型，這個模型需要做一個二分類任務，預測句子B是否緊接著句子A。這種設計讓BERT能夠更好地理解不同句子之間的關系。

用大量的數據（33億詞的語料庫）訓練一個非常大的模型（24個Transformer模塊，1024個隱層，3.4億個參數）。

領域內學者評價

BERT模型標志了NLP領域內一個新時代的到來；

簡單來說，僅僅需要同時做兩個無監督學習任務（「單詞填空」和「猜 B 是不是在 A 后面」）就可以在許多自然語言處理任務中取得良好成績；

使用經過預訓練的語言模型也成為了新的標準做法。

未來可能的相關研究

在更多不同的任務上測試BERT；

測試BERT模型是否捕捉到了各種各樣的語言現象。