本文總結(jié)了2018年以來(lái)最重要的10篇AI研究論文，讓你對(duì)今年機(jī)器學(xué)習(xí)的進(jìn)展有一個(gè)大致的了解。當(dāng)然，還有很多具有突破性的論文值得一讀，但本文作者認(rèn)為這是一個(gè)很好的列表，你可以從它開始。

今天，Reddit上的一條帖子火了：

對(duì)于初學(xué)者來(lái)說(shuō)，在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域必須的論文有哪些？

想必這個(gè)問(wèn)題引起了許多人的共鳴。

網(wǎng)友推薦的Statistical Modeling: The Two Cultures大受好評(píng)，強(qiáng)調(diào)經(jīng)典統(tǒng)計(jì)數(shù)據(jù)和ML預(yù)測(cè)/建模之間的重要區(qū)別。

https://projecteuclid.org/euclid.ss/1009213726

也有網(wǎng)友表示，對(duì)于初學(xué)者，最好還是可以從書籍入手，而不是文獻(xiàn)。并推薦了Norvig & Russell的Artificial Intelligence，以及Goodfellow的Deep Learning 。并強(qiáng)調(diào)若是沒(méi)有良好的基礎(chǔ)，直接讀單個(gè)的論文是十分困難的，因?yàn)檎撐耐ǔＴ陧?yè)數(shù)上是有限的，所以在上下文理解上還是有一定局限性。

而近期，作者M(jìn)ariya Yao在Topbots上發(fā)表一篇文章，對(duì)今年AI論文Top10做了大盤點(diǎn)。

考慮到AI領(lǐng)域的快速發(fā)展，試圖跟上AI的最新研究可能非常困難。如果你埋頭于那些你還沒(méi)來(lái)得及閱讀的論文，那么本文能助你一力。

為了幫助你趕上進(jìn)度，我們總結(jié)了2018年以來(lái)最重要的10篇AI研究論文，讓你對(duì)今年機(jī)器學(xué)習(xí)的進(jìn)展有一個(gè)大致的了解。當(dāng)然，還有很多具有突破性的論文值得一讀，但我們認(rèn)為這是一個(gè)很好的列表，你可以從它開始。

此外，我們計(jì)劃在未來(lái)幾周發(fā)布自然語(yǔ)言處理(NLP)和計(jì)算機(jī)視覺(jué)方面的重要論文，敬請(qǐng)期待。

以下是我們推薦的2018必讀Top 10論文：

Universal Language Model Fine-tuning for TextClassification

Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples

Deep Contextualized Word Representations

An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

Delayed Impact of Fair Machine Learning

World Models

Taskonomy: Disentangling Task Transfer Learning

Know What You Don’t Know: Unanswerable Questions for SQuAD

Large Scale GAN Training for High Fidelity Natural Image Synthesis

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

1、文本分類的通用語(yǔ)言模型微調(diào)

標(biāo)題：Universal Language Model Fine-tuning for Text Classification

作者：Jeremy Howard & Sebastian Ruder (2018)

https://arxiv.org/abs/1801.06146

論文摘要

遷移學(xué)習(xí)已經(jīng)對(duì)計(jì)算機(jī)視覺(jué)領(lǐng)域產(chǎn)生了很大的影響，但NLP領(lǐng)域的現(xiàn)有方法仍然需要針對(duì)任務(wù)進(jìn)行修改和從零開始進(jìn)行訓(xùn)練。本文提出一種有效的遷移學(xué)習(xí)方法——通用語(yǔ)言模型微調(diào)(Universal Language Model Fine-tuning, ULMFiT)，該方法可應(yīng)用于任何NLP任務(wù)，并介紹了對(duì)語(yǔ)言模型進(jìn)行微調(diào)的關(guān)鍵技術(shù)。

我們的方法在六個(gè)文本分類任務(wù)上顯著優(yōu)于最先進(jìn)的技術(shù)，在大多數(shù)數(shù)據(jù)集上將錯(cuò)誤率降低了18-24%。此外，僅使用100個(gè)標(biāo)記示例，它的性能不比在100倍以上的數(shù)據(jù)上從零開始訓(xùn)練的模型的性能差。我們將開源預(yù)訓(xùn)練模型和代碼。

概要總結(jié)

這篇論文建議使用預(yù)訓(xùn)練的模型來(lái)解決廣泛的NLP問(wèn)題。使用這種方法，你不需要從頭開始訓(xùn)練模型，只需要對(duì)原始模型進(jìn)行微調(diào)。他們的方法稱為通用語(yǔ)言模型微調(diào)(ULMFiT)，其性能優(yōu)于最先進(jìn)的結(jié)果，誤差降低了18-24%。更重要的是，只使用100個(gè)標(biāo)記示例，ULMFiT的性能與在10K標(biāo)記示例上從零開始訓(xùn)練的模型的性能相當(dāng)。

核心思想

為了解決標(biāo)記數(shù)據(jù)的缺乏的困難，使NLP分類任務(wù)更容易、更省時(shí)，研究人員建議將遷移學(xué)習(xí)應(yīng)用于NLP問(wèn)題。因此，你不用從頭開始訓(xùn)練模型，而是可以使用另一個(gè)經(jīng)過(guò)訓(xùn)練的模型作為基礎(chǔ)，然后只對(duì)原始模型進(jìn)行微調(diào)來(lái)解決特定問(wèn)題。

但是，為了取得成功，微調(diào)應(yīng)考慮幾個(gè)重要因素：

不同的層應(yīng)該被微調(diào)到不同的程度，因?yàn)樗鼈兎謩e捕獲不同類型的信息。

當(dāng)學(xué)習(xí)率先線性增加后線性衰減時(shí)，使模型參數(shù)適應(yīng)特定任務(wù)的特征會(huì)更有效。

同時(shí)對(duì)所有層進(jìn)行微調(diào)可能會(huì)導(dǎo)致災(zāi)難性遺忘；因此，最好從最后一層開始逐層解凍模型。

最重要的成果

顯著優(yōu)于最先進(jìn)的技術(shù)：誤差減少了18-24%。

需要的標(biāo)記數(shù)據(jù)更少：只有100個(gè)標(biāo)記示例和50K未標(biāo)記示例，性能與從零開始學(xué)習(xí)100倍以上的數(shù)據(jù)的性能相當(dāng)。

AI社區(qū)的評(píng)價(jià)

在計(jì)算機(jī)視覺(jué)領(lǐng)域，經(jīng)過(guò)預(yù)處理的ImageNet模型的可用性已經(jīng)改變了這一領(lǐng)域，ULMFiT對(duì)于NLP問(wèn)題也同樣重要。

該方法適用于任何語(yǔ)言的任何NLP任務(wù)。來(lái)自世界各地的報(bào)告表明，該方法在德語(yǔ)、波蘭語(yǔ)、北印度語(yǔ)、印度尼西亞語(yǔ)、漢語(yǔ)和馬來(lái)語(yǔ)等多種語(yǔ)言方面，都取得了顯著進(jìn)步。

未來(lái)研究方向

改進(jìn)語(yǔ)言模型的預(yù)處理和微調(diào)。

將這種新方法應(yīng)用于新的任務(wù)和模型(如序列標(biāo)記、自然語(yǔ)言生成、蘊(yùn)涵或問(wèn)題回答)。

可能的應(yīng)用

ULMFiT可以更好地解決廣泛的NLP問(wèn)題，包括:

識(shí)別垃圾郵件、機(jī)器人、攻擊性評(píng)論;

按照特定的特征對(duì)文章進(jìn)行分組;

對(duì)正面和負(fù)面評(píng)論進(jìn)行分類;

尋找相關(guān)文件等。

這種方法還可能有助于序列標(biāo)記和自然語(yǔ)言生成。

2、混淆梯度

標(biāo)題：ObfuscatedGradientsGiveaFalse Sense of Security: Circumventing Defenses toAdversarial Examples

作者：Anish Athalye, Nicholas Carlini, David Wagner

https://arxiv.org/abs/1802.00420

論文摘要

我們發(fā)現(xiàn)“混淆梯度”（obfuscated gradients）作為一種梯度掩碼（gradient masking），會(huì)在防御對(duì)抗樣本中導(dǎo)致一種錯(cuò)誤的安全感。雖然造成混淆梯度的防御似乎可以擊敗基于迭代優(yōu)化的攻擊，但我們發(fā)現(xiàn)依賴這種效果的防御可以被規(guī)避。我們描述了表現(xiàn)出這種效應(yīng)的防御特征行為，對(duì)于我們發(fā)現(xiàn)的三種混淆梯度，我們都開發(fā)了攻擊技術(shù)來(lái)克服它。在一個(gè)案例中，我們檢查了發(fā)表在ICLR 2018的論文的未經(jīng)認(rèn)證的白盒安全防御，發(fā)現(xiàn)混淆梯度是常見(jiàn)的情況，9個(gè)防御中有7個(gè)依賴于混淆梯度。在每篇論文所考慮的原始威脅模型中，我們的新攻擊成功地完全規(guī)避了6個(gè)，部分規(guī)避了1個(gè)。

概要總結(jié)

研究人員發(fā)現(xiàn)，針對(duì)對(duì)抗性樣本的防御通常使用混淆梯度，這造成了一種虛假的安全感，實(shí)際上這種防御很容易被繞過(guò)。該研究描述了三種防御混淆梯度的方法，并展示了哪些技術(shù)可以繞過(guò)防御。這些發(fā)現(xiàn)可以幫助那些依賴混淆梯度來(lái)防御的組織強(qiáng)化他們當(dāng)前的方法。

核心思想

防御混淆梯度有三種常見(jiàn)的方法：

破壞梯度是由防御方有意(通過(guò)不可微操作)或無(wú)意(通過(guò)數(shù)值失穩(wěn))造成的不存在或不正確的梯度；

隨機(jī)梯度是由隨機(jī)防御引起的；

消失/爆炸梯度是由極深的神經(jīng)網(wǎng)絡(luò)評(píng)估引起的。

有很多線索表明梯度有問(wèn)題，包括:

一步攻擊比迭代攻擊更有效；

黑盒攻擊比白盒攻擊更有效；

無(wú)界攻擊沒(méi)有100%成功；

隨機(jī)抽樣發(fā)現(xiàn)對(duì)抗性樣本；

增加扭曲約束無(wú)法增加成功。

最重要的成果

說(shuō)明目前使用的大部分防御技術(shù)容易受到攻擊，即：

ICLR 2018接受的論文中，9種防御技術(shù)中有7種造成了混淆梯度；

研究人員開發(fā)的新攻擊技術(shù)能夠成功地完全繞開6個(gè)防御，部分繞開1個(gè)防御。

AI社區(qū)的評(píng)價(jià)

這篇論文獲得了ICML 2018最佳論文獎(jiǎng)，這是最重要的機(jī)器學(xué)習(xí)會(huì)議之一。

論文強(qiáng)調(diào)了當(dāng)前技術(shù)的優(yōu)勢(shì)和劣勢(shì)。

未來(lái)研究方向

在仔細(xì)且全面的評(píng)估下構(gòu)建防御，這樣它們不僅可以防御現(xiàn)有的攻擊，而且還可以防御未來(lái)可能發(fā)生的攻擊。

可能的應(yīng)用

通過(guò)使用研究論文中提供的指導(dǎo)，組織可以識(shí)別他們的防御是否依賴于混淆梯度，并在必要時(shí)改用更強(qiáng)大的方法。

3、ELMo：最好用的詞向量

標(biāo)題：Deep contextualized word representations

作者：Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer

https://arxiv.org/abs/1802.05365

論文摘要

我們提出一種新的深層語(yǔ)境化的詞表示形式，它既模擬了詞使用的復(fù)雜特征(如語(yǔ)法和語(yǔ)義)，也模擬了這些用法在不同語(yǔ)言語(yǔ)境中的變化(即，一詞多義)。我們的詞向量是一個(gè)深度雙向語(yǔ)言模型(biLM)內(nèi)部狀態(tài)的學(xué)習(xí)函數(shù)，該模型是在一個(gè)大型文本語(yǔ)料庫(kù)上預(yù)訓(xùn)練的。我們證明，這些表示可以很容易地添加到現(xiàn)有的模型中，并在六個(gè)具有挑戰(zhàn)性的NLP問(wèn)題(包括問(wèn)題回答、文字蘊(yùn)涵和情感分析)中顯著地提升了技術(shù)的最先進(jìn)水平。我們還提供了一項(xiàng)分析，表明暴露預(yù)訓(xùn)練網(wǎng)絡(luò)的深層內(nèi)部結(jié)構(gòu)是至關(guān)重要的，它允許下游模型混合不同類型的半監(jiān)督信號(hào)。

概要總結(jié)

艾倫人工智能研究所的團(tuán)隊(duì)提出一種新型的深層語(yǔ)境化單詞表示——語(yǔ)言模型嵌入(Embeddings from Language Models, ELMo)。在ELMo增強(qiáng)的模型中，每個(gè)單詞都是基于它所使用的整個(gè)上下文向量化的。在現(xiàn)有的NLP系統(tǒng)中加入ELMo可以減少6-20%的相對(duì)誤差，顯著減少訓(xùn)練模型所需的時(shí)間，以及顯著減少達(dá)到基線性能所需的訓(xùn)練數(shù)據(jù)量。

核心思想

以深度雙向語(yǔ)言模型(biLM)的內(nèi)部狀態(tài)加權(quán)和的形式生成詞嵌入，該模型在大型文本語(yǔ)料庫(kù)上預(yù)訓(xùn)練。

要包含來(lái)自所有biLM層的表示，因?yàn)椴煌膶哟聿煌愋偷男畔ⅰ?/p>

將ELMo表示建立在字符的基礎(chǔ)上，以便網(wǎng)絡(luò)可以使用形態(tài)學(xué)線索“理解”訓(xùn)練中未見(jiàn)的詞匯表外的token。

最重要的成果

將ELMo添加到模型中可以得到state-of-the-art的結(jié)果，在問(wèn)題回答、文字蘊(yùn)涵、語(yǔ)義角色標(biāo)記、相關(guān)引用解析、命名實(shí)體提取和情緒分析等NLP任務(wù)中，相對(duì)誤差降低了6 - 20%。

使用ELMo增強(qiáng)模型可以顯著減少達(dá)到最先進(jìn)性能所需的更新次數(shù)。因此，使用ELMo的語(yǔ)義角色標(biāo)記(SRL)模型只需要10 epochs就可以超過(guò)486 epochs訓(xùn)練后達(dá)到的基線最大值。

將ELMo引入模型還可以顯著減少實(shí)現(xiàn)相同性能水平所需的訓(xùn)練數(shù)據(jù)量。例如，對(duì)于SRL任務(wù)，ELMo增強(qiáng)模型只需要訓(xùn)練集的1%就可以實(shí)現(xiàn)與基線模型相同的性能，而基線模型需要10%的訓(xùn)練數(shù)據(jù)。

AI社區(qū)的評(píng)價(jià)

這篇論文在全球最具影響力的NLP會(huì)議之一——NAACL上被評(píng)為Outstanding paper。

論文提出的ELMo方法被認(rèn)為是2018年NLP領(lǐng)域最大的突破之一，也是NLP未來(lái)幾年的重要成果。

未來(lái)研究方向

通過(guò)將ELMos與上下文無(wú)關(guān)的詞嵌入連接起來(lái)，將這種方法合并到特定的任務(wù)中。

將ELMos與輸出連接。

可能的應(yīng)用

ELMo顯著改善了現(xiàn)有NLP系統(tǒng)的性能，從而增強(qiáng)：

聊天機(jī)器人的性能，使其能夠更好地理解人類和回答問(wèn)題；

對(duì)客戶的正面和負(fù)面評(píng)價(jià)進(jìn)行分類;

查找相關(guān)信息和文件等。

4、序列建模：時(shí)間卷積網(wǎng)絡(luò)取代RNN

標(biāo)題：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

作者：Shaojie Bai, J. Zico Kolter, Vladlen Koltun

https://arxiv.org/abs/1803.01271

論文摘要

對(duì)于大多數(shù)深度學(xué)習(xí)實(shí)踐者來(lái)說(shuō)，序列建模與循環(huán)網(wǎng)絡(luò)是同義詞。然而，最近的研究結(jié)果表明，卷積架構(gòu)在語(yǔ)音合成和機(jī)器翻譯等任務(wù)上的表現(xiàn)優(yōu)于循環(huán)網(wǎng)絡(luò)。給定一個(gè)新的序列建模任務(wù)或數(shù)據(jù)集，應(yīng)該使用哪種架構(gòu)？我們對(duì)序列建模的一般卷積和循環(huán)架構(gòu)進(jìn)行了系統(tǒng)的評(píng)價(jià)。我們?cè)趶V泛的標(biāo)準(zhǔn)任務(wù)中評(píng)估這些模型。我們的結(jié)果表明，一個(gè)簡(jiǎn)單的卷積架構(gòu)在不同的任務(wù)和數(shù)據(jù)集上的表現(xiàn)優(yōu)于LSTM等典型的循環(huán)網(wǎng)絡(luò)。我們的結(jié)論是，需要重新考慮序列建模和循環(huán)網(wǎng)絡(luò)之間的共同關(guān)聯(lián)，卷積網(wǎng)絡(luò)應(yīng)該被視為序列建模任務(wù)的一個(gè)自然起點(diǎn)。我們提供了相關(guān)代碼：http://github.com/locuslab/TCN

概要總結(jié)

本文的作者質(zhì)疑了一個(gè)常見(jiàn)假設(shè)，即循環(huán)架構(gòu)應(yīng)該是序列建模任務(wù)的默認(rèn)起點(diǎn)。他們的結(jié)果表明，時(shí)間卷積網(wǎng)絡(luò)(TCNs)在多個(gè)序列建模任務(wù)中明顯優(yōu)于長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTMs)和門控循環(huán)單元網(wǎng)絡(luò)(GRUs)等典型的循環(huán)架構(gòu)。

核心思想

時(shí)間卷積網(wǎng)絡(luò)(TCN)是基于最近提出的最佳實(shí)踐(如擴(kuò)張卷積和殘差連接)設(shè)計(jì)的，它在一系列復(fù)雜的序列建模任務(wù)中表現(xiàn)得明顯優(yōu)于通用的循環(huán)架構(gòu)。

TCN表現(xiàn)出比循環(huán)架構(gòu)更長(zhǎng)的記憶，因此更適合需要較長(zhǎng)的歷史記錄的任務(wù)。

最重要的成果

在序列建模任務(wù)上提供了卷積架構(gòu)和循環(huán)架構(gòu)的廣泛、系統(tǒng)的比較。

設(shè)計(jì)了一個(gè)卷積架構(gòu)，它可以作為序列建模任務(wù)的一個(gè)方便且強(qiáng)大的起點(diǎn)。

AI社區(qū)的評(píng)價(jià)

在使用RNN之前，一定要先嘗試CNN。你會(huì)驚訝于你能走多遠(yuǎn)。——特斯拉人工智能主管Andrej Karpathy。

未來(lái)研究方向

為了提高TCN在不同序列建模任務(wù)中的性能，需要進(jìn)一步精化架構(gòu)和算法。

可能的應(yīng)用

TCN的提出可以提高依賴于循環(huán)架構(gòu)的AI系統(tǒng)的序列建模能力，包括：

機(jī)器翻譯;

語(yǔ)音識(shí)別;

音樂(lè)和語(yǔ)音產(chǎn)生。

5、探索機(jī)器學(xué)習(xí)的公平性

標(biāo)題：Delayed Impact of Fair Machine Learning

By Lydia T. Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt (2018)

https://arxiv.org/abs/1803.04383

論文摘要

機(jī)器學(xué)習(xí)中的公平性主要是在靜態(tài)的分類設(shè)置進(jìn)行研究，而不考慮決策如何隨時(shí)間改變基礎(chǔ)樣本總體。傳統(tǒng)觀點(diǎn)認(rèn)為，公平性標(biāo)準(zhǔn)能夠促進(jìn)它們所保護(hù)的群體的長(zhǎng)期利益。

我們研究了靜態(tài)公平標(biāo)準(zhǔn)與幸福感的時(shí)間指標(biāo)是如何相互作用的，如長(zhǎng)期改善、停滯和利益變量下降。我們證明，即使在單步反饋模型中，一般的公平標(biāo)準(zhǔn)也不會(huì)隨著時(shí)間的推移而促進(jìn)改善，并且不受約束的目標(biāo)不僅不會(huì)促進(jìn)改善，甚至可能造成損害。我們描述了三個(gè)標(biāo)準(zhǔn)的延遲影響，對(duì)比了這些標(biāo)準(zhǔn)表現(xiàn)出不同行為的機(jī)制。此外，我們還發(fā)現(xiàn)一種自然形式的測(cè)量誤差擴(kuò)大了公平標(biāo)準(zhǔn)發(fā)揮有利作用的機(jī)制。

我們的結(jié)果突出了測(cè)量和時(shí)間建模在公平標(biāo)準(zhǔn)評(píng)估中的重要性，提出了一系列新的挑戰(zhàn)和權(quán)衡取舍。

概要總結(jié)

當(dāng)使用基于分?jǐn)?shù)的機(jī)器學(xué)習(xí)算法來(lái)決定誰(shuí)可以獲得機(jī)會(huì)(例如貸款、獎(jiǎng)學(xué)金、工作)，誰(shuí)得不到機(jī)會(huì)時(shí)，目標(biāo)是確保不同人口群體被公平對(duì)待。伯克利人工智能研究實(shí)驗(yàn)室的研究人員表明，由于某些延遲的結(jié)果，使用共同的公平標(biāo)準(zhǔn)實(shí)際上可能會(huì)損害代表性不足或處境不利的群體。因此，他們鼓勵(lì)在設(shè)計(jì)一個(gè)“公平”的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)考慮長(zhǎng)期結(jié)果。

核心思想

考慮實(shí)施公平標(biāo)準(zhǔn)的延遲結(jié)果顯示，這些標(biāo)準(zhǔn)可能對(duì)他們旨在保護(hù)的群體的長(zhǎng)期利益有不利影響。由于公平標(biāo)準(zhǔn)可能會(huì)對(duì)弱勢(shì)群體造成主動(dòng)的傷害，解決的辦法可以是使用結(jié)果最大化的決策規(guī)則，或者一個(gè)結(jié)果模型。

最重要的成果

表明了人口均等、機(jī)會(huì)均等等公平標(biāo)準(zhǔn)可以為弱勢(shì)群體帶來(lái)任何可能的結(jié)果，包括改善、停滯或惡化，而遵循最優(yōu)無(wú)約束選擇政策(如利潤(rùn)最大化)，則永遠(yuǎn)不會(huì)給弱勢(shì)群體帶來(lái)惡化的結(jié)果(主動(dòng)傷害)。

通過(guò)FICO信用評(píng)分?jǐn)?shù)據(jù)的實(shí)驗(yàn)支持了理論預(yù)測(cè)。

考慮了硬公平約束的替代方案。

AI社區(qū)的評(píng)價(jià)

這篇論文獲得了ICML 2018最佳論文獎(jiǎng)，ICML是最重要的機(jī)器學(xué)習(xí)會(huì)議之一。

該研究表明，有時(shí)正面的歧視會(huì)適得其反。

未來(lái)研究方向

考慮超出群體平均變化影響的其他特征(如方差、個(gè)體水平結(jié)果)。

研究結(jié)果優(yōu)化對(duì)建模和測(cè)量誤差的魯棒性。

可能的應(yīng)用

通過(guò)從公平性標(biāo)準(zhǔn)強(qiáng)加的約束轉(zhuǎn)向結(jié)果建模，企業(yè)可能會(huì)開發(fā)出更有利可圖、也“更公平”的ML系統(tǒng)，用于放貸或招聘。

6、世界模型

標(biāo)題：World Model

By David Ha，Jurgen Schmidhuber（2018）

https://worldmodels.github.io

論文摘要

我們探索并建立了流行的強(qiáng)化學(xué)習(xí)環(huán)境的生成神經(jīng)網(wǎng)絡(luò)模型。我們的world model可以以無(wú)監(jiān)督的方式快速訓(xùn)練，用來(lái)學(xué)習(xí)環(huán)境的壓縮空間和時(shí)間表示。通過(guò)使用從world model中提取的特征作為agent的輸入，我們可以訓(xùn)練一個(gè)非常緊湊和簡(jiǎn)單的策略，可以解決所需的任務(wù)。我們甚至可以完全在智能體自身的world model所產(chǎn)生的“幻覺(jué)夢(mèng)境（hallucinated dream）”中訓(xùn)練智能體，并將該策略轉(zhuǎn)換回實(shí)際環(huán)境中。

概覽

Ha和Schmidhuber開發(fā)了一種world model，這種模型可以在無(wú)監(jiān)督的情況下快速訓(xùn)練，以學(xué)習(xí)環(huán)境的時(shí)空表現(xiàn)形式。在賽車任務(wù)中，智能體成功的在賽道上行駛，避開了VizDom實(shí)驗(yàn)中怪物射擊的火球。這些任務(wù)對(duì)以前的方法來(lái)說(shuō)太具有挑戰(zhàn)性了。

核心思想

該解決方案由三個(gè)不同的部分組成：

變分自動(dòng)編碼器（VAE），負(fù)責(zé)捕獲視覺(jué)信息。 它將RGB輸入圖像壓縮成遵循高斯分布的32維隱向量。 智能體可以使用更小的環(huán)境表示，因此可以更有效地學(xué)習(xí)。

遞歸神經(jīng)網(wǎng)絡(luò)（RNN），負(fù)責(zé)前瞻性思維。這是一個(gè)內(nèi)存組件，它試圖預(yù)測(cè)可視組件捕獲的下一張圖片在考慮前一張圖片和上一張圖片時(shí)可能會(huì)是什么樣子。

控制器，負(fù)責(zé)選擇操作。這是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)，連接VAE的輸出和RNN的隱藏狀態(tài)，并選擇良好的行動(dòng)。

最重要的成果

這是第一個(gè)已知的智能體解決流行的“賽車”強(qiáng)化學(xué)習(xí)環(huán)境。

該研究證明了完全在智能體模擬的潛在空間夢(mèng)境世界中訓(xùn)練它，并且執(zhí)行任務(wù)的可能性。

AI社區(qū)的評(píng)價(jià)

這篇論文在人工智能社區(qū)中得到了廣泛的討論，被認(rèn)為是一篇利用神經(jīng)網(wǎng)絡(luò)在“幻覺(jué)”世界中強(qiáng)化學(xué)習(xí)和訓(xùn)練智能體的杰出作品。

未來(lái)研究方向

通過(guò)將小型RNN替換為更高容量的模型或合并外部?jī)?nèi)存模塊，使智能體能夠探索更復(fù)雜的世界。

使用更通用的方法進(jìn)行試驗(yàn)，這些方法允許分層規(guī)劃（hierarchical planning）。

可能的應(yīng)用

在運(yùn)行計(jì)算密集型游戲引擎時(shí)，現(xiàn)在可以在模擬環(huán)境中盡可能多地訓(xùn)練智能體，而不是在實(shí)際環(huán)境中浪費(fèi)大量的計(jì)算資源來(lái)進(jìn)行訓(xùn)練。

7、分解任務(wù)遷移學(xué)習(xí)

標(biāo)題：Taskonomy: Disentangling Task Transfer Learning

ByAmir R. Zamir，Alexander Sax，William Shen，Leonidas J. Guibas，Jitendra Malik，Silvio Savarese（2018）

https://arxiv.org/abs/1804.08328

論文摘要

視覺(jué)任務(wù)之間有關(guān)聯(lián)嗎？例如，表面法線可以簡(jiǎn)化對(duì)圖像深度的估計(jì)嗎？直覺(jué)回答了這些問(wèn)題，暗示了視覺(jué)任務(wù)中存在結(jié)構(gòu)。了解這種結(jié)構(gòu)具有顯著的價(jià)值;它是遷移學(xué)習(xí)的基本概念，提供了一種原則性的方法來(lái)識(shí)別任務(wù)之間的冗余。

我們提出了一種完全計(jì)算的可視化任務(wù)空間結(jié)構(gòu)建模方法。這是通過(guò)在潛在空間中的二十六個(gè)2D，2.5D，3D和語(yǔ)義任務(wù)的字典中查找（一階和更高階）傳遞學(xué)習(xí)依賴性來(lái)完成的。該產(chǎn)品是用于任務(wù)遷移學(xué)習(xí)的計(jì)算分類映射。我們研究這種結(jié)構(gòu)的結(jié)果，例如出現(xiàn)的非平凡關(guān)系，并利用它們來(lái)減少對(duì)標(biāo)記數(shù)據(jù)的需求。例如，我們展示了在保持性能幾乎相同的情況下，解決一組10個(gè)任務(wù)所需的標(biāo)記數(shù)據(jù)點(diǎn)的總數(shù)可以減少大約2/3（與獨(dú)立訓(xùn)練相比）。我們提供了一組用于計(jì)算和探測(cè)這種分類結(jié)構(gòu)的工具，包括一個(gè)解決程序，用戶可以使用它來(lái)為他們的用例設(shè)計(jì)有效的監(jiān)督策略。

概覽

自現(xiàn)代計(jì)算機(jī)科學(xué)的早期以來(lái)，許多研究人員就斷言視覺(jué)任務(wù)之間存在一個(gè)結(jié)構(gòu)。現(xiàn)在Amir Zamir和他的團(tuán)隊(duì)試圖找到這個(gè)結(jié)構(gòu)。他們使用完全計(jì)算的方法建模，并發(fā)現(xiàn)不同可視化任務(wù)之間的許多有用關(guān)系，包括一些重要的任務(wù)。他們還表明，通過(guò)利用這些相互依賴性，可以實(shí)現(xiàn)相同的模型性能，標(biāo)記數(shù)據(jù)要求大約減少2/3。

核心思想

了解不同可視化任務(wù)之間關(guān)系的模型需要更少的監(jiān)督、更少的計(jì)算和更可預(yù)測(cè)的行為。

一種完整的計(jì)算方法來(lái)發(fā)現(xiàn)視覺(jué)任務(wù)之間的關(guān)系是可取的，因?yàn)樗苊饬藦?qiáng)加的、可能是不正確的假設(shè)：先驗(yàn)來(lái)自于人類的直覺(jué)或分析知識(shí)，而神經(jīng)網(wǎng)絡(luò)可能在不同的原理上運(yùn)作。

最重要的成果

識(shí)別26個(gè)常見(jiàn)視覺(jué)任務(wù)之間的關(guān)系，如目標(biāo)識(shí)別、深度估計(jì)、邊緣檢測(cè)和姿態(tài)估計(jì)。

展示這個(gè)結(jié)構(gòu)如何幫助發(fā)現(xiàn)對(duì)每個(gè)視覺(jué)任務(wù)最有效的遷移學(xué)習(xí)類型。

AI社區(qū)的評(píng)價(jià)

該論文在計(jì)算機(jī)視覺(jué)與模式識(shí)別重要會(huì)議CVPR 2018上獲得了最佳論文獎(jiǎng)。

結(jié)果非常重要，因?yàn)閷?duì)于大多數(shù)實(shí)際任務(wù)，大規(guī)模標(biāo)記數(shù)據(jù)集不可用。

未來(lái)研究方向

從一般的視覺(jué)任務(wù)完全由人類定義的模型，轉(zhuǎn)向?qū)⑷祟惗x的視覺(jué)任務(wù)視為由計(jì)算發(fā)現(xiàn)的潛在子任務(wù)組成的觀察樣本的方法。

探索將發(fā)現(xiàn)轉(zhuǎn)化為不完全是視覺(jué)任務(wù)的可能性。

可能的應(yīng)用

在本文中發(fā)現(xiàn)的關(guān)系可以用來(lái)構(gòu)建更有效的視覺(jué)系統(tǒng)，這個(gè)系統(tǒng)將需要更少的標(biāo)記數(shù)據(jù)和更低的計(jì)算成本。

8、SQuAD無(wú)法解決的問(wèn)題

標(biāo)題：Know What You Don't Know: Unanswerable Questions For SQuAD

By Pranav Rajpurkar，Robin Jia，Percy Liang

https://arxiv.org/abs/1806.03822

論文摘要

摘要抽取式閱讀理解系統(tǒng)通常可以在上下文文檔中找到問(wèn)題的正確答案，但對(duì)于沒(méi)有在上下文中陳述正確答案的問(wèn)題，它們往往會(huì)做出不可靠的猜測(cè)。現(xiàn)有的數(shù)據(jù)集要么只關(guān)注可回答的問(wèn)題，要么使用自動(dòng)生成的容易識(shí)別的不可回答的問(wèn)題。為了解決這些缺點(diǎn)，我們提供了SQuAD 2.0，這是斯坦福問(wèn)答數(shù)據(jù)集(SQuAD)的最新版本。SQuAD 2.0結(jié)合了現(xiàn)有的SQuAD數(shù)據(jù)和超過(guò)50000個(gè)由眾包工人以對(duì)抗性方式寫下的無(wú)法回答的問(wèn)題，使其看起來(lái)與能夠回答的問(wèn)題相似。為了在SQuAD 2.0上做得好，系統(tǒng)不僅必須盡可能回答問(wèn)題，還要確定段落何時(shí)不支持答案并且不回答問(wèn)題。 對(duì)于現(xiàn)有模型，SQuAD 2.0是一項(xiàng)具有挑戰(zhàn)性的自然語(yǔ)言理解任務(wù)：在SQUAD 1.1上獲得86％F1的強(qiáng)大神經(jīng)系統(tǒng)在SQuAD 2.0上僅獲得66％的F1。

概覽

斯坦福大學(xué)的一個(gè)研究小組擴(kuò)展了著名的斯坦福問(wèn)答數(shù)據(jù)集（SQUAD），提出了超過(guò)50,000個(gè)難以回答的問(wèn)題。這些問(wèn)題的答案不能在支持段落（supporting paragraph）中找到，但是這些問(wèn)題看起來(lái)與可回答的問(wèn)題非常相似。更重要的是，支持段落包含了對(duì)這些問(wèn)題的合理（但不正確）的回答。這使得新的SQuAD 2.0對(duì)于現(xiàn)有的最先進(jìn)的模型來(lái)說(shuō)極具挑戰(zhàn)性。

核心思想

當(dāng)前的自然語(yǔ)言理解（NLU）系統(tǒng)遠(yuǎn)非真正的語(yǔ)言理解，其根本原因之一是現(xiàn)有的Q&A數(shù)據(jù)集關(guān)注的問(wèn)題是保證在上下文文檔中存在正確答案的問(wèn)題。

為了真正具有挑戰(zhàn)性，應(yīng)該提出一些無(wú)法回答的問(wèn)題，以便：它們與支持段落相關(guān)；這一段包含了一個(gè)貌似合理的答案，它包含了與問(wèn)題所要求的信息相同的信息，但是是不正確的。

最重要的成果

通過(guò)53,777個(gè)新的無(wú)法回答的問(wèn)題擴(kuò)展SQuAD，從而構(gòu)建具有挑戰(zhàn)性的大規(guī)模數(shù)據(jù)集，迫使NLU系統(tǒng)了解何時(shí)無(wú)法根據(jù)上下文回答問(wèn)題。

這給NLU系統(tǒng)帶來(lái)了新的挑戰(zhàn)，因?yàn)楝F(xiàn)有的模型（66%的準(zhǔn)確率）較低于人類的準(zhǔn)確率（89.5%）。

這表明貌似合理的答案確實(shí)對(duì)NLU系統(tǒng)起到了有效的干擾作用。

AI社區(qū)的評(píng)價(jià)

該論文被計(jì)算語(yǔ)言學(xué)協(xié)會(huì)（ACL）評(píng)為2018年度最佳短文。

新的數(shù)據(jù)集增加了NLU領(lǐng)域的復(fù)雜性，并且實(shí)際上可以在這一研究領(lǐng)域促進(jìn)性能訓(xùn)練。

未來(lái)研究的方向

開發(fā)“了解他們不知道的東西”的新模型，從而更好地理解自然語(yǔ)言。

可能的應(yīng)用

在這個(gè)新的數(shù)據(jù)集上訓(xùn)練閱讀理解模型，可以提高它們?cè)诂F(xiàn)實(shí)場(chǎng)景中的性能，在這些場(chǎng)景中，答案通常不是直接可用的。

9、用于高保真自然圖像合成的大規(guī)模GAN訓(xùn)練

標(biāo)題：Large Scale GAN Training For High Fidelity Natural Image Synthesis

By Andrew Brock，Jeff Donahue，Karen Simonyan（2018）

https://arxiv.org/abs/1809.11096

論文摘要

盡管生成圖像建模最近取得了進(jìn)展，但從ImageNet等復(fù)雜數(shù)據(jù)集成功生成高分辨率、多樣化的樣本仍然是一個(gè)難以實(shí)現(xiàn)的目標(biāo)。為此，我們?cè)谧畲蟮囊?guī)模下進(jìn)行了生成對(duì)抗網(wǎng)絡(luò)的訓(xùn)練，并研究了這種規(guī)模下的不穩(wěn)定性。我們發(fā)現(xiàn)，將正交正則化應(yīng)用于發(fā)生器，使其服從于一個(gè)簡(jiǎn)單的“截?cái)嗉记伞保梢栽试S通過(guò)截?cái)酀撛诳臻g來(lái)精細(xì)控制樣本保真度和多樣性之間的權(quán)衡。我們的修改使得模型在類條件圖像合成中達(dá)到了新的技術(shù)水平。 當(dāng)我們?cè)贗mageNet上以128×128分辨率進(jìn)行訓(xùn)練時(shí)，我們的模型（BigGAN）的初始得分（IS）為166.3，F(xiàn)rechet初始距離（FID）為9.6。

概覽

DeepMind團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)前的技術(shù)足以從現(xiàn)有數(shù)據(jù)集(如ImageNet和JFT-300M)合成高分辨率、多樣化的圖像。他們特別指出，生成對(duì)抗網(wǎng)絡(luò)(GANs)可以生成看起來(lái)非常逼真的圖像，如果它們?cè)诜浅４蟮姆秶鷥?nèi)進(jìn)行訓(xùn)練，即使用比以前實(shí)驗(yàn)多2到4倍的參數(shù)和8倍的批處理大小。這些大規(guī)模的GAN，或BigGAN，是類條件圖像合成的最新技術(shù)。

核心思想

隨著批（batch）大小和參數(shù)數(shù)量的增加，GAN的性能更好。

將正交正則化應(yīng)用到生成器中，使模型響應(yīng)特定的技術(shù)（“截?cái)嗉记伞保摷夹g(shù)提供了對(duì)樣本保真度和多樣性之間的權(quán)衡的控制。

最重要的成果

證明GAN可以從scaling中獲益；

構(gòu)建允許顯式、細(xì)粒度地控制樣本多樣性和保真度之間權(quán)衡的模型；

發(fā)現(xiàn)大規(guī)模GAN的不穩(wěn)定性；

BigGAN在ImageNet上以128×128分辨率進(jìn)行訓(xùn)練：初始得分（IS）為166.3，之前的最佳IS為52.52；Frechet Inception Distance (FID)為9.6，之前最好的FID為18.65。

AI社區(qū)的評(píng)價(jià)

該論文正在為ICLR 2019做準(zhǔn)備；

自從Big Hub上線BigGAN發(fā)生器之后，來(lái)自世界各地的AI研究人員正在玩BigGAN，來(lái)生成狗，手表，比基尼圖像，蒙娜麗莎，海濱以及更多主題。

未來(lái)研究方向

遷移到更大的數(shù)據(jù)集以減少GAN穩(wěn)定性問(wèn)題；

探索減少GAN產(chǎn)生的奇怪樣本數(shù)量的可能性。

可能的應(yīng)用

取代昂貴的手工媒體創(chuàng)作，用于廣告和電子商務(wù)的目的。

10、BERT：深度雙向變換器語(yǔ)言理解的預(yù)訓(xùn)練

標(biāo)題：BERT: Pre-Training of Deep Bidirectional Transformers for Language Understanding

By Jacob Devlin，Ming-Wei Chang，Kenton Lee，Kristina Toutanova（2018）

https://arxiv.org/abs/1810.04805

論文摘要

我們介紹了一種新的語(yǔ)言表示模型，稱為BERT，它代表轉(zhuǎn)換器的雙向編碼器表示。與最近的語(yǔ)言表示模型不同，BERT的設(shè)計(jì)是通過(guò)在所有層中對(duì)左右上下文進(jìn)行聯(lián)合條件作用來(lái)預(yù)先訓(xùn)練深層雙向表示。因此，只需要一個(gè)額外的輸出層，就可以對(duì)預(yù)訓(xùn)練的BERT表示進(jìn)行微調(diào)，從而為廣泛的任務(wù)（如回答問(wèn)題和語(yǔ)言推斷）創(chuàng)建最先進(jìn)的模型，而無(wú)需對(duì)特定于任務(wù)的體系結(jié)構(gòu)進(jìn)行大量修改。

BERT概念簡(jiǎn)單且功能豐富。它在11項(xiàng)自然語(yǔ)言處理任務(wù)中獲得了最新的結(jié)果，包括將GLUE基準(zhǔn)提高到80.4%，多項(xiàng)精度提高到86.7，以及將SQuAD v1.1答題測(cè)試F1提高到93.2，比人類表現(xiàn)高出2.0%。

概覽

谷歌AI團(tuán)隊(duì)提出了一種新的最前沿的自然語(yǔ)言處理(NLP)模型——BERT，Bidirectional Encoder Representations from Transformers。它的設(shè)計(jì)允許模型從左右兩邊考慮每個(gè)單詞的上下文。在概念簡(jiǎn)單的同時(shí)，BERT在11個(gè)NLP任務(wù)上獲得了最新的最先進(jìn)的結(jié)果，這些任務(wù)包括回答問(wèn)題、命名實(shí)體識(shí)別和其他與一般語(yǔ)言理解相關(guān)的任務(wù)。

核心思想

通過(guò)隨機(jī)屏蔽一定比例的輸入tokens來(lái)訓(xùn)練一個(gè)深層雙向模型，從而避免單詞可以間接“看到自己”的循環(huán)；

此外，通過(guò)構(gòu)建一個(gè)簡(jiǎn)單的二元分類任務(wù)，預(yù)測(cè)句子B是否緊跟著句子A，對(duì)句子關(guān)系模型進(jìn)行預(yù)處理，從而讓BERT更好地理解句子之間的關(guān)系。

訓(xùn)練一個(gè)非常大的模型（24個(gè)Transformer塊，1024個(gè)hidden，340M參數(shù)）和大量數(shù)據(jù)（33億字語(yǔ)料庫(kù)）。

最重要的成果

為11項(xiàng)NLP任務(wù)提供最先進(jìn)的技術(shù)，包括：GLUE分?jǐn)?shù)80.4%，比之前的最佳成績(jī)有7.6%的提升；在SQuAD 1.1上達(dá)到93.2％的準(zhǔn)確率，超過(guò)人類水平2％。

建議一個(gè)預(yù)訓(xùn)練的模型，它不需要任何實(shí)質(zhì)性的架構(gòu)修改就可以應(yīng)用于特定的NLP任務(wù)。

AI社區(qū)的評(píng)價(jià)

BERT模型標(biāo)志著NLP的新時(shí)代；

兩個(gè)無(wú)人監(jiān)督的任務(wù)在一起為許多NLP任務(wù)提供了很好的結(jié)果；

語(yǔ)言模型的預(yù)訓(xùn)練成為一種新標(biāo)準(zhǔn)。

未來(lái)研究方向

在更廣泛的任務(wù)中測(cè)試該方法；

可能的應(yīng)用

BERT可以幫助企業(yè)解決一系列的NLP問(wèn)題，包括：為聊天機(jī)器人提供更好的客戶體驗(yàn)；客戶評(píng)論分析；查閱相關(guān)資料等等。