【導(dǎo)語】ICLR 是深度學(xué)習(xí)領(lǐng)域的頂級(jí)會(huì)議，素有深度學(xué)習(xí)頂會(huì) “無冕之王” 之稱。今年的 ICLR 大會(huì)將于5月6日到5月9日在美國(guó)新奧爾良市舉行，大會(huì)采用 OpenReview 的公開雙盲評(píng)審機(jī)制，共接收了 1578 篇論文：其中 oral 論文 24 篇 (約占 1.5%)，poster 論文共 476 篇 (占30.2%)。在這些錄用的論文中，深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)和生成對(duì)抗網(wǎng)絡(luò) GANs 是最熱門的三大研究方向。

今天， ICLR2019 公布了最佳論文，有兩篇論文獲得了最佳論文，在此對(duì)獲獎(jiǎng)?wù)撐淖髡呒皥F(tuán)隊(duì)表示祝賀！一篇是《Ordered Neurons: Integrating Tree Structures into Recurrent Neural Networks》，在 RNN 網(wǎng)絡(luò)中集成樹結(jié)構(gòu)，提出一種神經(jīng)元排序策略，由蒙特利爾大學(xué)、微軟研究院共同研究發(fā)表；另一篇是 MIT CSAIL 的研究成果《The Lottery Ticket Hypothesis: Finding Spare, Trainable Neural Networks》。下面就為大家?guī)磉@兩篇最佳論文的解讀。

論文一

論文地址：

https://openreview.net/forum?id=B1l6qiR5F7

摘要

自然語言可視為是一種小單元 (如短語) 嵌套在大單元 (如字句) 中的分層結(jié)構(gòu)。當(dāng)結(jié)束一個(gè)大單元時(shí)，內(nèi)部所嵌套的小單元也將隨之關(guān)閉。盡管標(biāo)準(zhǔn)的 LSTM 結(jié)構(gòu)允許不同的神經(jīng)元跟蹤不同時(shí)間維度信息，但它對(duì)于層級(jí)結(jié)構(gòu)建模中的各組成沒有明確的偏向。針對(duì)這個(gè)問題，本文提出神經(jīng)元排序策略來添加一個(gè)歸納偏置量 (inducive bias)，當(dāng)主輸入向量和遺忘門結(jié)構(gòu)確保給定的神經(jīng)網(wǎng)絡(luò)更新時(shí)，后續(xù)跟隨的所有神經(jīng)元也將隨之更新。這種集成樹結(jié)構(gòu)的新穎循環(huán)神經(jīng)網(wǎng)絡(luò) ON-LSTM (ordered neurons LSTM) 在四種不同的 NLP 任務(wù)：語言建模、無監(jiān)督解析、目標(biāo)句法評(píng)估和邏輯推理上都取得了良好的表現(xiàn)。

研究動(dòng)機(jī)

將樹結(jié)構(gòu)集成到神經(jīng)網(wǎng)絡(luò)模型用于 NLP 任務(wù)主要有如下原因：

學(xué)習(xí)抽象的逐層特征表征是深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的一大關(guān)鍵特征

對(duì)語言的組成影響進(jìn)行建模并通過 shortcuts 連接方法為反向傳播過程提供有效的梯度信息，這有助于解決深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的長(zhǎng)期依賴性問題

通過更好的歸納偏置來改善模型的泛化能力，同時(shí)能夠減少模型訓(xùn)練過程對(duì)大量數(shù)據(jù)的需求

基于以上動(dòng)機(jī)，該研究提出一種有序化神經(jīng)元方法 (結(jié)構(gòu)示意圖如下圖1)，通過歸納偏置來強(qiáng)化每個(gè)神經(jīng)元中的信息儲(chǔ)存：大的、高級(jí)的神經(jīng)元儲(chǔ)存長(zhǎng)期信息，這些信息通過大量的步驟保存；小的、低級(jí)的神經(jīng)元儲(chǔ)存短期信息，這些信息能夠快速遺忘。此外，一種新型的激活函數(shù) cumulative softmax (cumax) 用于主動(dòng)為神經(jīng)元分配長(zhǎng)/短期所儲(chǔ)存的信息，有效地避免高/低級(jí)神經(jīng)元的固定劃分問題。

總的來說，本文的研究集成樹結(jié)構(gòu)到 LSTM 網(wǎng)絡(luò)中，并通過歸納偏置和 cumax 函數(shù)，構(gòu)建一種新穎的 ON-LSTM 模型，在多項(xiàng) NLP 任務(wù)中都取得了不錯(cuò)的性能表現(xiàn)。

圖1 組成解析樹結(jié)構(gòu)與 ON-LSTM 模型隱藏狀態(tài)的對(duì)應(yīng)關(guān)系

實(shí)驗(yàn)結(jié)果

在四種 NLP 任務(wù)中評(píng)估 ON-LSTM 模型的性能，具體如下。

語言建模

圖2 Penn Treebank 語言建模任務(wù)驗(yàn)證機(jī)和測(cè)試集的單模型困惑度

無監(jiān)督句法組成分析

圖3 full WSJ10 和 WSJ test 數(shù)據(jù)集上的句法組成分析評(píng)估結(jié)果

目標(biāo)句法評(píng)估

圖4 ON-LSTM 和 LSTM 模型在每個(gè)測(cè)試樣本的總體精度表現(xiàn)

邏輯推理

圖5 在邏輯短序列數(shù)據(jù)上訓(xùn)練的模型的測(cè)試精度

論文二

論文地址：

https://openreview.net/forum?id=rJl-b3RcF7

摘要

神經(jīng)網(wǎng)絡(luò)的剪枝技術(shù)能夠在不影響模型準(zhǔn)確性能的情況下，減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)量，多達(dá)90%以上，在降低計(jì)算存儲(chǔ)空間的同時(shí)提高模型的推理性能。然而，先前的研究經(jīng)驗(yàn)表明，通過剪枝技術(shù)得到的稀疏網(wǎng)絡(luò)結(jié)構(gòu)在初期是很難訓(xùn)練的，這似乎也有利于訓(xùn)練性能的提升。一個(gè)標(biāo)準(zhǔn)的剪枝技術(shù)能夠自然地發(fā)現(xiàn)子網(wǎng)絡(luò)結(jié)構(gòu)，這些子網(wǎng)絡(luò)的初始化能夠幫助網(wǎng)絡(luò)更有效地訓(xùn)練。

因此，本研究提出一種 lottery ticket hypothesis：對(duì)于那些包含子網(wǎng)絡(luò) (winning ticket) 結(jié)構(gòu)的密集、隨機(jī)初始化前饋網(wǎng)絡(luò)，當(dāng)單獨(dú)訓(xùn)練這些子網(wǎng)絡(luò)時(shí)，通過相似的訓(xùn)練迭代次數(shù)能夠取得與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y(cè)試性能。而這些子網(wǎng)絡(luò)也驗(yàn)證了初始的假設(shè)：即具有初始權(quán)重的連接網(wǎng)絡(luò)能夠更有效地訓(xùn)練。

基于這些結(jié)果，本文提出一種算法來確定子網(wǎng)絡(luò)結(jié)構(gòu)，并通過一系列的實(shí)驗(yàn)來支持 lottery ticket hypothesis 以及這些偶然初始化的重要性。實(shí)驗(yàn)結(jié)果表明，在 MNIST 和 CIFAR-10 數(shù)據(jù)集上，子網(wǎng)絡(luò)的規(guī)模始終比幾種全連接結(jié)構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)小10%-20%。當(dāng)規(guī)模超過這個(gè)范圍時(shí)，子網(wǎng)絡(luò)能夠比原始網(wǎng)絡(luò)有更快的學(xué)習(xí)速度和更好的測(cè)試精度表現(xiàn)。

研究動(dòng)機(jī)與方法

本文分析驗(yàn)證了存在較小的子網(wǎng)絡(luò)結(jié)構(gòu)，在相當(dāng)?shù)臏y(cè)試精度表現(xiàn)前提下，一開始就訓(xùn)練網(wǎng)絡(luò)能夠達(dá)到與較大子網(wǎng)絡(luò)一樣，甚至更快的訓(xùn)練速度。而基于此，本文提出 Lottery Ticket Hypothesis：將一個(gè)復(fù)雜網(wǎng)絡(luò)的所有參數(shù)作為一個(gè)獎(jiǎng)勵(lì)池，存在一個(gè)參數(shù)組合所構(gòu)成的子網(wǎng)絡(luò) (用 winning ticket 表示)，單獨(dú)訓(xùn)練該網(wǎng)絡(luò)能夠達(dá)到與原始復(fù)雜網(wǎng)絡(luò)相當(dāng)?shù)臏y(cè)試精度。

對(duì)于該子網(wǎng)絡(luò)結(jié)構(gòu)的確定，主要是通過訓(xùn)練一個(gè)網(wǎng)絡(luò)并剪枝其中最小權(quán)重來確定子網(wǎng)絡(luò)，而其余未剪枝部分連接構(gòu)成自網(wǎng)絡(luò)的結(jié)構(gòu)。具體步驟如下：

首先通過隨機(jī)初始化得到一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò) f

接著重復(fù)訓(xùn)練該網(wǎng)絡(luò) j 次，得到網(wǎng)絡(luò)參數(shù)

然后對(duì)該模型按 p% 進(jìn)行剪枝得到一個(gè)掩碼 m；將步驟二中的網(wǎng)絡(luò)參數(shù)作為參數(shù)向量，每個(gè)向量元素對(duì)應(yīng)于一個(gè) m，用于表征是否丟棄。

最后，對(duì)于存留下來的模型，在原始復(fù)雜網(wǎng)絡(luò)參數(shù)組合進(jìn)行初始化，創(chuàng)建一個(gè)子網(wǎng)絡(luò)結(jié)構(gòu)。

總的來說，本研究的主要貢獻(xiàn)如下：

驗(yàn)證了剪枝技術(shù)能夠發(fā)現(xiàn)可訓(xùn)練的子網(wǎng)絡(luò)結(jié)構(gòu)，而這些網(wǎng)絡(luò)能夠達(dá)到與原始網(wǎng)絡(luò)相當(dāng)?shù)臏y(cè)試精度。

提出了一種 lottery ticket hypothesis，從一種新的角度來解釋這些神經(jīng)網(wǎng)絡(luò)的組成。

證明了通過剪枝技術(shù)得到的子網(wǎng)絡(luò)相比于原是網(wǎng)絡(luò)，有著更快的學(xué)習(xí)速度、更高的測(cè)試精度和更好的泛化性能。

應(yīng)用

本文的研究驗(yàn)證了確實(shí)存在比原始網(wǎng)絡(luò)更快速、性能更佳的子網(wǎng)絡(luò)，這種結(jié)構(gòu)能夠給未來的研究提供諸多方向：

提高模型訓(xùn)練性能：由于子網(wǎng)絡(luò)能夠從一開始就進(jìn)行單獨(dú)訓(xùn)練，因此盡早進(jìn)行剪枝的訓(xùn)練方案值得進(jìn)一步探索。

設(shè)計(jì)更好的網(wǎng)絡(luò)結(jié)構(gòu)：子網(wǎng)絡(luò)結(jié)構(gòu)的存在說明稀疏架構(gòu)和初始化組合有利于模型的學(xué)習(xí)。因此設(shè)計(jì)出有助于學(xué)習(xí)的新結(jié)構(gòu)和初始化方案，甚至將子網(wǎng)絡(luò)結(jié)構(gòu)遷移到其他任務(wù)仍需要進(jìn)一步研究。

提高神經(jīng)網(wǎng)絡(luò)的理論理解高度：更加深入地理解隨機(jī)初始化網(wǎng)絡(luò)與子網(wǎng)絡(luò)的關(guān)系、網(wǎng)絡(luò)優(yōu)化與泛化性能的知識(shí)等。