文本理解是自然語言處理領(lǐng)域的一個(gè)核心目標(biāo)，最近取得了一系列的進(jìn)展，包括機(jī)器翻譯、問答等。不過之前的工作大多數(shù)是關(guān)心最終的效果，而人們對于模型何時(shí)做出決定（或做決定的原因）卻知之甚少，這是一個(gè)對于理論研究和實(shí)際應(yīng)用都非常重要的課題。深度好奇（DeeplyCurious.AI） 最近在IJCAI-2018上展示了一個(gè)學(xué)習(xí)何時(shí)做分類決策的強(qiáng)化學(xué)習(xí)模型：Jumper， 該論文將文本分類問題建模成離散的決策過程，并通過強(qiáng)化學(xué)習(xí)來優(yōu)化，符號化表征模型的決策過程具有很好的可解釋性，同時(shí)分類效果也達(dá)到最高水平。

本文提供了一種新的框架，將文本理解建模為一個(gè)離散的決策過程。通常在閱讀過程中，人們尋找線索、進(jìn)行推理，并從文本中獲取信息；受到人類認(rèn)知過程的啟發(fā)，我們通過將句子逐個(gè)地遞送到神經(jīng)網(wǎng)絡(luò)來模仿這個(gè)過程。在每個(gè)句子中，網(wǎng)絡(luò)基于輸入做出決策（也稱為動(dòng)作），并且在該過程結(jié)束時(shí)，該決策序列可以視為是對文本有了一些“理解”。

特別一提的是，我們專注于幾個(gè)預(yù)定義子任務(wù)的文本分類問題。當(dāng)我們的神經(jīng)網(wǎng)絡(luò)讀取一個(gè)段落時(shí)，每個(gè)子任務(wù)在開始時(shí)具有默認(rèn)值“無”（None）。 在每個(gè)決策步驟中，段落的句子按順序被遞送到神經(jīng)網(wǎng)絡(luò)；之后，網(wǎng)絡(luò)來決定是否有足夠的信心“跳轉(zhuǎn)”到非默認(rèn)值作為特定時(shí)間的預(yù)測。我們施加約束，即每次跳轉(zhuǎn)都是最終決定，它不可以在后面的閱讀中被更改。如圖1所示，給定一段話，有多個(gè)預(yù)先定義好的問題等待回答；模型按句子閱讀，在閱讀過程中，問題的答案陸續(xù)被找到。模型從默認(rèn)決策到非默認(rèn)決策都是一個(gè)“跳轉(zhuǎn)”的過程，正因此我們稱模型為Jumper。在人類閱讀的過程中，人們通常會獲得一致的閱讀理解的結(jié)果，但是閱讀理解過程中的很多環(huán)節(jié)卻經(jīng)常是微妙和難以捉摸的。同樣，我們也假設(shè)我們的訓(xùn)練標(biāo)簽僅包含最終結(jié)果，并且沒有給出關(guān)于模型應(yīng)該做出決定的步驟的監(jiān)督信號。也就是說，我們通過強(qiáng)化學(xué)習(xí)在弱監(jiān)督信號情況下訓(xùn)練Jumper模型。

圖1 Jumper模型在閱讀段落的決策過程

Jumper模型主要由編碼層、控制器、符號輸出層構(gòu)成。編碼層將句子編碼成定長的向量，控制器根據(jù)歷史和當(dāng)前輸入產(chǎn)生當(dāng)前的決定，符號輸出層使模型的輸出滿足跳轉(zhuǎn)約束，即每個(gè)決策過程最多只能有一次跳轉(zhuǎn)。

圖2 Jumper模型的基本框架

跳轉(zhuǎn)約束的作用在于使模型更加慎重地決定何時(shí)跳轉(zhuǎn)。因此，Jumper模型的優(yōu)化目標(biāo)有兩個(gè)，第一個(gè)是盡可能早地“跳轉(zhuǎn)”，第二個(gè)是盡可能預(yù)測準(zhǔn)。假設(shè)t* 是最佳的跳轉(zhuǎn)時(shí)間，那么如果模型在t* 時(shí)刻之前跳轉(zhuǎn)，則模型還沒有看到真正的pattern，那么得到的答案等同于隨機(jī)猜；如果模型在t* 時(shí)刻之后跳轉(zhuǎn)，而t* +1句話可能不存在，因此沒有機(jī)會跳轉(zhuǎn)從而預(yù)測錯(cuò)誤。

通過上述建模，論文把文本分類問題轉(zhuǎn)化為離散的決策過程，訓(xùn)練好的Jumper輸出的離散決策過程就可以表達(dá)模型對文本的理解過程；而決策過程本身并沒有標(biāo)簽，因此我們用policy gradient強(qiáng)化學(xué)習(xí)算法來訓(xùn)練，如果最終的決定和分類標(biāo)簽一致，就獎(jiǎng)勵(lì)整個(gè)決策動(dòng)作，如果不一致，則懲罰。

我們對三個(gè)任務(wù)評估了Jumper，包括兩個(gè)基準(zhǔn)數(shù)據(jù)集和一個(gè)實(shí)際工業(yè)應(yīng)用。我們首先分析了Jumper的分類準(zhǔn)確性，并與幾個(gè)基線進(jìn)行了比較。表1顯示Jumper在所有這些任務(wù)上實(shí)現(xiàn)了相當(dāng)或更好的性能，這表明將文本分類建模為順序決策過程不僅不會損害、甚至提高了分類準(zhǔn)確性。

表1 在電影評論數(shù)據(jù)集（MR）、新聞數(shù)據(jù)集（AG）和工傷數(shù)據(jù)集（OI）的測試集上的準(zhǔn)確率

我們想指出，“準(zhǔn)確性”并不是我們關(guān)注的唯一表現(xiàn)。更重要的是，提出的模型能夠減少閱讀過程，或者找到文本分類的關(guān)鍵支撐句。只要在閱讀過程中基于“跳轉(zhuǎn)約束”限制而看到足夠的證據(jù)，Jumper就能做出決定，并且在預(yù)測之后不需要再閱讀之后的句子。在表2中可以看到，我們的模型與強(qiáng)基線相比達(dá)到了相似或更高的性能，與此同時(shí)，它還將文本讀取的長度縮減了30-40％，從而加速了推斷預(yù)測。

表2

除了準(zhǔn)確率高和推斷速度快以外，我們更好奇Jumper是否能夠在信息提取式任務(wù)（例如工傷級別分類任務(wù)）中找到正確的位置做出決策。我們在400個(gè)數(shù)據(jù)點(diǎn)中標(biāo)注關(guān)鍵支撐句（即最佳跳轉(zhuǎn)位置）作為測試基礎(chǔ)。需要注意的是，在這個(gè)實(shí)驗(yàn)中我們?nèi)匀粵]有跳轉(zhuǎn)位置的訓(xùn)練標(biāo)簽。我們將Jumper與使用相同神經(jīng)網(wǎng)絡(luò)的層級CNN-GRU模型進(jìn)行比較，但在訓(xùn)練方法方面有所不同；層級CNN-GRU在訓(xùn)練時(shí)，用段落末尾的交叉熵作為損失函數(shù)。在測試期間，我們將預(yù)測器應(yīng)用于每個(gè)步驟并找到它做出預(yù)測的第一個(gè)位置。我們還列出了一個(gè)經(jīng)典CNN的結(jié)果作為基線模型，并使用了最大池化操作（max-pooling）選擇的單詞最多的那些句子來作為測試數(shù)據(jù)。我們使用了跳轉(zhuǎn)動(dòng)作的準(zhǔn)確率來評測Jumper。通過表3可知，Jumper準(zhǔn)確地找到了測試集中所有關(guān)鍵支撐句的位置，說明我們的單跳約束迫使模型更仔細(xì)地思考何時(shí)做出決策，也驗(yàn)證了強(qiáng)化學(xué)習(xí)是學(xué)習(xí)決策正確位置的有效方法。

表3 各模型在工傷等級分類任務(wù)（OI-Level）上尋找關(guān)鍵支撐句的效果統(tǒng)計(jì)。該任務(wù)的關(guān)鍵支撐句在文本中通常聚集于一處，不存在歧義，便于衡量各模型效果。CA：分類準(zhǔn)確率，JA：跳躍準(zhǔn)確率，OA：在分類準(zhǔn)確條件下的跳躍準(zhǔn)確率

圖3則顯示了Jumper在閱讀時(shí)做出決策的過程。其中，Jumper在前六個(gè)句子中保持默認(rèn)決策（不做跳轉(zhuǎn)），而在到達(dá)關(guān)鍵支撐句時(shí)突然跳轉(zhuǎn)，這體現(xiàn)了Jumper可以識別關(guān)鍵支撐句，從而找到最佳跳躍位置。因此，在這類關(guān)鍵支撐語句集中出現(xiàn)時(shí)，Jumper可以在完成分類任務(wù)的同時(shí)找到關(guān)鍵支撐句，因此具有較強(qiáng)的可解釋性。

圖3 Jumper決策序列展示

總結(jié)

我們提出了一種新的模型Jumper，它在閱讀段落時(shí)將文本分類建模為逐個(gè)句子的順序決策過程。我們通過強(qiáng)化學(xué)習(xí)訓(xùn)練帶有跳轉(zhuǎn)約束的Jumper，實(shí)驗(yàn)表明：1） Jumper的性能與基線相當(dāng)或更高；2） 它在很大程度上減少了文本閱讀量；3） 如果所需信息在文中的分布是局域性的，它可以找到關(guān)鍵的支撐句子，具有很好的可解釋性。