近期，來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)人工智能實(shí)驗(yàn)室（CSAIL）和卡塔爾計(jì)算研究所的研究人員已經(jīng)通過(guò)新的解釋技術(shù)，來(lái)分析神經(jīng)網(wǎng)絡(luò)做機(jī)器翻譯和語(yǔ)音識(shí)別的訓(xùn)練過(guò)程。

神經(jīng)網(wǎng)絡(luò)通過(guò)分析大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)并執(zhí)行任務(wù)，這是近期人工智能領(lǐng)域最令人印象深刻的進(jìn)展，包括語(yǔ)音識(shí)別和自動(dòng)翻譯系統(tǒng)。

然而，在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)以甚至其創(chuàng)造者都無(wú)法解釋的方式來(lái)不斷調(diào)整其內(nèi)部設(shè)置。計(jì)算機(jī)科學(xué)最近的許多工作都聚焦于千方百計(jì)的弄清楚神經(jīng)網(wǎng)絡(luò)的工作原理。

在最近的幾篇論文，來(lái)自麻省理工學(xué)院計(jì)算機(jī)科學(xué)人工智能實(shí)驗(yàn)室（CSAIL）和卡塔爾計(jì)算研究所的研究人員已經(jīng)使用了新開(kāi)發(fā)的解釋技術(shù)，來(lái)分析神經(jīng)網(wǎng)絡(luò)做機(jī)器翻譯和語(yǔ)音識(shí)別的訓(xùn)練過(guò)程，該新技術(shù)已被應(yīng)用于其他領(lǐng)域。

他們對(duì)神經(jīng)網(wǎng)絡(luò)的工作原理有了基本認(rèn)知。例如，這些系統(tǒng)似乎專(zhuān)注于較低級(jí)別的任務(wù)，如聲音識(shí)別或部分語(yǔ)音識(shí)別，然后再轉(zhuǎn)到更高級(jí)別的任務(wù)，如轉(zhuǎn)錄或語(yǔ)義解釋。

但是研究人員也發(fā)現(xiàn)了翻譯網(wǎng)絡(luò)處理數(shù)據(jù)類(lèi)型的一個(gè)驚人的遺漏，他們指出糾正這種遺漏會(huì)提高網(wǎng)絡(luò)的性能。這種改進(jìn)是適度的，但它指出了對(duì)神經(jīng)網(wǎng)絡(luò)的分析可能有助于提高人工智能系統(tǒng)的準(zhǔn)確性。

“從歷史角度看，在機(jī)器翻譯里，有一個(gè)具有不同層次的金字塔，” CSAIL一位高級(jí)研究科學(xué)家說(shuō)。這位科學(xué)家在是麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)的畢業(yè)生，曾參與Yonatan Belinkov項(xiàng)目。”在最低層有文字，表層形式，金字塔的頂層是一種語(yǔ)際表示，在做語(yǔ)法和語(yǔ)義時(shí)會(huì)達(dá)到不同的層次。這是一個(gè)非常抽象的概念，意思是你在金字塔中爬得越高，就越容易翻譯成一種新的語(yǔ)言，然后你就再往下走。所以Yonata所做的部分工作是找出在神經(jīng)網(wǎng)絡(luò)中這種概念的會(huì)是什么樣的編碼。”

分層處理

神經(jīng)網(wǎng)絡(luò)之所以得名，是因?yàn)樗鼈兇笾陆咏四X的結(jié)構(gòu)。通常，它們被分層，每個(gè)層由許多簡(jiǎn)單的處理單元節(jié)點(diǎn)組成，每個(gè)節(jié)點(diǎn)都連接到上面和下面的層中的幾個(gè)節(jié)點(diǎn)。數(shù)據(jù)被送入最低層，其節(jié)點(diǎn)處理它并將其傳遞給下一層。層之間的連接具有不同的“權(quán)重”，它決定了任何一個(gè)節(jié)點(diǎn)的輸出轉(zhuǎn)化到到下一個(gè)節(jié)點(diǎn)的計(jì)算量是多少。

在訓(xùn)練過(guò)程中，節(jié)點(diǎn)之間的權(quán)重不斷調(diào)整。在網(wǎng)絡(luò)被訓(xùn)練后，它的創(chuàng)建者可以確定所有連接的權(quán)重，但有成千上萬(wàn)個(gè)甚至多個(gè)節(jié)點(diǎn)，甚至它們之間有更多的連接，推斷出這些權(quán)重編碼的算法幾乎是不可能的。

麻省理工和卡塔爾計(jì)算研究所研究人員的技術(shù)包括訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)和使用它的每一層的輸出，通過(guò)個(gè)別的培訓(xùn)案例，培養(yǎng)其他的神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行特定的任務(wù)。這使他們能夠確定每個(gè)層優(yōu)化的任務(wù)是什么。

在語(yǔ)音識(shí)別網(wǎng)絡(luò)的案例中，Belinkov和Glass使用的單個(gè)層輸出訓(xùn)練系統(tǒng)識(shí)別“語(yǔ)音”，區(qū)別于口語(yǔ)的發(fā)音單元。例如，“T”的發(fā)音在“Tea”“Tree”和“But”，是不同的，但語(yǔ)音識(shí)別系統(tǒng)已經(jīng)把他們都用字母“T”轉(zhuǎn)錄。事實(shí)上，Belinkov和Glass發(fā)現(xiàn)，低層次的網(wǎng)絡(luò)比高層次網(wǎng)絡(luò)語(yǔ)言識(shí)別能力更強(qiáng)。在那里，可能區(qū)別是不重要的。

同樣的，Glass, Belinkov和他們卡塔爾計(jì)算研究所的同事于去年夏天在語(yǔ)言協(xié)會(huì)年度大會(huì)上發(fā)布的文章表明，機(jī)器翻譯網(wǎng)絡(luò)的低層善于識(shí)別詞類(lèi)和形態(tài)，比如時(shí)態(tài)、數(shù)字和共軛。

語(yǔ)義理解

但是在新的論文中，他們表明網(wǎng)絡(luò)的更高層次在語(yǔ)義標(biāo)注方面更好。Belinkov解釋說(shuō)，一部分語(yǔ)音標(biāo)簽，能認(rèn)識(shí)到“herself”是一個(gè)代詞，但這個(gè)代詞的語(yǔ)義的意義，在句子“she bought the book herself”和“she herself bought the book”是不同的。語(yǔ)義標(biāo)注會(huì)分配不同的標(biāo)簽，給這兩句話(huà)中的“herself“，就像一個(gè)機(jī)器翻譯系統(tǒng)可能在一個(gè)給定的目標(biāo)語(yǔ)言為它們找到不同的翻譯。

最好的機(jī)器翻譯系統(tǒng)使用所謂的編碼解碼模式，和麻省理工和卡塔爾計(jì)算研究所研究人員的神經(jīng)網(wǎng)絡(luò)一樣。在這樣的系統(tǒng)中，源語(yǔ)言中的輸入經(jīng)過(guò)幾個(gè)被稱(chēng)為編碼器的網(wǎng)絡(luò)層來(lái)產(chǎn)生一個(gè)向量，一組數(shù)字代表某種輸入的語(yǔ)義內(nèi)容。該向量通過(guò)多個(gè)網(wǎng)絡(luò)層的解碼器來(lái)產(chǎn)生目標(biāo)語(yǔ)言中的譯文。

雖然編碼器和解碼器在一起訓(xùn)練，但它們可以被認(rèn)為是獨(dú)立的網(wǎng)絡(luò)。研究人員發(fā)現(xiàn)，奇怪的是，編碼器的低層善于區(qū)分形態(tài)，但解碼器的更高層不是。所以Belinkov和卡塔爾計(jì)算研究所研究人員在訓(xùn)練網(wǎng)絡(luò)時(shí)，不僅僅根據(jù)翻譯的準(zhǔn)確性，也根據(jù)目標(biāo)語(yǔ)言中的形態(tài)分析來(lái)判定性能。從本質(zhì)上講，他們迫使解碼器更好地區(qū)分形態(tài)。

使用這種技術(shù)，他們培訓(xùn)網(wǎng)絡(luò)將英語(yǔ)翻譯成德語(yǔ)，發(fā)現(xiàn)其精度提高3%。這不是一個(gè)革命性的進(jìn)步，但這表明，探尋神經(jīng)網(wǎng)絡(luò)的本質(zhì)可能不僅僅是一項(xiàng)學(xué)術(shù)活動(dòng)。