圖數(shù)據(jù)的天然優(yōu)勢是為學(xué)習(xí)算法提供了豐富的結(jié)構(gòu)化信息，節(jié)點(diǎn)之間鄰接關(guān)系的設(shè)計(jì)成為了重要的先驗(yàn)信息和交互約束。然而，有一部分邊上的消息是可以忽略的，論文首先提出方法在不影響模型預(yù)測效果的情況下，將圖結(jié)構(gòu)中冗余的邊drop掉。通過分析剩余邊上具有怎樣的先驗(yàn)知識，實(shí)現(xiàn)對GNN的預(yù)測過程加以解釋。

0. Abstract

GNN 能夠?qū)⒔Y(jié)構(gòu)歸納偏置（structural inductive biases） 整合到 NLP 模型中。然而，卻鮮有工作對于這種結(jié)構(gòu)偏置的原理加以解釋，特別是在理解圖結(jié)構(gòu)的哪些部分有助于模型的預(yù)測方面。因此，本文介紹了一種事后（post-hoc）方法，來對 GNN 的預(yù)測加以解釋，它能夠識別出不必要的邊。給定一個(gè)訓(xùn)練過的GNN模型，本文通過學(xué)習(xí)一個(gè)簡單的分類器，對于每一層中的每條邊，預(yù)測那條邊是否可以被丟棄。作者證明了這樣的分類器的訓(xùn)練可以用完全可微分的方式，使用隨機(jī)門，并通過范數(shù)促進(jìn)稀疏性。此外，作者還進(jìn)行了非常有意義的實(shí)驗(yàn)，將提出的技術(shù)作為歸因方法，同時(shí)分析了兩個(gè) NLP 任務(wù)中的GNN模型——問題回答和語義角色標(biāo)注，并提供了對這些模型中信息流的理解。實(shí)驗(yàn)結(jié)果表明，可以丟棄大量的邊卻不會(huì)影響到模型的性能，同時(shí)通過分析剩余的重要邊來解釋模型的預(yù)測過程。

1. Introduction

基于GNN的NLP任務(wù)

1.應(yīng)用現(xiàn)狀

近年來，圖神經(jīng)網(wǎng)絡(luò)(GNNs)成為了一種可擴(kuò)展和高性能的方法，能夠?qū)⒄Z言信息和其他結(jié)構(gòu)偏置整合到NLP模型中。GNN 能夠用于文本數(shù)據(jù)的表示，例如：語法和語義圖、共指結(jié)構(gòu)、知識庫與文本鏈接等。也能夠用在多種NLP任務(wù)中，例如：關(guān)系抽取，問題回答，語義語法解析，文本摘要，機(jī)器翻譯，社交網(wǎng)絡(luò)中的濫用語言檢測等。

2.應(yīng)用瓶頸——在NLP任務(wù)中的可解釋性

雖然 GNN 性能較好，但模型還是相對復(fù)雜的，很難理解模型預(yù)測背后的“原因”。對于NLP從業(yè)者來說，知道給定的模型編碼了哪些語言信息以及編碼是如何發(fā)生的是非常重要的，GNN 可解釋性差是實(shí)現(xiàn)這種分析的障礙。此外，這種不透明性降低了用戶的信任，阻礙了有害偏置的發(fā)現(xiàn)，并使錯(cuò)誤分析復(fù)雜化；在這篇論文中，著重于對 GNN 的事后分析，并對解釋GNN的方法制定了以下要求:

能夠識別層之間的相關(guān)路徑，因?yàn)槁窂绞窍蛴脩粽故?GNN 推理模式的最自然的方式之一;

易于處理，適用于現(xiàn)代基于 GNN 的 NLP 模型;

盡可能的提升可信度，為模型如何真正的達(dá)到預(yù)測效果提供解釋。

前置知識：擦除搜索（erasure search）

1.定義

執(zhí)行解釋的一個(gè)簡單方法是使用擦除搜索[1]，這是一種歸因的方法，在不影響模型預(yù)測的情況下，查找到可以被完全刪除的最大特征子集。刪除意味著模型丟棄的所有特征信息都能夠被忽略。

2.擦除搜索應(yīng)用于GNN

對于GNN 而言，擦除搜索需要找到可以完全丟棄的最大子圖。對于上面提到的三點(diǎn)需求，擦除搜索只能滿足(1)和(3)，在易處理性上失敗了。在實(shí)際場景中是不可行的，一次只刪除一個(gè)特征的花銷非常大，并且由于飽和性會(huì)低估特征的貢獻(xiàn)；此外，在擦除搜索中，優(yōu)化是針對每個(gè)例子單獨(dú)進(jìn)行的。由于使用另一個(gè)可選擇的較小子圖也可以做出類似的預(yù)測，即使是非冗余的邊也會(huì)被積極地修剪，這可能會(huì)導(dǎo)致過擬合，作者將這個(gè)問題稱為事后偏差（hindsight bias）。

GRAPHMASK 方法

論文提出的 GRAPHMASK 旨在通過可擴(kuò)展的方式實(shí)現(xiàn)與擦除搜索相同的優(yōu)點(diǎn)，從而滿足上述的需求。也就是說，作者的方法對保留或丟棄邊做出了可解釋的硬性選擇，從而使被丟棄的邊與模型預(yù)測沒有相關(guān)性，同時(shí)保持了易處理性。GRAPHMASK 可以理解為子集擦除的一種可微的形式。其中，作者不是為每個(gè)給定的例子找到一個(gè)需要擦除的最佳子集，而是學(xué)習(xí)一個(gè)參數(shù)化的擦除函數(shù)，該函數(shù)可以預(yù)測是否應(yīng)該保留第層的每條邊。給定一個(gè)示例圖 ，作者的方法為第 層返回一個(gè)子圖 ，這樣就可以認(rèn)為 之外的任何邊都不會(huì)影響模型的預(yù)測。由于作者的模型依賴于參數(shù)化的擦除函數(shù)，而不是對每條邊單獨(dú)進(jìn)行選擇，作者可以通過在訓(xùn)練數(shù)據(jù)集上攤開參數(shù)學(xué)習(xí)，這種策略避免了事后偏差。

論文的貢獻(xiàn)

作者提出了一種新的針對GNN可解釋性的方法，適用于任何以GNN為組件的端到端神經(jīng)模型（作者將發(fā)布代碼）。

作者用人工數(shù)據(jù)證明了現(xiàn)有最新方法的缺點(diǎn)，并展示了論文的方法如何解決這些缺點(diǎn)并提高可信度。

作者使用GRAPHMASK來分析兩個(gè)NLP任務(wù)中的GNN模型：語義角色標(biāo)注和多跳問題回答。

2. Methods

GNN

給定輸入圖 ，GNN 第層的工作機(jī)制能夠通過一個(gè)消息函數(shù) 和一個(gè)聚合函數(shù) 定義：

其中， 表示節(jié)點(diǎn) 和 之間的關(guān)系類型， 是節(jié)點(diǎn) 的鄰居集合， 是第 層節(jié)點(diǎn)的表示。

GRAPHMASK

目標(biāo)：獲得原始圖數(shù)據(jù)中的冗余信息，檢測在不影響模型預(yù)測的情況下，第 層的哪些邊上的消息 可以被忽略，作者將這些邊和邊上的消息視為冗余的。

整體思路（如下圖）：節(jié)點(diǎn)的隱藏狀態(tài)和消息被喂入一個(gè)分類器 ，預(yù)測得到一個(gè)掩碼 ，作者用 來代替第 層的消息，并使用修改后的節(jié)點(diǎn)狀態(tài)重新計(jì)算前向傳播。分類器 在不改變模型預(yù)測的情況下，盡可能多的遮蔽隱藏狀態(tài)。

模型框架

Original Model當(dāng)節(jié)點(diǎn) 和 之間有邊連接時(shí)，那么消息 能夠自由的傳遞給節(jié)點(diǎn) ；

Gated Model訓(xùn)練一個(gè)分類器 控制原始消息 是否要被遮蔽，若原始消息被遮蔽，則計(jì)算一個(gè)新的消息 ，再傳遞給節(jié)點(diǎn) 。

Gated Model 中消息的計(jì)算

作者通過一個(gè)二元選擇模型 查找需要丟棄的邊, 并通過一個(gè)可學(xué)習(xí)的基線 替換被丟棄的消息：

即，當(dāng) 時(shí)，原始消息被遮蔽掉，使用學(xué)習(xí)到的參數(shù) 作為新的消息。

二元選擇模型的局限

不滿足作者在 Introduction 中提出的要求：1）該過程涉及到對所有可能被丟棄的候選邊進(jìn)行搜索，所以不是易處理的。2）搜索過程是對每一個(gè)例子單獨(dú)進(jìn)行的，存在事后偏見的危險(xiǎn)。

為了克服這些問題，作者通過一個(gè)簡單的函數(shù)來計(jì)算 ，對每個(gè)任務(wù)跨數(shù)據(jù)點(diǎn)學(xué)習(xí)一次：

其中 是分類器 的參數(shù)，以單層神經(jīng)網(wǎng)絡(luò)的形式實(shí)現(xiàn)。

分類器 的優(yōu)勢

不是根據(jù)給定的預(yù)測值來選擇門值 ，而是在多個(gè)數(shù)據(jù)點(diǎn)上訓(xùn)練參數(shù) ，并用于解釋在訓(xùn)練階段未見的例子上的預(yù)測。

的計(jì)算僅依靠模型在當(dāng)前階段的可用信息（即 , ， ），而不是讓模型提供一個(gè)lookahead.

這兩個(gè)方面的設(shè)計(jì)，防止了事后偏差。作者把這種策略稱為amortization。另一種選擇是為每個(gè)門獨(dú)立的選擇參數(shù)，不在門間共享任何參數(shù)，直接在測試樣本上執(zhí)行優(yōu)化，作者將這種策略稱為 GraphMask 的non-amortized版本。將在后面看到，與 amortization 版本不同的是，它容易受到事后偏見的影響。

計(jì)算過程

當(dāng)獲得訓(xùn)練好的分類器 后，使用論文提出的 GRAPHMASK 方法分析一個(gè)數(shù)據(jù)點(diǎn)過程如下：

1）在該數(shù)據(jù)點(diǎn)上執(zhí)行原始模型，得到 , ， 。

2）對每一層的每一條邊進(jìn)行門計(jì)算，并執(zhí)行如圖1所示模型的稀疏化版本。根據(jù)公式3對原始模型的消息進(jìn)行門控。

3）對于后續(xù)各層，使用公式2對被遮蔽后的消息進(jìn)行聚合，以獲得頂點(diǎn)嵌入 ，然后用它來獲得下一組被掩蔽的消息。

GRAPHMASK 唯一學(xué)習(xí)的參數(shù)是擦除函數(shù)的參數(shù) 和學(xué)習(xí)到的基線向量 ，原 GNN 模型的參數(shù)保持不變。只要依靠稀疏化圖的預(yù)測與使用原始圖的預(yù)測相同，我們就可以將被掩蓋的信息解釋為冗余的信息。

模型參數(shù)估計(jì)

問題定義

給定：具有 層的 GNN 函數(shù) , 圖 , 輸入嵌入

任務(wù)：找到一個(gè)信息量大的子圖集合 , ,也就是每一層GNN網(wǎng)絡(luò)對應(yīng)一個(gè)子圖，找到邊數(shù)目最少的子圖，并使得：.

約束優(yōu)化過程

用約束優(yōu)化的語言來形式化上述問題，并采用一種能夠?qū)崿F(xiàn)梯度下降的方法，如拉格朗日松弛。一般來說，不可能保證)和 相等，因?yàn)槭且粋€(gè)平穩(wěn)函數(shù)，輸入數(shù)據(jù)的最小變化也無法產(chǎn)生完全相同的輸出。

為了衡量兩個(gè)輸出的不一致程度，作者引入了一個(gè)散度：，和一個(gè)容忍度：, 在該范圍內(nèi)的差異是可接受的。 的選擇取決于原始模型的輸出結(jié)構(gòu)。最小化分類器 預(yù)測的非零值數(shù)目（即未被遮蔽的邊的總數(shù)），比較常見的方法是最小化 范數(shù)。因此，從形式上講，在數(shù)據(jù)集 上定義本文的目標(biāo)函數(shù)為：

其中1是指示函數(shù)， 是拉格朗日乘子。

以上目標(biāo)函數(shù)不可微，由于：1） 不連續(xù)，導(dǎo)數(shù)幾乎處處為0；2）輸出的二值需要一個(gè)不連續(xù)的激活，如階躍函數(shù)。因此沒辦法使用基于梯度的優(yōu)化方法，作者采用稀疏松弛解決以上問題，并采用 Hard Concrete 分布（封閉區(qū)間[0，1]上的混合離散連續(xù)分布）。

4. Experiments

作者進(jìn)行了三個(gè)系列的實(shí)驗(yàn)，本文將呈現(xiàn)重要的表格和結(jié)果，具體實(shí)驗(yàn)細(xì)節(jié)和分析參閱論文。

綜合實(shí)驗(yàn)

作者首先將GRAPHMASK應(yīng)用在一個(gè)已知真實(shí)屬性的 Toy 數(shù)據(jù)集中，對方法的忠誠度進(jìn)行評估。

任務(wù)描述給定一個(gè)星形圖 ，有一個(gè)單獨(dú)的中心頂點(diǎn)，葉節(jié)點(diǎn)，以及邊，圖中每條邊都事先分配好了一種顏色 。然后，給定一個(gè)查詢 ，

需要預(yù)測的是分配給顏色 的邊數(shù)是否大于分配給顏色 的邊數(shù)。我們事先明確已知與 兩種顏色相匹配的邊是重要的，除此之外的其它邊都不影響預(yù)測。作者定義了一個(gè)忠實(shí)度的黃金標(biāo)準(zhǔn)：對于，所有 和 類型的邊都應(yīng)該被保留， 而所有其他的邊都應(yīng)該被丟棄。

GRAPHMASK與三個(gè)基線方法比較

只有本文提出的方法的 amortized 版本近似復(fù)制了黃金標(biāo)準(zhǔn)，事實(shí)上，擦除搜索、GNNExplainer 和 non-amortized 的GRAPHMASK只召回了一小部分非冗余邊。

圖2 可視化每種方法的分?jǐn)?shù)分配情況

擦除搜索、GNNExplainer 和 non-amortized 版本 GRAPHMASK 只保留一條黑色邊，造成過擬合。集成梯度和信息瓶頸方法給出了不滿意的結(jié)果，因?yàn)樗羞呥叾加袑傩?。只有amortized -GRAPHMASK能夠正確地將屬性分配給且僅分配給黑色和藍(lán)色邊，amortized 可以防止目標(biāo)過擬合。

問題回答任務(wù)

任務(wù)描述給定一個(gè)查詢句和一組上下文文檔，在上下文中找到最能回答查詢的實(shí)體。GNN圖中的節(jié)點(diǎn)對應(yīng)于查詢和上下文中實(shí)體的提及，并在這些實(shí)體之間引入了四種類型的邊：字符串匹配(MATCH)、文檔級共現(xiàn)(DOC-BASED)、核心參考解析(COREF)，沒有任何其他邊(COMPLEMENT)。

GRAPHMASK復(fù)制了原始模型的性能，雖然準(zhǔn)確度下降0.4%，但是僅有27%的邊被保留，保留的邊大部分存在于底層（底層的邊比較重要）。作者測量了每一層保留邊的百分比，這些邊發(fā)生在源于查詢實(shí)體的路徑上。觀察發(fā)現(xiàn)，發(fā)生在源于查詢的提及的路徑上的邊的比例按層急劇增加，從0層的11.8%，到1層的42.7%，在頂層達(dá)到73.8%。與預(yù)測答案相對應(yīng)的一些提及在99.7%的情況下是一些保留邊的目標(biāo)。然而，預(yù)測實(shí)體與查詢連接的幾率(72.1%)與平均候選實(shí)體的幾率(69.2%)幾乎相同。因此，GNN不僅負(fù)責(zé)通過圖傳播證據(jù)到預(yù)測答案，還負(fù)責(zé)傳播證據(jù)到備選候選實(shí)體。大多數(shù)路徑采取兩種形式之一，即一條COMPLEMENT邊之后是一條MATCH或一條DOC-BASED邊（22%），或者一條COMPLEMENT邊之后是兩條MATCH或DOC-BASED邊（52%）。

圖3 QA任務(wù)中邊的保留情況

查詢 "record label Phi" 的保留子圖（占原始邊的21%）。黑色邊類型是DOC-BASED，藍(lán)色是COMPLEMENT，黃色是MATCH，其中邊上的數(shù)字表示在哪一層保留了這種邊?？梢钥吹?Japan 和 Johnny & Associates 之間第2層中的 DOC-BASED 類型邊的情況。事實(shí)上，在第0層、第1層和第2層中，分別有49%、98%和79%的保留邊也保留了它們的逆向邊。換句話說，提及之間 "不定向 "的信息交換，使得它的表征更加豐富。

語義角色標(biāo)注任務(wù)

圖4 GNN+LSTM模型的語義角色標(biāo)注的實(shí)例分析(丟棄冗余弧)

任務(wù)描述基于GNN的語義角色標(biāo)注系統(tǒng)，識別給定謂詞的論元，并將它們分配到語義角色上，見圖4中句子下面的標(biāo)簽。該 GNN 模型依賴于自動(dòng)預(yù)測的句法依賴樹，允許信息雙向流動(dòng)。作者針對[2]中性能最好的模型，包括BiLSTM+GNN，以及GNN-only 模型。對于LSTM+GNN，遮蔽模型的性能變化非常小，F(xiàn)1 僅下降0.62%，卻只保留了其中4%的消息。GNN-only 模型的性能變化同樣很小，F(xiàn)1 下降了 0.79%，保留了16%的消息。

LSTM+GNN 模型(左)和 GNN-only 模型(右)的預(yù)測中使用的路徑百分比（縱坐標(biāo)），橫坐標(biāo)是謂詞和預(yù)測角色之間距離。

[2] 的原始研究結(jié)果表明，GNN對于預(yù)測遠(yuǎn)離謂詞的角色特別有用，LSTM對于傳播信息的可靠性較低。GNN可以實(shí)現(xiàn)這一目標(biāo)的方式是使用圖中的路徑；要么依賴整個(gè)路徑，要么部分依賴路徑中的最后幾條邊。其中連接謂詞和論元的路徑代表語義角色標(biāo)注任務(wù)的重要特征。為了研究這個(gè)問題，作者在圖5中繪制了從謂詞到預(yù)測論元的路徑的百分比，從而保留了以預(yù)測論元為終點(diǎn)的子路徑（即至少一條邊），通過觀察圖5發(fā)現(xiàn)：

LSTM+GNN 模型：隨著與謂詞距離的增加，對路徑的依賴性會(huì)降低。

GNN-only 模型：隨著與謂詞距離的增加，對路徑的依賴性會(huì)增加。

表3 兩種模型保留0、1或2條邊的路徑百分比，按路徑長度和謂詞類型劃分

通過觀察表3發(fā)現(xiàn)：

幾乎所有的謂詞和角色之間的直接連接都被保留了下來，因?yàn)檫@些邊構(gòu)成了它們句法關(guān)系的最直接的指示。

較長的路徑在兩種模型中都是非常有用的--然而，在LSTM+GNN模型中，名詞謂詞對長路徑的使用率要低得多。

在這種特殊情況下，LSTM捕捉到了路徑上存在的信息，在其他情況下，GNN通過對連接謂詞和論元的路徑進(jìn)行建模來補(bǔ)充LSTM。

5. Conclusion

論文介紹了GRAPHMASK，這是一種適用于任何GNN模型的事后解釋方法。通過學(xué)習(xí)每條消息的端到端可微分的hard gates，并在訓(xùn)練數(shù)據(jù)上進(jìn)行攤銷，GRAPHMASK 可擴(kuò)展到其它的GNN模型，并且能夠識別邊和路徑如何影響預(yù)測。作者應(yīng)用提出的方法分析了兩個(gè)NLP模型的預(yù)測——語義角色標(biāo)簽?zāi)Ｐ秃蛦栴}回答模型。GRAPHMASK發(fā)現(xiàn)了這些模型依賴于哪些類型的邊，以及它們在進(jìn)行預(yù)測時(shí)如何運(yùn)用路徑。

原文標(biāo)題：【GNN】別用Attention了，用GNN來解釋NLP模型吧

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq