論文閱讀（40）Explainability Methods for Graph Convolutional Neural Networks

1. 論文相關

Explainability Methods for Graph Convolutional Neural Networks [](javascript:;)
圖卷積神經網絡的可解釋性方法
CVPR2019

2. 摘要

隨著圖形卷積神經網絡（GCNNS）的日益廣泛應用，對其進行解釋的需求也越來越迫切。本文介紹了GCNNS的可解釋性方法轴总。我們開發(fā)了卷積神經網絡三種顯著解釋方法的圖形類似物(graph analogues of three prominent explainability methods)：基于對比梯度的顯著性圖夹抗、類激活圖（CAM）和激發(fā)反向傳播圖（EB）及其變體、梯度加權CAM（grad cam）和對比EB（c-EB）(con-trastive gradient-based (CG) saliency maps, Class Activation Mapping (CAM), and Excitation Backpropagation (EB) and their variants, gradient-weighted CAM (Grad-CAM) and contrastive EB (c-EB))僚楞。我們展示了這些方法在視覺場景圖和分子圖(visual scene graphs and molecular graphs.)兩個應用領域的分類問題的概念證明（proof-of-concept）。為了比較這些方法，我們確定了解釋的三個理想特性：（1）它們對分類的重要性没隘，通過阻塞（occlusions）的影響來衡量；（2）它們對不同類別的對比度禁荸；（3）它們在圖上的稀疏度升略。我們將相應的定量指標稱為保真度、對比度和稀疏度（fidelity, contrastivity, and sparsity）屡限，并對每種方法進行評估品嚣。最后，我們分析了從解釋中得到的顯著子圖（salient subgraphs）钧大，并報告了頻繁發(fā)生的模式（report frequently occurring patterns）翰撑。

2.2 貢獻

我們采用了三種常見的解釋方法，最初是為CNN設計的啊央，并將它們擴展到GCNNS眶诈。這三種方法是基于梯度的顯著性映射[32]、類激活映射（cam）[39]和激發(fā)反向傳播（eb）[39]瓜饥。此外逝撬，我們還采用了兩種變體：梯度加權CAM（Grad-CAM）[31]和對比EB。我們在兩種不同應用上評估了改編的方法：視覺場景圖和分子圖乓土。對于GCNNS宪潮，我們使用Kipf等人提出的公式架構（formulation）〔18〕。我們在這項工作中的具體貢獻如下：
（1）將CNN的可解釋性方法改編為GCNN趣苏，
（2）演示兩個圖形分類問題的可解釋性技術：視覺場景圖和分子
（3）使用保真度狡相、對比度和稀疏度指標描述每種方法的權衡（trade-offs）。

2.3 論文結構

本文的其余部分結構如下食磕。在第二部分尽棕，我們討論了可解釋性和GCNN的相關工作。在第三節(jié)中彬伦，我們回顧了GCNN的數(shù)學定義和CNN上的可解釋性方法滔悉，然后定義了GCNN上類似的可解釋性方法。在第4節(jié)中单绑，我們詳細介紹了我們對視覺場景圖和分子的實驗回官，并給出了示例結果。此外询张，我們還定量地評估了這四種方法在三個方面的性能孙乖，即保真度浙炼、對比度和稀疏度份氧，每種方法都旨在捕捉解釋的某些理想特性唯袄。我們使用這些指標來評估每個方法的優(yōu)點。最后蜗帜，在實驗部分恋拷，我們分析了Grad-Cam識別的顯著子結構的頻率，并報告了每個數(shù)據(jù)集的頂部結果（top result）厅缺。

3. 方法

比較了在圖卷積神經網絡（GCNNS）中應用的常用的解釋性方法蔬顾。此外，我們還探討了這些方法的一些增強的好處湘捎。

3.1 CNN的可解釋性（Explainability for CNNs）

常用的三種解釋方法主要是對比梯度法诀豁、類激活映射法和激發(fā)反向傳播法（contrastive gradients, Class Activation Mapping, and Excitation Backpropagation）。

基于對比梯度的顯著性圖（Contrastive gradient-based saliency maps）[32]可能是最直接窥妇、最成熟的方法舷胜。在這種方法中，我們簡單地將模型的輸出與模型輸入區(qū)分開來（differentiates）活翩，從而創(chuàng)建一個熱圖（heat-map）烹骨，其中輸入變量上梯度的范數(shù)表示它們的相對重要性。輸入空間中產生的梯度指向對應于模型輸出中最大正變化率的方向材泄。因此沮焕，放棄梯度中的負值，只保留有助于（positively contribute）解決方案的輸入部分：

image.png

其中 $y^c$ 是Softmax層之前的類 $c$ 的分數(shù)拉宗， $x$ 是輸入峦树。雖然很容易計算和解釋，顯著性圖(saliency maps)通常比新技術（如CAM, Grad-CAM和EB）表現(xiàn)差旦事，而且最近有人認為顯著性圖傾向于代表噪音而不是信號[17]空入。

類激活映射（Class Activation Mapping）通過最后一個卷積層識別類特定特征（class-specific features）的重要性，而不是輸入空間族檬，改進了卷積神經網絡的顯著性映射（saliency maps）歪赢，包括GCNN。眾所周知单料，這些特征在語義上更有意義（例如埋凯，面而不是邊，faces instead of edges）扫尖。CAM的缺點是它要求在Softmax分類器（輸出層）前面的層是卷積層白对，然后是全局平均池（GAP）層。這就排除了(precludes)使用更復雜的異構網絡(heterogeneous networks)换怖，例如那些在Softmax層之前包含多個全連接層的網絡甩恼。

為了計算CAM，讓 $F_k∈R^{u*v}$ 表示在Softmax層之前的卷積層的第 $k$ 個特征圖。用 $F_k$ 表示的全局平均池化（global average pool条摸，GAP）：

image.png

其中 $Z= uv$ 悦污。然后，一個給定的類分數(shù) $y^c$ 钉蒲，可以定義為：

image.png

其中權重 $w_k^c$ 是根據(jù)網絡的輸入輸出行為來學習的切端。權重 $w_k^c$ 編碼特征 $k$ 用于預測類 $c$ 的重要性。通過將每個特征映射向上擴大(upscaling)到輸入圖像的大星晏洹（以抵消池化層的效果）踏枣，像素空間中的類特定熱圖（class-specific heat-map in the pixel-space）將變?yōu)椋?/p>

image.png

Grad-CAM通過放寬倒數(shù)第二層（penultimate layer）必須是卷積層的結構限制改進了CAM。這是通過使用基于反向傳播梯度（back-propagated gradients）的特征映射權重 $\alpha_k^c$ 來實現(xiàn)的钙蒙。具體來說茵瀑，Grad-CAM定義權重根據(jù)如下公式：

image.png

根據(jù)CAM方程式（4）的直覺，根據(jù)Grad-CAM計算像素空間中的熱力圖（heat-map in the pixel-space）公式躬厌，如下所示：

image.png

其中ReLU函數(shù)確保只有對類預測有積極影響的特征是非零的瘾婿。

激勵反向傳播（Excitation Backpropagation）是一種直觀簡單，但經驗有效的解釋性方法。在[28]中笛谦，有人論證并通過實驗證明，可解釋性方法，如忽略反向通過網絡的非線性（nonlinearitie）的EB[39]，能夠生成熱圖，為預測任何特定類別的網絡“保存”證據(jù)，荆针。讓 $a_i^l$ 成為一個神經網絡第 $l$ 層的第 $i$ 個神經元， $a_j^{l-1}$ 是神經網絡第 $(L-1)$ 的神經元突雪。定義神經元 $a_j^{l-1}$ 相對于神經元 $a_i^l$ 對激活 $y_i^l \in R$ 的影響激挪，其中：

image.png

$W^{l-1}$ 是層 $(l-1)$ 和層 $l$ 之間的網絡連接的權重（ synaptic weights），是對 $(l-1)$ 層上神經元的概率分布 $P(a_j^{l-1})$ 坐求。這種概率分布可以分解為(factored as):

image.png

張等[39]然后將條件概率(conditional probability) $P(a_j^{l-1}|a_i^l)$ 定義為

image.png

$Z_i^{(l-1)}$ 是一個標準化因子(normalization factor)司倚，如 $\sum_j P(a_j^{l-1}|a_i^l) = 1$ 鸵鸥。
對于給定的輸入（例如圖像）呢簸，EB通過在輸出層從 $P(a_i^L=c)=1$ 開始并遞歸應用方程（7），在像素空間生成關于（w.r.t.蛤迎，with respect to）類 $c$ 的熱圖。

這些經過回顧（reviewed）的可解釋性方法最初是為CNN設計的蝉娜，CNN是為統(tǒng)一的方格網（uniform square grid）上的信號定義的。在這里，我們對非歐幾里得結構（non-Euclidean structures）支持的信號感興趣，如：圖（graph）鞠柄。接下來奉呛，我們首先簡要地討論了GCNNS，然后描述了這些可解釋性方法對GCNNS的擴展夯尽。為了直觀起見瞧壮，我們注意到圖像可以被概念化為以像素值作為節(jié)點特征的點陣形圖。從這個意義上講呐萌，GCNNs歸納 CNN以適應節(jié)點之間的任意連接馁痴。

image.png

3.2 圖卷積神經網絡（Graph Convolutional Neural Networks）

用節(jié)點屬性 $X∈R^{N\times d_{in}}$ 及其鄰接矩陣 $A∈R^{N\times N}$ （加權或二進制）定義一個有 $N$ 個節(jié)點的屬性圖谊娇。此外肺孤，定義度矩陣（degree matrix）為 $D_{ii} = \sum _j A_{ij}$ 。跟隨Kipf和Welling的工作济欢，我們定義了圖卷積層為：

image.png

式中 $F^l$ 為 $l$ 層上的卷積激活赠堵， $F^0=x$ ， $\tilde{A} = A+I_N$ 是加上自連接（self connections）的鄰接矩陣法褥，式中 $I_N∈R^{N\times N}$ 為單位矩陣(identity matrix)茫叭。 $\tilde{D}_{ii} = \sum _j \tilde{A}_{ij}$ ， $W^l \in R^{d_l \times d_{l+1}}$ 是可訓練的卷積權重半等。 $σ(·)$ 是元素方向(element-wise)的非線性激活函數(shù)揍愁。圖1顯示了本工作中使用的GCNN結構，其中層 $l=1,2,3$ 中的激活遵循等式（9）杀饵，這是圖上局部光譜濾波器(localized
spectral filters on graphs)的一階近似值(first-order approximation)莽囤。

對于分子分類，每個分子可以表示為屬性圖 $G_i＝(X_i切距，A_i)$ 朽缎，其中節(jié)點特征 $X_i$ 概括了分子中原子的局部化學環(huán)境，包括原子類型谜悟、雜交類型和價結構（35）话肖，鄰接矩陣編碼原子鍵并證明整個分子的連接性。（見圖1）葡幸。對于給定的標簽分子數(shù)據(jù)集 $D={\{G_i＝(X_i最筒，A_i),y_i\}}_{i=1}^M$ ，標簽 $y_i$ 指示某種化學性質蔚叨，例如：血腦屏障穿透性或毒性是钥，任務是學習將每個分子映射到其相應標簽的分類器：$g:(X_i掠归，A_i)\to y_i。

考慮到我們的任務是對具有潛在不同節(jié)點數(shù)的單個圖（即分子）進行分類悄泥，我們使用幾個圖卷積層虏冻，然后在圖節(jié)點（如原子）上使用全局平均池化（global average pooling，GAP）層弹囚。在這種情況下厨相，所有圖都將用固定大小的向量表示。最后鸥鹉，將GAP特征輸入（feed）分類器蛮穿。為了使CAM[42]的適用性，我們在GAP層之后使用了一個Softmax分類器毁渗。

3.3. 圖卷積神經網絡的可解釋性

在本小節(jié)中践磅，我們描述了CNN可解釋性方法在GCNNs中的擴展。將 $l$ 層的第 $k$ 個圖卷積特征圖(graph convolutional feature map)定義為：

image.png

其中表示 $W_k^l$ 表示矩陣 $W^l$ 的第 $k$ 列灸异，以及 $V= \tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}}$ （見等式（8））府适。在這個符號中，對于節(jié)點 $n$ 肺樟，第 $l$ 層的第 $k$ 個特征用 $F_{k,n}^l$ 表示檐春。最后，卷積層后的GAP特征 $L$ 計算為:

image.png

類得分（class score）計算為么伯， $y^c = \begin{matrix} \sum_{k} w_k^c e_k \end{matrix}$ 疟暖。使用此符號，我們將可解釋性方法擴展到GCNN田柔，如下所示：

3.3.1 基于梯度的節(jié)點 $n$ 上的熱圖是：

image.png

3.3.2 CAM熱圖計算如下：

image.png

3.3.3 Grad-CAM

Grad-CAM在 $l$ 層和特征 $k$ 上的對于類 $c$ 得類特定權重（class specific weights）由以下公式計算：

image.png

層 $l$ 的熱圖計算為:

image.png

Grad-CAM使我們能夠生成網絡不同層的熱圖俐巴。此外，對于圖1所示的模型硬爆，最終卷積層的Grad-CAM和CAM等效 $L_{Grad-CAM}^c[L欣舵，n]=L_{CAM}^c[n]$ （有關詳細信息，請參見[31]）摆屯。在這項工作中邻遏，我們報告了? $L_{Grad-CAM}^c[L，n]$ 的結果虐骑，變量Grad-CAM Avg定義如下：

image.png

3.3.4 EB

通過對Softmax分類器准验、GAP層和幾個圖卷積層的反向傳遞，計算了模型的激活反向傳播熱圖廷没。通過Softmax分類器和GAP層的向后傳遞方程如下：

image.png

其中 $p(c)=1$ 表示感興趣的類別糊饱，否則為零。然而颠黎，反向傳播通過圖卷積層的過程更為復雜另锋。為了表示簡單滞项，我們將一個圖卷積算子分解為：

image.png

其中，第一個方程是原子的局部平均值（ $V_{n,m}$ 大于等于0）夭坪，第二個方程是應用于每個原子的固定感知器（類似于CNN中的一個接一個卷積）文判。這兩個函數(shù)對應的反向傳播可以定義為:

image.png

我們通過網絡遞歸反向傳播并平均輸入上的反向傳播概率熱圖，在輸入層上生成熱圖：

image.png

$L_{EB}^c$ 的對比擴展如式（8）在[39]室梅，我們稱之為對比變體（contrastive variant）戏仓，c-EB。

4. 實驗

本節(jié)介紹我們的實驗和對具體類的解釋的分析亡鼠。我們在視覺場景圖和分子兩個應用領域進行了實驗赏殃。此外，我們還對補充資料中的可解釋性方法識別的圖形子結構進行了頻率分析间涵。

4.1 場景圖解釋（Explanations on Scene Graphs）

我們的目標是訓練GCNN進行場景圖分類仁热，并使用我們提出的解釋方法對這些GCNN進行解釋。場景圖是一種圖形結構數(shù)據(jù)勾哩，其中節(jié)點是場景中的對象抗蠢，邊是對象之間的關系。我們從視覺基因組數(shù)據(jù)集（Visual Genome dataset）[20]中獲得第一個實驗的數(shù)據(jù)钳幅。視覺基因組數(shù)據(jù)集由圖像和場景圖對組成物蝙。對象和關系有多種類型炎滞，數(shù)據(jù)是從眾包工作人員的自由文本響應中收集的敢艰。對象具有由邊界框定義的圖像關聯(lián)區(qū)域。

我們從視覺基因組構建了兩個二元分類任務：鄉(xiāng)村與城市册赛，室內與室外（country vs. urban, and indoor vs outdoor）钠导。我們用一組關鍵字對這些詞進行建模，這些關鍵字用于查詢視覺基因組數(shù)據(jù)森瘪，以確定圖像的任何屬性是否匹配牡属。類的圖像集是為每個關鍵字返回的圖像集的聯(lián)合（union，并集）扼睬。此外逮栅，類對之間的任何交集都被刪除。用于定義每個類的關鍵字如下：

（1）“鄉(xiāng)村”：鄉(xiāng)村窗宇、農村措伐、農場、農村军俊、奶牛侥加、農作物、綿羊

（2）“城市”：城市粪躬、城市担败、市中心

（3）“室內”：室內昔穴、房間、辦公室提前、臥室吗货、浴室

（4）“室外”：室外、自然狈网、室外

image.png

關鍵詞是不全面的卿操，并沒有聲稱包含每個詞的全部含義。相反孙援，它們是為了研究圖的解釋方法而設計的合成結構害淤。由于這項工作的目的是研究解釋，類定義的確切細節(jié)與目前的工作并不密切拓售。選擇關鍵詞來給出分類對之間大致平衡的類窥摄。每個數(shù)據(jù)集的類比率在表1中報告。

image.png

為簡單起見础淤，在不喪失一般性的情況下崭放，我們將所有關系折疊為單一類型，這表示兩個對象之間的通用關系鸽凶。我們注意到币砂，對于關系邊[29]的圖，GCNNs的各種擴展都存在玻侥，因此本文開發(fā)的可解釋性方法可以用于這些圖决摧。

場景圖中有一個與每個對象（即節(jié)點）關聯(lián)的邊界框（bounding box）。我們使用一個預訓練的InceptionV3網絡凑兰，提取潛在圖像的深層特征掌桩，作為場景圖所有節(jié)點的邊界框。最后一個池化層被用作視覺特征（visual feature）姑食，其中每個裁剪（crop）都被零填充到一個固定的大小波岛。從每個邊界框中提取的特征的大小為d=2048維。因此音半，我們得到的場景圖由關系數(shù)據(jù)和可視數(shù)據(jù)組成则拷。最后的任務是將場景圖分為城市與鄉(xiāng)村和室內與室外兩類。

4.2. 分子圖解釋（Explanations on Molecular Graphs）

我們研究了第二個應用領域：識別有機分子上的官能團的生物分子性質曹鸠。我們用三個二元分類分子數(shù)據(jù)集BBBP煌茬、BACE和TOX21[35]中的任務NR-ER對解釋性方法進行了評估。每個數(shù)據(jù)集包含由實驗確定的小有機分子的二元分類物延。BBBP數(shù)據(jù)集包含了一個分子是否滲透到人腦血屏障的測量宣旱，對藥物設計有重要意義。BACE數(shù)據(jù)集包含一種分子是否抑制人體酶β-分泌酶(enzyme β-secretase)的測量叛薯。Tox21數(shù)據(jù)集包含對幾種毒性目標分子的測量浑吟。我們從這些數(shù)據(jù)中選擇了NR-ER任務笙纤，這與雌激素受體的激活有關[24]。這些數(shù)據(jù)集不平衡组力。分類比率見表1省容。

此外，我們遵循了[35]中的建議燎字，這是描述分子數(shù)據(jù)集的原始文件腥椒，用于訓練/測試劃分。特別是對于BACE和BBBP候衍，由[35]推薦所謂的“scaffold”劃分笼蛛，它根據(jù)分子的結構來劃分分子，即結構相似的分子劃分在同一個分區(qū)中蛉鹿。我們強調滨砍，訓練GCNN和傳統(tǒng)的數(shù)據(jù)集分割不是我們論文的貢獻，我們只是遵循這些數(shù)據(jù)集的標準實踐妖异。

4.3. 訓練和評估

我們將數(shù)據(jù)集劃分為80:20的訓練/測試集惋戏。對于所有數(shù)據(jù)集，我們使用如圖1所述的GCNN + GAP架構他膳，配置如下：三個大小分別為128响逢、256和512的圖卷積層，后面是一個間隙層（GAP layer）和一個Softmax分類器棕孙。使用學習率為0.001舔亭，β1=0.9，β2=0.999的Adam優(yōu)化器對模型進行25個epochs的訓練散罕。這些模型在帶有TensorFlow后端的Keras中實現(xiàn)[5]分歇。各數(shù)據(jù)集訓練模型的評價指標AUC-ROC和AUC-PR見表1傀蓉。

一些分子分類結果被觀察到具有更高的平均測試與訓練性能欧漱。盡管這是不尋常的，但結果與[35]中報告的結果一致葬燎。

4.4. 解釋方法分析（Analysis of Explanation Methods）

在為每個數(shù)據(jù)集訓練模型之后误甚，我們將每個解釋方法應用于所有樣本，并在節(jié)點上獲得一組scalars谱净，即heatmap窑邦。

我們在圖3和圖4中顯示了選定的結果。在圖中壕探，標量重要性（scalar importance）值編碼為邊界框輪廓的顏色（紅色：低冈钦，黃色：中，綠色：高）李请。在圖4中瞧筛，標量重要性（scalar importance）值編碼為每個原子上藍色圓盤的強度（白色：低厉熟，藍色：高）。

計算出正類和負類的熱圖较幌，并對每個分子在類和節(jié)點上進行歸一化揍瑟，以在輸入節(jié)點上形成概率分布。通過比較一個方法中不同類之間的解釋可以看出類的特殊性乍炉，即當一個類激活的節(jié)點往往對另一個類不活動時绢片。

接下來，我們報告了三個量化指標岛琼，它們捕獲了令人滿意的解釋方面：保真度底循、對比度和稀疏度。

通過計算保真度來捕捉通過解釋識別出的顯著特征的遮擋會降低分類精度的直覺槐瑞。更準確地說此叠，我們將保真度定義為通過遮擋（occluding）顯著性值大于0.01的所有節(jié)點（在0到1的范圍內）獲得的精度差異。然后我們對每個方法跨類的保真度得分進行平均随珠。我們在表2中報告了這些值灭袁。對比梯度法顯示出最高的保真度。

對比度的設計是為了捕捉這樣一種直覺窗看，即通過解釋方法強調的特定于類的特征在類之間應該是不同的茸歧。更準確地說，我們將對比度定義為正負兩類熱映射圖 $m_0显沈，m_1$ 之間的漢明距離之比软瞎，通過任一方法識別的原子總數(shù)進行歸一化，

image.png

我們在表中報告這個指標2拉讯。Grad-CAM的對比度最高涤浇。

稀疏度是用來測量解釋的局部化程度的。稀疏解釋對于研究大型圖尤其有用魔慷，因為在這些圖中只锭，所有節(jié)點的手動檢查都是不可行的。更準確地說院尔，我們將此度量定義為1減去解釋中標識的對象數(shù)$$蜻展，再除以圖中節(jié)點總數(shù) $|V|$ 。

我們在表2中報告了這些值邀摆。c-EB方法的激活率最低(sparsest activations)纵顾。

對比度和稀疏度的描述性圖形見附錄。

使用這些指標栋盹，我們比較了每種解釋方法的質量施逾，并演示了每種方法的權衡。簡而言之，我們得出三個要點：（1）Grad-CAM的對比度最大汉额，保真度次之沪饺，但稀疏度較低。這種方法通常是適用的闷愤，但在大圖上可能有問題整葡。（2）c-EB最稀疏，但保真度低讥脐，對比度次之遭居。因此，該方法最適合于以低保真度為代價的大型圖形分析旬渠。（3）對比度梯度（Contrastive gradient俱萍，CG）的保真度最高，但稀疏度低告丢，對比度低枪蘑。對比度的缺乏使得這種方法不適合于具體的類解釋。

4.5. 子圖頻率分析

如上所述岖免，GCNN的解釋方法識別了輸入圖上的顯著結構岳颇。數(shù)據(jù)集中標識的顯著子結構集合為進一步分析提供了機會。我們分析此集合中是否存在重復出現(xiàn)的子結構颅湘，目的是進一步洞察數(shù)據(jù)话侧。簡而言之，我們計算了數(shù)據(jù)集中每個顯著結構的流行率闯参，并將其與正標記數(shù)據(jù)集中的流行率進行了比較瞻鹏。我們在下文中作了簡要說明，并請讀者參閱補充資料以了解更多詳情鹿寨。

為了識別圖中的顯著子結構新博，我們首先收集顯著值大于某個閾值（這里是0）的頂點集，我們稱之為激活頂點（activated vertices）脚草。然后我們收集由這個頂點集產生的連接組件赫悄。對數(shù)據(jù)集中的所有圖重復此操作將生成一組顯著的子圖。然后玩讳，我們計算在（1）解釋集涩蜘，（2）正標記數(shù)據(jù)，（3）負數(shù)據(jù)中每個已識別子圖 $s$ 的頻率熏纯，我們將其表示為 $N^s _e , N^s_p and N^s_n$ 。我們使用這些計數(shù)來規(guī)范從解釋中獲得的計數(shù)粤策，并構造三個比率：

image.png

比率 $N^s_e$ 度量子圖在解釋中的普遍性樟澜。比率 $N^s_p 和 N^s_n$ 分別測量正標簽數(shù)據(jù)和負標簽數(shù)據(jù)中子結構出現(xiàn)的頻率，并作為第一個數(shù)據(jù)的基線。請注意秩贰，對于顯著子圖 $s$ 霹俺，高 $N^s_p 和 N^s_n$ 或對應于高類特異性。

我們根據(jù)GradCAM獲得的分子數(shù)據(jù)集和視覺基因組數(shù)據(jù)集的比率 $N^s_e$ 報告了圖中的頂部結構毒费。

在分子的情況下丙唧，我們注意到顯著的子圖被解釋為官能團，即在確定分子性質（例如毒性）中起作用的子結構觅玻。圖2中的頂部結果包括酰胺想际、三氯甲烷此改、磺酰胺和芳香結構蒜茴。這些結果作為官能團的有效性仍有待實驗驗證。

其他功能組的算法識別工作包括[10]和[8]多搀。兩者都是基于規(guī)則的方法畸悬，而我們的方法是學習的侧甫。[8]討論了算法識別功能團的一些局限性。功能組的概念沒有被精確定義蹋宦。[8]指出披粟，每一位藥物化學家可能都有自己的功能組概念。我們并不認為我們的方法是正確的官能團定義冷冗。然而僻爽，考慮到卷積神經網絡在視覺和語言中其他直觀概念建模方面的成功，我們設想在這一領域的實際應用潛力贾惦。補充部分顯示了進一步的子圖結果胸梆。

image.png

圖2:cam/gradcam標識的每個類/屬性的前兩個子結構。

image.png

5. 總結

在這項工作中须板，我們將為CNN設計的解釋性方法擴展到了GCNNS碰镜，并對這些方法進行了定性和定量的比較。我們展示了兩個應用領域的擴展方法：視覺場景圖和分子圖习瑰。

我們用三個指標來描述每種方法得到的解釋：保真度绪颖、對比度和稀疏度。Grad-CAM的對比度最高甜奄，其次是c-EB柠横。而c-EB的激活率最低（the sparsest activations）。最后课兄，CG的保真度最高牍氛，對比度最低，稀疏度次之烟阐。然而搬俊，當找到特定于類的解釋時紊扬，對比度是一個關鍵要求，這將取消CG的資格唉擂。

研究表明餐屎，Grad-CAM最適合解釋中等尺寸圖形。但是玩祟，我們提醒讀者選擇一種最適合其應用的方法腹缩。如果解釋的稀疏性是高度關注的，例如空扎，在解釋大型圖的情況下藏鹊，那么c-EB可能是更好的選擇。

在場景圖和分子圖上勺卢，我們識別了與給定分類相關的圖形子結構伙判，例如，識別出室內場景黑忱。這種方法對于自動挖掘分子的相關官能團是有用的宴抚。然而，需要進行額外的實驗來確認已識別的子結構的化學有效性甫煞。

這項工作演示了解釋GCNNS和挖掘輸入圖的子結構模式的工具菇曲，包括場景圖、分子抚吠、社交網絡和電網常潮。在今后的工作中，我們計劃研究新的圖形解釋方法楷力，并利用可解釋性來提高視覺場景圖形的質量喊式。

參考資料

參考論文

[1] Visual interpretability for deep learning: a survey

論文下載

[1] Explainability Methods for Graph Convolutional Neural Networks

論文閱讀（40）Explainability Methods for Graph Convolutional Neural Networks

1. 論文相關

2. 摘要

2.2 貢獻

2.3 論文結構

3. 方法

3.1 CNN的可解釋性（Explainability for CNNs）

3.2 圖卷積神經網絡（Graph Convolutional Neural Networks）

3.3. 圖卷積神經網絡的可解釋性

3.3.1 基于梯度的節(jié)點上的熱圖是：

3.3.2 CAM熱圖計算如下：

3.3.3 Grad-CAM

3.3.4 EB

4. 實驗

4.1 場景圖解釋（Explanations on Scene Graphs）

4.2. 分子圖解釋（Explanations on Molecular Graphs）

4.3. 訓練和評估

4.4. 解釋方法分析（Analysis of Explanation Methods）

4.5. 子圖頻率分析

5. 總結

參考資料

參考論文

論文下載

3.3.1 基于梯度的節(jié)點 $n$ 上的熱圖是：