《Edge-Labeling Graph Neural Network for Few-shot Learning》翻譯

Edge-Labeling Graph Neural Network for Few-shot Learning

摘要

? 在本文中密强，我們提出了一種新的邊標簽圖神經(jīng)網(wǎng)絡(luò) $(EGNN)$ 俭茧，其在邊標簽圖上采用深度學習進行小樣本學習糜颠。以往用于小樣本學習的圖神經(jīng)網(wǎng)絡(luò) $(GNN)$ 方法基本上都是基于節(jié)點標簽框架裹匙，該框架對類內(nèi)相似疯攒、類間不同進行隱式建模儿惫。相反澡罚，我們提出的 $EGNN$ 學習預(yù)測圖上的邊標簽而不是節(jié)點標簽，通過直接利用類內(nèi)相似肾请、類間不同對邊標簽進行迭代更新留搔，從而實現(xiàn)顯式聚類。該網(wǎng)絡(luò)不需要重新訓練就能夠在不同數(shù)量上的類上執(zhí)行铛铁，并且很容易就可以進行 $transductive \ inference$ 隔显， $EGNN$ 的參數(shù)是通過 $edge-labeling\ loss$ 進行 $episode$ 訓練學習却妨，從而得到一個對于未見過的小樣本問題具有很好泛化能力的模型 $(well-generalizable\ model)$ 。我們在兩個基準數(shù)據(jù)集上進行有監(jiān)督和半監(jiān)督小樣本圖像分類任務(wù)括眠，發(fā)現(xiàn)彪标， $EGNN$ 的性能比現(xiàn)有的 $GNNs$ 的性能高。

1. 介紹

? 最近有許多領(lǐng)域?qū)? $Meta-Learning$ 感興趣掷豺，特別是在任務(wù)泛化問題上（比如捞烟， $few-shot\ learning$ , $learn-to-learn$ , $non-stationary$ , $reinforcement\ learning$ , $and\ continual\ learning$ ），在這些元學習問題中当船， $Few-shot\ Learning$ 的目的是基于先驗知識题画，能夠自動且有效地處理帶有少量標簽數(shù)據(jù)的新任務(wù)。這與傳統(tǒng)的深度學習方法不同德频，傳統(tǒng)的深度學習方法在處理任務(wù)的過程中婴程，高度依賴大量帶標簽數(shù)據(jù)以及人工調(diào)整。

? 最近抱婉， $GNNs$ 引起了人們的興趣档叔，使用 $GNNs$ 能夠使用深度神經(jīng)網(wǎng)絡(luò)處理數(shù)據(jù)中的 $rich\ relation$ 結(jié)構(gòu)。 $GNNs$ 通過消息傳遞迭代性地對鄰居進行特征聚合蒸绩，因此可以表達數(shù)據(jù)實例之間的復(fù)雜關(guān)系衙四。由于小樣本學習算法需要充分利用 $a\ support\ set$ 與 $a\ query\ set$ 之間的關(guān)系，所以自然可以使用 $GNN$ 來解決小樣本學習問題患亿，最近已經(jīng)提出了一些小樣本學習方法传蹈，具體來講：

? 1）給定一個只有少量 $support\ set$ 的新任務(wù)， $Garcia$ 和 $Bruna$ 提出首先創(chuàng)建一個圖步藕， $support\ set$ 的所有例子與 $a\ query$ 緊密相連惦界。輸入節(jié)點使用 $embedding\ feature$ 進行表示（比如，一個 $CNN$ 的輸出）咙冗，同時給定邊信息（比如沾歪，使用 $one-hot$ 對標簽進行編碼）。

? 2）然后雾消，通過迭代更新 $neighborhood\ aggregation$ 的節(jié)點特征灾搏，從而對無標簽的 $query$ 進行分類。

? $Liu$ 等人提出基于節(jié)點特征的 $transductive\ propagation\ network\ (TPN)$ 立润，該節(jié)點特征是通過深度神經(jīng)網(wǎng)絡(luò)得到的狂窑。在測試階段，將整個 $support\ instance$ 和 $query\ instance$ 作為一個整體桑腮，使用一個常用的圖參數(shù)集對 $one-hot$ 編碼的標簽進行迭代傳播泉哈。在這里，我們需要注意的是，上述提及到的用于小樣本學習的 $GNN$ 方法主要是基于節(jié)點框架丛晦，該框架對類內(nèi)相似巨缘、類間不同進行隱式建模。

? 相反采呐，邊標簽框架能夠通過表示學習和度量學習顯式地執(zhí)行聚類，因此搁骑，從直覺上講斧吐，它是一個更加有利于將 $query\ association$ 擴展到現(xiàn)有的 $support\ clusters$ 。此外仲器，它不需要預(yù)先指定聚類的數(shù)量（比如煤率， $class-$ $cardinality$ $or\ ways$ ），然而節(jié)點標簽框架必須根據(jù)聚類數(shù)分別訓練模型乏冀。顯式利用邊標簽來指明相連的兩個節(jié)點是否屬于同一個聚類（類別）蝶糯，以前在原始（超）圖上進行相關(guān)性聚類，并且在引用網(wǎng)絡(luò)或者動態(tài)系統(tǒng)中的 $GNN$ 進行調(diào)整辆沦，但是從沒有應(yīng)用于小樣本學習的圖昼捍。因此，在本文中肢扯，我們提出邊標簽 $GNN$ $(EGNN)$ 用于解決小樣本學習問題妒茬，特別是小樣本分類任務(wù)。

? 我們提出的 $EGNN$ 由多個層組成蔚晨，每一層由 ==一個節(jié)點更新塊==和 ==一個邊更新塊== 組成乍钻，具體來講， $EGNN$ 是跨層的铭腕，它不僅對節(jié)點特征進行更新银择，還顯式地調(diào)整邊特征，邊特征反映了相連兩個節(jié)點對的邊標簽累舷，并且直接利用了類內(nèi)相似和類間不同浩考。如圖 $1$ 所示，在更新大量 $alternative\ node$ 和 $alternative\ edge$ 之后被盈，可以從最后的邊特征得到邊標簽預(yù)測怀挠。然后通過計算邊損失來對 $EGNN$ 的參數(shù)進行更新，在這個過程中害捕，使用的策略是著名的 $Meta-Learning$ ： $episode\ training$ 绿淋。 $EGNN$ 能夠執(zhí)行一次 $transductive\ inference$ 用來預(yù)測所有的 $query\ samples$ ，這說明當提供少量帶標簽訓練樣本的時候尝盼，在大多數(shù)情況下 $EGNN$ 能夠得到更加可靠的預(yù)測吞滞，此外， $EGNN$ 中的邊標簽框架能夠在不 $remodeling$ 或者 $retraining$ 的情況下處理不同的類。我們在兩個基準的小樣本圖像分類數(shù)據(jù)集上的實驗結(jié)果表明裁赠，無論是在監(jiān)督還是半監(jiān)督的情況下殿漠， $EGNN$ 都比現(xiàn)有的 $GNNs$ 方法在內(nèi)的小樣本學習算法的效果更好。

圖1 用于小樣本學習邊標簽的 EGNN 中的節(jié)點和邊的迭代更新

? 我們的主要貢獻如下：

首次提出使用 $EGNN$ 用來解決小樣本學習問題佩捞，方式是利用類內(nèi)相似绞幌、類間不同對邊標簽進行迭代更新。在不進行重新訓練的情況下一忱，它也能夠很好地適用于執(zhí)行不同的類莲蜘。
網(wǎng)絡(luò)由若干層組成，每一層由節(jié)點更新塊和邊更新塊組成帘营，在 $episode\ training$ 框架中對相應(yīng)的參數(shù)進行估計票渠。
使用 $EGNN$ 來研究 $transductive\ inference$ 或者 $non-transductive\ inference$ 。
在兩個基準數(shù)據(jù)集上進行監(jiān)督小樣本圖像分類和半監(jiān)督小樣本圖像分類任務(wù)芬迄。我們提出的 $EGNN$ 比現(xiàn)有的 $GNNs$ 性能上有顯著提升问顷。此外，進行 $ablation\ experiments$ 說明顯式聚類和單獨使用類內(nèi)相似禀梳、類間不同的好處杜窄。

2. 相關(guān)工作

? 圖神經(jīng)網(wǎng)絡(luò)：最初提出的 $GNN$ 是以 $RNN$ 的形式直接用于處理圖結(jié)構(gòu)數(shù)據(jù)。 $Li$ 等人進一步利用 $GRU$ 和現(xiàn)代優(yōu)化方法對其進行擴展算途。 $GNN$ 主要是使用鄰域聚合框架進行表示學習羞芍，通過 $Recursively\$ $aggregation$ 和 $transform$ 鄰居節(jié)點特征來計算節(jié)點特征。還可以使用基于 $Generalized\ convolution$ 的傳播規(guī)則對圖進行處理郊艘，其中 $Kips$ 和 $Welling$ 等人將該規(guī)則用于帶有 $scalability$ 的圖數(shù)據(jù)的半監(jiān)督學習荷科。還提出了一些方法，這些方法將 $GNN$ 用于 $FSL$ 纱注，并且這些方法是基于節(jié)點標簽框架畏浆。

? 邊標簽圖： $Correlation\ clustering,\ (CC)$ 是一種圖劃分算法，它通過同時最大化類內(nèi)相似和類間不同來對邊標簽進行推斷狞贱。 $Finley$ 和 $Joachims$ 考慮使用一個框架刻获，這個框架在 $CC$ 中使用結(jié)構(gòu)化 $SVM$ 進行 $noun-$ $phrase$ 聚類和新文章聚類。 $Taskar$ 推導(dǎo)出了一個 $max-margin$ 公式瞎嬉，該公式可以用于學習 $CC$ 的邊緣分數(shù)蝎毡，從而得到單個圖像的兩個不同的分割。 $Johnson$ 引入 $Gated\ Graph\ Transformer\ Neural\ Network(GGT-NN)$ 用于自然語言任務(wù)氧枣，其考慮了多種邊類型和幾種圖轉(zhuǎn)換操作沐兵，圖轉(zhuǎn)換操作包括節(jié)點狀態(tài)更新、節(jié)點狀態(tài)傳播和邊更新便监。

? 小樣本學習：基于表示學習的圖像分類是目前比較流行的方法扎谎，它根據(jù)表示之間的相似性使用最近鄰進行預(yù)測碳想。相似性可以是簡單的距離函數(shù)（比如， $cosine$ 距離或者 $Euclidean$ 距離）毁靶。連體網(wǎng)絡(luò)使用可訓練的帶權(quán) $L_1$ 距離兩兩配對的方式進行工作胧奔。匹配網(wǎng)絡(luò)進一步使用注意力機制來推導(dǎo)可微的最近鄰分類器。原型網(wǎng)絡(luò)通過定義每個類的嵌入 $support\ examples$ 的均值作為原型预吆。 $DEML$ 引入 $concept\ learner$ 使用大規(guī)模的輔助標記數(shù)據(jù)集來提取 $high-level\ concept$ 龙填，說明好的表示對于提升小樣本圖像分類的性能是有幫助的。

? 一個學習優(yōu)化模型參數(shù)的 $meta-learner$ 在任務(wù)之間提取一些 $transferable\ knowledge$ 拐叉，從而利用在小樣本學習環(huán)境下岩遗。 $Meta-LSTM$ 使用 $LSTM$ 作為模型更新器，并且將模型參數(shù)看成是其隱狀態(tài)巷嚣。通過讀取少量的樣本就可以學習參數(shù)的初始值并且對參數(shù)進行更新。 $MAML$ 只學習參數(shù)的初始值钳吟，并且簡單地使用 $SGD$ 廷粒，它是一種與模型無關(guān)的方法，適合于監(jiān)督學習任務(wù)和強化學習任務(wù)红且。 $Reptile$ 與 $MAML$ 相似坝茎，但是只使用一階導(dǎo)數(shù)。另外一個通用的 $meta-learner$ 暇番， $SNAIL$ 是時間卷積和軟注意力的一種新的結(jié)合嗤放，可以學習最佳的學習策略。

3. 方法

? 在這一節(jié)壁酬，我們介紹了小樣本分類任務(wù)的定義次酌，并且對所提出的算法進行了詳細的描述。

3.1 問題定義：小樣本分類

? 小樣本分類的目的是舆乔，在每個類只有少量訓練樣本的情況下學習出一個分類器岳服，因此，每個小樣本分類任務(wù) $T$ 中包含 $Support\ set,\ S$ 希俩、它是一個帶標簽的 $input-label$ 對的標簽集吊宋，還有一個 $Query\ set,\ Q$ ，一個不帶標簽的集合颜武，也是分類器需要進行分類的對象璃搜。如果 $Support\ set$ 中含有 $N$ 個不同類別，并且每個類別中有 $K$ 個帶標簽的樣本鳞上，那么該問題可以定義為 $N-way\ K-shot$ 分類問題这吻。

? 最近， $Meta-learning$ 已經(jīng)成為了解決小樣本分類的標準方法篙议，在原則上橘原，我們可以訓練一個分類器，在任務(wù)中只有 $compact\ support\ set$ 的情況下，該分類器對每個 $Query\ sample$ 分配一個類標簽趾断。然而拒名，每個任務(wù)中的少量帶有標簽的 $support\ samples$ 不足以訓練一個模型，這充分反映了類內(nèi)和類間的變量會導(dǎo)致分類性能不佳芋酌。顯式訓練集上的 $Meta-learning$ 通過提取 $transferable\ knowledge$ 來解決這一問題增显，從而能夠成功地對 $Query\ set$ 進行分類。

? $episodic\ training$ 是 $Meta-learning$ 的一種有效的方法脐帝，該方法在許多文獻中都很常用同云，我們采用的方法也是這種方法。給定一個相對較大的帶標簽的訓練數(shù)據(jù)集堵腹， $episodic\ training$ 的想法是對訓練任務(wù) $(episodes)$ 進行采樣炸站，該任務(wù)是模仿測試任務(wù)中的小樣本學習設(shè)置。在這里疚顷，由于訓練任務(wù)的分布與測試任務(wù)的分布相似旱易，因此可以通過在訓練任務(wù)上學習到一個模型，該模型能夠提升測試任務(wù)的性能腿堤。

? 具體來講阀坏，在 $episodic\ training$ 中，訓練任務(wù)和測試任務(wù)都是 $N-way\ K-shot$ 問題笆檀，表達形式如下所示：

$T\ = \ S\ \cup\ Q$ 忌堂，其中 $S\ =\ \{(x_i, y_i)\}_{i=1}^{N \times K}$ ， $Q = \{(x_i, y_i)\}_{i=N \times K + 1}^{N \times K + T}$ 酗洒，在這里士修， $T$ 是 $query\ samples$ 的個數(shù)，并且 $x_i\ and\ y_i \in \{C_i, \cdots, C_N\} = C_T \subset C$ 分別表示第 $i$ 個輸入數(shù)據(jù)及其標簽樱衷， $C$ 表示訓練數(shù)據(jù)集或者測試數(shù)據(jù)集中所有類別的集合李命。即使訓練數(shù)據(jù)集和測試數(shù)據(jù)集都是從同一分布中進行采樣得到的，但是他們的標簽空間是互斥的箫老，即 $C_{train} \cap C_{test} = \emptyset$ 封字。
在每個 $episode$ 中 $support\ set\ S$ 作為帶標簽的數(shù)據(jù)集，然后使用此數(shù)據(jù)集來訓練模型耍鬓，訓練的方式是通過最小化預(yù)測值與 $query\ set\ Q$ 之間的損失阔籽。該訓練過程是通過迭代執(zhí)行 $episodes$ 直到收斂。

? 最后牲蜀，如果 $N \times K$ 個樣本中有一部分是沒有標簽的笆制，那么稱該問題為半監(jiān)督小樣本分類，在第 $4$ 節(jié)中涣达，我們的算法在半監(jiān)督設(shè)置上的結(jié)果不錯在辆。

3.2 模型

? 在這一節(jié)我們將對我們提出的用于小樣本學習的 $EGNN$ 模型進行講解证薇。如圖 $2$ 所示，給定目標任務(wù)的所有樣本的特征表示（該特征表示是從聯(lián)合訓練的 $CNN$ 中提取出來的）：

圖2 EGNN模型的整體框架匆篓。在上圖的例子中浑度，我們以 2-way 2-shot 為例子。圖中藍色和綠色的圓圈代表兩種不同的類別鸦概；圖中的實線節(jié)點表示帶標簽的 support samples箩张，虛線節(jié)點表示無標簽的 query sample。邊特征的強度由正方形的顏色進行表示窗市；雖然圖中的邊特征由兩個維度先慷，但是我們只有第一個維度表示相似性，詳細的處理過程參考第 3.2 節(jié)

首先構(gòu)造一個全連通圖咨察，其中一個節(jié)點代表一個樣本论熙，一條邊代表相連節(jié)點之間的關(guān)系類型；
不妨定義 $G = \{V;E;T\}$ 為由任務(wù) $T$ 中的樣本構(gòu)造出來的圖摄狱，其中 $V := \{ V_i \}_{i=1, \cdot \cdot \cdot, |T|}$ 表示節(jié)點集脓诡， $E := \{ E_{ij} \}_{i, j = 1, \cdots \cdots, |T|}$ 表示邊集。
不妨令 $v_i$ 表示 $V_i$ 節(jié)點特征二蓝， $e_{ij}$ 表示 $E_{ij}$ 的邊特征誉券。
不妨令 $|T| = N \times K +$ $\rm T$ 表示任務(wù) $T$ 的所有的樣本數(shù)指厌。
邊標簽 $y_{ij}$ 的真實值使用真實的節(jié)點標簽進行定義：
$y_{ij}= \begin{cases} 1, &if\quad y_i = y_j\\ 0, & otherwise \end{cases} \tag{1}$
邊特征 $e_{ij} = \{ e_{ijd} \}_{d=1}^2 \in [0, 1]^2$ 是一個二維向量刊愚，代表相連節(jié)點類內(nèi)和類間關(guān)系的標準化強度，因此能夠分別利用類內(nèi)相似踩验，類間不同鸥诽。
節(jié)點特征是通過卷積嵌入網(wǎng)絡(luò) $v_i^0 = f_{emb}(x_i; \theta_{emb})$ 的輸出進行初始化的，其中 $\theta_{emb}$ 表示相應(yīng)的參數(shù)集（見圖 $3(a)$ ）
邊特征的初始化方式如下：
$e_{ij}^0= \begin{cases} [1||0], &if\ y_{ij} = 1 \ \ and \ \ i, j \leq N \times K\\ [0||1], & if\ y_{ij} = 0 \ \ and \ \ i, j \leq N \times K\\ [0.5||0.5] &otherwise\\\end{cases} \tag{2}$
其中 $||$ 表示 $concatenation\ operation$

? 我們使用 $L$ 層的 $EGNN$ 來處理圖箕憾， $EGNN$ 中用于 $inference$ 的前向傳播是通過層之間節(jié)點和邊的迭代更新得到的牡借。

? 詳細來講，給定來自于 $l-1$ 層的節(jié)點 $v_i^{l-1}$ 和邊 $e_{ij}^{l-1}$ 袭异。

首先通過鄰居聚合操作執(zhí)行 節(jié)點特征更新：按比例通過聚合其余節(jié)點特征以及邊特征來對第 $l$ 層的節(jié)點特征 $v_i^l$ 進行更新钠龙；
然后執(zhí)行特征變換；
將第 $l-1$ 層的節(jié)點特征 $e_{ij}^{l-1}$ 用于相應(yīng)鄰接節(jié)點的貢獻度御铃。比如以下的注意力機制：
$v_i^l = f_v^l([\sum_j \widetilde{e}_{ij1}^{l-1}v_j^{l-1}||\sum_j \widetilde{e}_{ij2}^{l-1}v_j^{l-1}];\theta_v^l) \tag{3}$

? 其中 $\widetilde{e}_{ijd} = \frac {e_{ijd}}{\sum_k e_{ikd}}$ 碴里，并且 $f_v^l$ 表示節(jié)點的特征轉(zhuǎn)換網(wǎng)絡(luò)（如圖 $3(b)$ 所示），該網(wǎng)絡(luò)的參數(shù)為 $\theta_v^l$ 上真。需要注意的是咬腋，除了傳統(tǒng)的 類內(nèi)聚合 之外，我們還考慮了 類間聚合睡互。類內(nèi)聚合是對相似鄰居的目標節(jié)點信息進行聚合根竿，類間聚合 是對不相似鄰居的信息進行聚合陵像。
? 然后，邊特征是通過新更新的節(jié)點特征進行更新的（即依賴于節(jié)點特征）寇壳。再次得到每對節(jié)點之間的（相似）相異性醒颖，然后結(jié)合之前的邊特征值和更新后的（相似）相異性來對邊特征進行更新。公式表示如下所示：
$\overline{e}_{????1}^??= \frac {??_??^?? (??_i^??, ??_??^??;\theta_??^?? ) ??_{????1}^{???1}}{∑_????_??^?? (??_??^??, ??_??^??;\theta_e^l)e_{????1}^{???1})/(∑_?? ??_{????1}^{???1})} \tag{4}$

$\overline{e}_{????2}^??=\frac {(1???_??^?? (??_??^??,??_??^??;\theta_??^?? )) ??_{????2}^{???1}}{∑_?? (1???_??^?? (??_??^??, ??_??^??; \theta_??^??) ??_{????2}^{???1}/∑_????_{????2}^{???1}} \tag{5}$

$??_{????}^??=\frac {\overline{e}_{????}^??} {|| \overline{e}_{????}^?? ||_1} \tag{6}$

其中 $f_e^l$ 表示一個度量網(wǎng)絡(luò)九巡，該度量網(wǎng)絡(luò)（見圖 $3(c)$ ）用來計算參數(shù)集 $\theta_e^l$ 之間的相似分數(shù)图贸，具體來講芋簿，節(jié)點特征流向邊礁凡，邊特征向量中的每個元素根據(jù)歸一化的類內(nèi)相似和類間不同進行單獨更新，即在邊更新過程中涯肩，不僅僅考慮了相應(yīng)節(jié)點對之間的關(guān)系撒汉，還有其余節(jié)點對之間的關(guān)系沟优。我們選擇使用兩個獨立的度量網(wǎng)絡(luò)來計算相似性和相異性（使用 $f_{e, sim}$ 來替代 $1-f_{e, sim}$ ）。

圖3 EGNN 的詳細網(wǎng)絡(luò)架構(gòu)睬辐。(a)嵌入網(wǎng)絡(luò) (b)特征（節(jié)點）轉(zhuǎn)換網(wǎng)絡(luò) (c)度量網(wǎng)絡(luò)

? 在更新完 $L$ 個可選節(jié)點和邊特征更新之后挠阁，我們可以根據(jù)最終的邊特征得到邊標簽預(yù)測，即 $\widehat{y}_{ij}=e_{ij1}^L$ 溯饵，并且 $\widehat{y}_{ij} \in [0, 1]$ 侵俗，可以將其看成是兩個節(jié)點 $V_i, V_j$ 來自同一類別的概率。因此丰刊，每個節(jié)點 $V_i$ 可以通過對 $support$ $set$ 進行簡單的 $weighted$ $voting$ 來進行分類隘谣。節(jié)點 $V_i$ 的預(yù)測概率的計算公式為： $P(y_i = C_K|T) = p_i^{(k)}$ ，并且 $p_i^{(k)}$ 的表達形式如下：
$p_i^{(k)} = softmax(\sum_{\{ j:j \neq i \bigwedge (x_j, y_j) \in S\}} \widehat{y}_{ij}\delta (y_j = C_k)) \tag{7}$
其中 $\delta(y_i = C_k)$ 是 $Kronecker\ delta\ function$ 啄巧，表達公式如下
$\delta(y_i = C_k) = \begin{cases} 1, &if\ y_i = C_k\\ 0, & otherwise \end{cases} \tag{8}$
節(jié)點分類的另外一種方法是使用 $graph\ clustering$ 寻歧；整個圖 $G$ 可以首先通過邊預(yù)測和通過線性編程得到的有效劃分進行優(yōu)化，從而形成聚類（the entire graph G can be first partitioned into clusters, using the edge prediction and an optimization for valid partitioning via linear programming ）秩仆。然后每個聚類可以使用最多的 $support\ label$ 進行標記码泛。但是在本文中，我們只應(yīng)用等式 $(7)$ 得到了分類結(jié)果澄耍。在測試階段的 $EGNN$ 推導(dǎo)算法如算法 $1$ 所示：

算法1

表中的 $non-transductive$ 推導(dǎo)表示 $query\ samples\ T=1$ 或者是一個一個執(zhí)行 $query\ inference$ 噪珊。而 $transductive$ 推導(dǎo)是對一張圖中的所有的 $query\ samples$ 進行分類。

3.3 訓練

? 給定M個訓練任務(wù) $\{T_m^{train}\}_{m=1}^M$ 齐莲，在 $episode$ 訓練期間的某個迭代中痢站， $EGNN$ 中的參數(shù) $\theta_{emb} \cup \{ \theta_v^l, v_e^l \}_{l=1}^L$ 以端到端方式進行訓練，目的是最小化下面的損失函數(shù)：
$L = \sum_{l=1}^L \sum_{m=1}^M \lambda_l L_e (Y_{m, e}, \widehat{Y}_{m, e}^L) \tag{9}$
其中 $Y_{m, e}$ 是第 $l$ 層第 $m$ 個任務(wù)的所有真實值查詢邊標簽的集合铅搓， $\widehat{Y}_{m,e}^l$ 是第 $l$ 層第 $m$ 個任務(wù)的所有真實值查詢邊預(yù)測的集合瑟押，并且邊損失 $L_e$ 是通過 $binary\ cross-entropy$ 進行定義的。邊預(yù)測結(jié)果不僅可以通過最后一層得到星掰，還可以通過其他的層得到多望，所以 $all\ losses$ 結(jié)合了所有層中的產(chǎn)生的計算損失嫩舟，提升較低層的 $gradient\ flow$ 。

4. 實驗

? 我們與兩個小樣本學習基準（即 $miniImageNet$ 和 $tieredImageNet$ ）的 $sota$ 方法進行評估和比較我們的 $EGNN$ 怀偷。

4.1 數(shù)據(jù)集

? miniInageNet：它是最流行的小樣本學習基準家厌，其來源于原始的 $ILSVRC-12$ 數(shù)據(jù)集。所有的圖像都是 $RGB$ 色彩椎工，大小為 $84 \times 84$ 像素饭于，從 $100$ 個不同的類別中進行采樣，每個類別有 $600$ 個樣本维蒙，我們對數(shù)據(jù)集的劃分方式為： $64$ 類用于訓練集掰吕， $16$ 類用于驗證集， $20$ 類用于測試集颅痊。

? tieredImageNet：與 $miniImageNet$ 數(shù)據(jù)集相似殖熟，它也是 $ILSVRC-12$ 的子集，相比于 $miniImageNet$ 斑响，該數(shù)據(jù)集（超過 $700K$ 張圖像）有更多的類別（ $608$ 個類別）菱属。最重要的是，與 $miniImageNet$ 數(shù)據(jù)集不同舰罚， $tieredImageNet$ 采取分層類別結(jié)構(gòu)纽门，其中 $608$ 個類中的每一個類屬于從 $ImageNet$ 的高級節(jié)點中采樣的 $34$ 個高級類別中的一類，每一個高級類別含有 $10 \sim 20$ 個類別营罢，數(shù)據(jù)集的劃分方式為： $20$ 類作為訓練類別 $\rightarrow$ $351$ 個類別赏陵； $6$ 驗證類別 $\rightarrow$ $97$ 個類別； $8$ 測試類別 $\rightarrow$ $160$ 個類別愤钾。每一個類別的樣本數(shù)平均為 $1281$ 瘟滨。

4.2 實驗設(shè)置

? 網(wǎng)絡(luò)架構(gòu)：對于 $feature\ embedding$ 模塊候醒，使用一個 $CNN$ 能颁，該 $CNN$ 由四個塊組成，和大多數(shù)小樣本學習模型差不多倒淫，我們沒有使用 $skip\ connections$ 伙菊。具體來講，每個卷積塊的組成分別為：一個 $3 \times 3$ 的卷積層敌土、一個 $batch$ $normalization$ 镜硕、一個 $LeakyReLU$ 激活。 $EGNN$ 中使用的所有網(wǎng)絡(luò)架構(gòu)如圖 $(3)$ 所示返干。

? 評估：對于這兩個數(shù)據(jù)集兴枯，我們進行了 $5-way\ 5-shot$ 實驗，這是標準的小樣本學習設(shè)置之一矩欠。為了進行評估财剖，每個測試集都是對 $5$ 個類別隨機取出 $15$ 個 $queries$ 悠夯，并且使用在 $test\ set$ 上隨機生成的 $600$ 個 $episodes$ 取均值從而得到性能。特別是躺坟，我們還在 $miniImageNet$ 上面進行了更具挑戰(zhàn)性的 $10-way$ 實驗沦补，進而顯示出我們的 $EGNN$ 模型在 $meta-train$ 和 $meta-test$ 階段不同的情況下的靈活性，這將在 $4.5$ 中進行展示咪橙。

? 訓練：我們使用初始學習率為 $5 \times 10^{-4}$ 夕膀、權(quán)值衰減為 $10^{-6}$ 的 $Adam\ optimizer$ 對模型進行訓練，用于 $meta-training$ 過程中的 $5-way$ 實驗使用的 $batch-size$ 為 $40$ 美侦，用于 $10-way$ 實驗使用的 $batch-size$ 為 $20$ 产舞，對于 $miniImageNet$ ，我們每 $15000$ 個 $episodes$ 對學習率進行減半處理菠剩，而對于 $TieredImageNet$ 庞瘸，我們每 $30000$ 個 $episodes$ 對學習率進行減半處理，因為該數(shù)據(jù)集是更大的赠叼，并且需要更多的 $iterations$ 才能達到收斂擦囊。我們的代碼是使用 $Pytorch$ 在 $NVIDIA\ Tesla\ P40\ GPU$ 上進行實現(xiàn)的。

4.3 小樣本分類

在表 $1a$ 和表 $1b$ 中嘴办，將 $EGNN$ 模型和幾個 $sota$ 模型在小樣本分類的性能上作了比較瞬场。這這里，所有的模型都根據(jù) $transductive\ settings$ 的不同分為了三組： $No$ 表示 $non-transductive\ methods$ 涧郊， $Yes$ 表示 $transductive$ $methods$ 贯被，即所有的 $queries$ 同時進行處理和預(yù)測， $BN$ 表示使用 $query\ batch\ statistics$ 而不是 $global\ batch\$ $normalization\ parameters$ 妆艘。這可以看成是在測試階段的一種 $transductive\ inference$ 彤灶。

? 提出的 $EGNN$ 在 $transductive$ 和 $non-transductive$ 設(shè)置下進行測試，如表 $1a$ 所示批旺， $EGNN$ 在 $miniImageNet$ 下的 $5-way$ $5-shot$ 設(shè)置幌陕、 $non-transductive$ 和 $transductive$ 設(shè)置下取得了最好的性能。值得注意的是汽煮， $EGNN$ 的性能好于 $node-labeling\ GNN$ 搏熄，這說明了邊標簽框架對于小樣本學習的有效性。此外暇赤， $EGNN + Transduction$ 在兩個數(shù)據(jù)集上都優(yōu)于第二好的方法 $(TPN)$ 心例，特別是在 $miniImageNet$ 數(shù)據(jù)集上的效果更好。表 $1b$ 顯示出鞋囊，相比于 $non-transductive$ 設(shè)置止后，在 $TieredImageNet$ 的 $transductive\ setting$ 有了最好的性能以及較大的改進，在 $TPN$ 網(wǎng)絡(luò)中溜腐，使用 $common\ Laplacial\ Martix$ 译株，只基于節(jié)點特征相似度將 $support\ set$ 的標簽傳遞到 $queries$ 上微饥，因此 $queries$ 是僅僅通過 $embedding\ feature$ 相似性與彼此進行消息傳遞。相反古戴，我們提出的 $EGNN$ 不僅可以傳播查詢節(jié)點的特征欠橘，還可以傳播具有不同參數(shù)集的圖層之間的邊標簽信息，從而能夠考慮到 $queries$ 之間的復(fù)雜交互现恼。此外肃续， $TPN$ 的節(jié)點特征是固定的，并且在標簽傳播過程中是不變的叉袍，從而能夠得到一個封閉式始锚、單步標簽傳播的公式。在我們的 $EGNN$ 中喳逛，節(jié)點特征和邊特征都是動態(tài)變化的瞧捌，并且能夠在進行幾次更新之后逐漸適應(yīng)新的任務(wù)。

表1 在 miniImageNet 和 TieredImageNet 的小樣本分類準確度润文。所有的結(jié)果是 600 次 test episodes 的平均值姐呐，最高結(jié)果值進行了高亮處理

表1 在 miniImageNet 和 TieredImageNet 的小樣本分類準確度。所有的結(jié)果是 600 次 test episodes 的平均值典蝌，最高結(jié)果值進行了高亮處理

4.4 半監(jiān)督小樣本分類

? 對于半監(jiān)督實驗曙砂，在 $5-way\ 5-shot$ 設(shè)置下，只有部分 $support\ samples$ 有標簽骏掀，帶標簽的樣本在類別之間是均衡的鸠澈，即所有的類別都有相同數(shù)量的帶標簽樣本和無標簽樣本，在 $miniImageNet$ 得到的結(jié)果如表 $2$ 所示：

表2 在 miniImageNet 上的半監(jiān)督小樣本分類準確度

其中 $LabelOnly$ 表示僅僅使用帶有標簽的樣本進行學習截驮， $Semi$ 表示半監(jiān)督設(shè)置【部分樣本沒有標簽】笑陈，當只有 $20\%, 40\%, 60\%$ 的 $support\ samples$ 有標簽時，給出了不同的結(jié)果葵袭，并且我們將提出的 $EGNN$ 和 $node-$ $labeling\ GNN$ 進行了比較涵妥，結(jié)果如表 $2$ 所示，正如表 $2$ 所示一樣眶熬，與 $LabelOnly$ 想比妹笆，半監(jiān)督學習在各個設(shè)置下性能都要好块请。需要注意的是娜氏，在半監(jiān)督學習中，特別是在帶標簽的樣本很少的情況下墩新， $EGNN$ 的性能遠遠優(yōu)于先前的 $GNN$ $(61.88\%\ VS \ 52.45\%)$ 贸弥。在 $transductive\ setting$ 下 $(EGNN-Semi(T)$ ，性能更好海渊。簡單來說绵疲，與 $node-labeling\ framework$ 相比哲鸳，無論是在 $transductive\ setting$ 或者 $non-transductive \ setting$ 中， $EGNN$ 能夠從無標簽數(shù)據(jù)中提取到更多的信息盔憨。

4.5 $Ablation\ studies$

? 邊標簽 $GNN$ 是一個深層架構(gòu)徙菠，該架構(gòu)中含有幾個節(jié)點更新層和邊更新層。因此郁岩，隨著模型越來越深婿奔，層數(shù)越來越多，任務(wù)樣本之間的 $interactions$ 傳播會更加密集问慎，這使得結(jié)果更好萍摊。為了支撐這個觀點，我們比較了不同層數(shù)的 $EGNN$ 在小樣本學習上的性能如叼，結(jié)果如表 $3$ 所示冰木，隨著 $EGNN$ 層數(shù)的增加，性能越來越好笼恰，特別是從一層變成兩層之后踊沸，性能有一個大的跳躍 $(67.99\% \rightarrow\ 73.19\%)$ ，在三層的時候社证，只有一點點額外增益 $(76.37\%)$ 雕沿。

? $EGNN$ 的另外一個關(guān)鍵要素是在 $node/edge\ updates$ 過程中分別利用類內(nèi)相似和類間不同。為了驗證該方法的有效性猴仑，我們進行了僅僅使用類內(nèi)聚合的實驗审轮，并且將結(jié)果與使用兩種聚合得到的結(jié)果進行了比較，最終結(jié)果如表 $3$ 所示辽俗，對于所有的 $EGNN$ 層疾渣，使用單獨的類內(nèi)聚合能夠明顯提升性能。

表3 在數(shù)據(jù)集 miniImageNet 上使用不同的 EGNN 層和不同特征類型的 5-way 5-shot 實驗結(jié)果

? 還需要注意的是崖飘，與之前的 $node-labeling\ GNN$ 相比榴捡，我們提出的 $edge-labeling\ framework$ 能夠更加有效地解決任意 $meta-test$ 設(shè)置下的小樣本問題，特別是 $meta-training$ 和 $meta-test$ 過程中樣本類別數(shù)不同的情況下朱浴。為了驗證這個說法吊圾，我們使用 $EGNN$ 執(zhí)行了 $cross-way$ 實驗，結(jié)果如表 $4$ 所示翰蠢，在這里项乒，模型在 $5-way\ 5-shot$ 設(shè)置下進行訓練，在 $10-way\ 5-shot$ 設(shè)置下進行測試梁沧，反之亦然檀何。有趣的是，兩種 $cross-way$ 的方式得到的結(jié)果與 $matched-way$ 設(shè)置下得到的結(jié)果是相似的。因此频鉴，我們能夠觀察到栓辜，在不進行重新訓練模型的情況下， $EGNN$ 能夠成功地擴展到不同的小樣本設(shè)置垛孔。而之前的 $node-labeing\ GNN$ 是不同應(yīng)用于 $cross-way$ 設(shè)置中的藕甩，因為模型的大小和參數(shù)取決于 $ways$ 的數(shù)目。

表4 在 miniImageNet 數(shù)據(jù)集 5-shot 設(shè)置下的 cross-way 小樣本學習

? 圖 $4$ 顯示了 $node-labeling\ GNN$ 和 $EGNN$ 的節(jié)點特征的 $t-SNE$ 可視化周荐，在第一層傳播之后辛萍， $GNN$ 在 $support\ samples$ 中表現(xiàn)出好的聚類效果，然而羡藐， $query\ samples$ 被嚴重聚類在一起了贩毕，并且根據(jù)每個標簽， $query$ $samples$ 和他們的 $support\ smples$ 不會靠近仆嗦，特別是在具有更多層的傳播中辉阶，這就意味著 $GNN$ 中的最后一個全連接層在 $query\ classification$ 中扮演著很多角色。相反瘩扼，在 $EGNN$ 中谆甜，隨著層的傳播，如果標簽不同集绰， $query$ $samples$ 和 $query\ samples$ 都會被拉開规辱，同時，同樣標簽的 $query\ samples$ 和 $support\ samples$ 可以靠近栽燕。

圖4 節(jié)點特征的 t-SNE 可視化罕袋，上面是 GNN，下面是 EGNN碍岔，從左到右浴讯，分別表示初始化、第一層蔼啦、第二層榆纽、第三層。'x' 表示query捏肢，'o'表示 support奈籽，不同的顏色代表不同的標簽

? 為了進一步分析，在圖 $5$ 中鸵赫，顯示了 $EGNN$ 是如何傳播信息的衣屏，從初始特征開始（所有 $query$ 的邊特征都初始化為 $0.5$ ），邊特征最終演變成類似于真實標簽的標簽奉瘤，因為它通過了幾個 $EGNN$ 層勾拉。

圖4 節(jié)點特征的 t-SNE 可視化煮甥，上面是 GNN盗温，下面是 EGNN藕赞，從左到右，分別表示初始化卖局、第一層斧蜕、第二層、第三層砚偶。'x' 表示query批销，'o'表示 support，不同的顏色代表不同的標簽

5. 結(jié)論

? 這項工作解決了小樣本學習問題染坯，特別是小樣本分類任務(wù)均芽。我們提出 $EGNN$ 的目的是通過迭代更新邊標簽來推斷 $query$ 與 $existing\ support\ clustering$ 之間的關(guān)聯(lián)。在 $EGNN$ 的過程中单鹿，通過具有不同參數(shù)集的圖層掀宋，顯示利用類內(nèi)相似、類間不同來對 $alternative\ node$ 和 $edge$ 特征進行更新仲锄。并且將最終的邊預(yù)測結(jié)果作為邊標簽預(yù)測劲妙。使用邊標簽損失來對 $episodic\ training$ 的 $EGNN$ 中的參數(shù)進行更新，實驗結(jié)果也表明儒喊，無論是在有監(jiān)督小樣本分類還是半監(jiān)督小樣本分類任務(wù)上镣奋， $EGNN$ 的性能優(yōu)于其余的小樣本算法。并且我們提出的框架能夠適用于各種 $meta-clustering$ 任務(wù)怀愧。對于未來的工作侨颈，我們可以考慮另外一種訓練損失，該損失是與 $valid$ $graph$ $clustering(such\ as\ cycle\ loss)$ 是相關(guān)的芯义。另外一個方式是圖稀疏化（比如構(gòu)建 $k-nearest\ neighbor\ graphs$ ）肛搬，這使得我們的算法對于大樣本具有擴展性。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末毕贼，一起剝皮案震驚了整個濱河市温赔，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌鬼癣，老刑警劉巖陶贼，帶你破解...
沈念sama閱讀 211,042評論 6贊 490
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異待秃，居然都是意外死亡拜秧，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 89,996評論 2贊 384
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門章郁，熙熙樓的掌柜王于貴愁眉苦臉地迎上來枉氮，“玉大人志衍，你說我怎么就攤上這事×奶妫” “怎么了楼肪？”我有些...
開封第一講書人閱讀 156,674評論 0贊 345
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長惹悄。經(jīng)常有香客問我春叫，道長，這世上最難降的妖魔是什么泣港？我笑而不...
開封第一講書人閱讀 56,340評論 1贊 283
?港島之戀（遺憾婚禮）
正文為了忘掉前任暂殖，我火速辦了婚禮，結(jié)果婚禮上当纱，老公的妹妹穿的比我還像新娘呛每。我一直安慰自己，他們只是感情好坡氯，可當我...
茶點故事閱讀 65,404評論 5贊 384
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布晨横。她就那樣靜靜地躺著，像睡著了一般廉沮。火紅的嫁衣襯著肌膚如雪颓遏。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 49,749評論 1贊 289
城市分裂傳說
那天滞时，我揣著相機與錄音叁幢，去河邊找鬼。笑死坪稽，一個胖子當著我的面吹牛曼玩，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播窒百，決...
沈念sama閱讀 38,902評論 3贊 405
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼黍判，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了篙梢？” 一聲冷哼從身側(cè)響起顷帖，我...
開封第一講書人閱讀 37,662評論 0贊 266
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎渤滞，沒想到半個月后贬墩，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,110評論 1贊 303
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡妄呕，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,451評論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年陶舞，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片绪励。...
茶點故事閱讀 38,577評論 1贊 340
活死人
序言：一個原本活蹦亂跳的男人離奇死亡肿孵，死狀恐怖唠粥，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情停做，我是刑警寧澤晤愧，帶...
沈念sama閱讀 34,258評論 4贊 328
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站雅宾，受9級特大地震影響养涮，放射性物質(zhì)發(fā)生泄漏葵硕。R本人自食惡果不足惜眉抬，卻給世界環(huán)境...
茶點故事閱讀 39,848評論 3贊 312
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望懈凹。院中可真熱鬧蜀变，春花似錦、人聲如沸介评。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,726評論 0贊 21
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽们陆。三九已至寒瓦，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間坪仇，已是汗流浹背杂腰。一陣腳步聲響...
開封第一講書人閱讀 31,952評論 1贊 264
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留椅文，地道東北人喂很。一個月前我還...
沈念sama閱讀 46,271評論 2贊 360
代替公主和親
正文我出身青樓，卻偏偏與公主長得像皆刺，于是被迫代替她去往敵國和親少辣。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
茶點故事閱讀 43,452評論 2贊 348

《Edge-Labeling Graph Neural Network for Few-shot Learning》翻譯