一阔加、摘要
SRL主要關(guān)注預(yù)測知識圖譜丟失的信息颅围，知識圖譜儲存三元組(subject,predicate,object)。eg鼓蜒。(Mikhail Baryshnikov,educated_at,Vaganova Academy)坝橡，Baryshnikov和Vaganova Academy)是實體泻帮，educated_at是關(guān)系，實體標(biāo)注類型驳庭，Vaganova Academy標(biāo)簽是university刑顺。
知識圖譜有廣泛的應(yīng)用前景氯窍，比如問答系統(tǒng)饲常、信息檢索。這篇文章我們介紹R-GCNs,解決知識圖譜兩大經(jīng)典任務(wù)：實體識別狼讨、鏈路預(yù)測贝淤，實體識別恢復(fù)丟失三元組，鏈路預(yù)測將實體進行分類政供，處理實際生活中多關(guān)系數(shù)據(jù)播聪。接下來朽基，我們將完整展示應(yīng)用R-GCNs完成實體識別，使用softmax分類node离陶，優(yōu)化cross-entropy損失得到參數(shù)稼虎。鏈路預(yù)測類比autoencoder,（1）encoder，R-GCNs生成實體特征表示招刨，（2）decoder霎俩，tensor factorization model用這些特征預(yù)測帶上標(biāo)簽的edge。原則decoder可以使用任何factorization或得到score模型沉眶，我們使用最簡單有效的模型DistMult打却，DistMult豐富encode，加速關(guān)系圖推斷過程谎倔，在FB15K-237提升了29.8%柳击。
我們主要的貢獻有：(1)首次展示GCN可以預(yù)測關(guān)系數(shù)據(jù)，(2介紹參數(shù)共享的技術(shù)片习，在多關(guān)系中處理sparsity constraints,(3)DistMult可以豐富encoder表現(xiàn)捌肴，主要關(guān)系圖中多步驟處理information propagation
二、模型原理
定義多關(guān)系圖毯侦，
表示哭靖，node(entities),
表示labeled edges關(guān)系，
是關(guān)系類型侈离。
1. Relational graph convolutional networks
我們的模型靈感來源于GCNs试幽，GCNs處理圖鄰居，這些圖神經(jīng)網(wǎng)絡(luò)和消息傳遞框架不同卦碾。
節(jié)點
在l-th layer的隱藏狀態(tài)铺坞，
傳遞給element-wise激活方法
,比如
，
表示節(jié)點
進來的消息洲胖，類比于incoming edge集合济榨，
消息處理神經(jīng)網(wǎng)絡(luò)或者簡單的線性轉(zhuǎn)換
，這些類型的轉(zhuǎn)換在聚合編碼結(jié)構(gòu)化鄰居特征非常有效绿映，特別是圖分類擒滑。受這些啟發(fā)，我們定義了以下propagation model計算向前更新實體
表示node i的在關(guān)系
鄰居indices叉弦，
是problem-specifi歸一化約束丐一，可以使用
。
等式(2)用sum轉(zhuǎn)換鄰居特征向量淹冰，與常規(guī)的GCNs不同库车，我們介紹基于關(guān)系的轉(zhuǎn)換，這些關(guān)系依賴邊的類型和方向樱拴。為了確保在節(jié)點依賴
層柠衍，每個節(jié)點加特殊關(guān)系self-connection洋满。除了簡單的線性消息傳遞，也可以更加靈活的方法珍坊，比如多層神經(jīng)網(wǎng)絡(luò)牺勾，當(dāng)然這也會提高計算代價。
2.Regularization
等式(2)隨著圖中關(guān)系增加阵漏，參數(shù)個數(shù)也急速增加禽最。在關(guān)系比較少見或圖非常大會過渡擬合，為了解決這個問題袱饭，我們介紹兩種方法川无，regularing R-GCNs權(quán)重：basis和block-diagonal-decomposition。在basis decomposition
i.e.是線性轉(zhuǎn)化虑乖， 和
是關(guān)系r的相關(guān)系數(shù)懦趋。
在block-diagonal decomposition，每個通過低維度矩陣相加
是block-diagonal矩陣
等式(3)可以被看作不同關(guān)系參數(shù)共享疹味，等式(4)每個關(guān)系在權(quán)重上sparsity constraint
仅叫。block decomposition中，隱藏的特征可以分組成變量集合糙捺，組內(nèi)關(guān)系比組外關(guān)系更緊密诫咱。這兩種方式，都可以減少參數(shù)數(shù)量洪灯，basis decomposition可以解決關(guān)系少見過擬合問題坎缭，因為所有關(guān)系都共享參數(shù)。
R-GCNs遵循以下原則签钩，等式(2)前一層是下一層的輸入掏呼，第一層的輸入如果節(jié)點其他特征，可以使用one-hot铅檩。
三憎夷、應(yīng)用
1.實體識別
半監(jiān)督實體分類，我們通過等式(2)stack R-GCNs layer昧旨，在輸出層采用softmax(.)激活節(jié)點拾给。每個帶標(biāo)簽節(jié)點采用cross-entropy，忽略沒有帶標(biāo)簽的節(jié)點
有標(biāo)簽節(jié)點的索引兔沃，
是第k層網(wǎng)絡(luò)的輸出蒋得，
表示真實的標(biāo)簽。在實踐中粘拾，我們通過隨機梯度法訓(xùn)練模型窄锅。
2.鏈路預(yù)測
鏈路預(yù)測預(yù)測新的三元組创千，知識圖譜生成有向帶標(biāo)簽的圖缰雇，任務(wù)是評估
到可能的邊
入偷，未來決定多大可能性這些邊屬于
。
為了解決這些問題械哟，我們介紹自編碼模型疏之，有encoder和得分函數(shù)decoder。encoder生成節(jié)點向量暇咆，decoder根據(jù)向量表示重建邊锋爪。通過評估(subject,relation,objection)。我們使用DistMult作為得分函數(shù)爸业，
其骄，
是對角矩陣。在訓(xùn)練模型中扯旷，我們還使用了負采樣拯爽，每一個觀測的樣例，我們采樣w個負樣例钧忽，通過cross-entropy優(yōu)化模型毯炮，使用觀察到的三元組數(shù)據(jù)高于負樣例
是所有真實的三元組，l是logistic sigmoid函數(shù)耸黑，y=0是負采樣
四桃煎、實驗評估
1. 實體識別
數(shù)據(jù)集：AIFB,MUTAG,BGS,AM
Baseline模型：
RDF2vec嵌入向量結(jié)果：在帶標(biāo)簽的節(jié)點中隨機游走，通過skipgram計算實體向量大刊，最后用實體向量來分類为迈。
結(jié)果
RGCNS用的是2層網(wǎng)絡(luò)16個隱藏層單元，訓(xùn)練使用基礎(chǔ)規(guī)則缺菌，優(yōu)化使用Adam曲尸，訓(xùn)練50輪次，學(xué)習(xí)率0.01男翰，正則化參數(shù)
實體識別的結(jié)構(gòu)是10輪次的平均精度另患，我們的模型在AIFB,AM是表現(xiàn)突出。MUTAG是分子圖蛾绎，之后轉(zhuǎn)換成RDF格式昆箕，數(shù)據(jù)集中關(guān)系很少有特征。BGS中巖石類型租冠，有多層特征鹏倘，類似于RDG格式，關(guān)系表示某個特征或特征層級顽爹。MUTAG和BGS的帶標(biāo)簽的實體僅僅與高度中樞節(jié)點有聯(lián)系纤泵，編碼確定的特征。
當(dāng)然镜粤，當(dāng)節(jié)點有很高的度捏题，收集鄰居信息有限制玻褪，我們可以通過引進attention機制，用代替正則
