Zhang M, Zhu Y, Wu S, et al. Deep Contrastive Learning for Multi-View Network Embedding[J]. arXiv preprint arXiv:2108.08296, 2021.
摘要部分
多視圖網絡嵌入學習的目標是將網絡中的節(jié)點映射成低維向量，并同時保留多種關系和屬性信息侨拦∈獬龋基于對比學習的已經在這項工作中展現(xiàn)出較為先進的性能。然而，絕大多數這類方法都依賴于高質量的圖嵌入表示膨蛮，并且很少探索在不同的圖視圖之間的關系叠纹。為了解決這些不足，我們設計了node-to-node Contrastive leaRning framEwork for Multi-view network Embedding（CREME）敞葛，它包含兩個對比目標：多視圖融合信息的最大化及視圖內信息最小化誉察。前一個目標會從不同視圖產生的嵌入表示中蒸餾信息，而后者可以更好地區(qū)分不同的圖視圖以捕捉它們之間的互補信息惹谐。具體來說持偏，作者首先應用view encoder去產生每個視圖的圖視圖表示，然后使用multi-view aggregator融合各視圖信息氨肌。在訓練中將兩個對比目標統(tǒng)一為一個學習目標去優(yōu)化鸿秆。在3個真實數據集上的實驗表明了模型的有效性。
寫法總結：首先說明自己的任務及目標怎囚；其次引出自己要使用的方法類型卿叽，指出其不足；接著提出自己的方法桩了，并進行簡單的介紹附帽；最后概括模型的有效性。
Intro部分
關于現(xiàn)有方法到自己方法的過渡井誉，需要指出現(xiàn)有方法存在的問題：
Although these (contrastive learning methods) have achieved compelling performance on (multi-view network embedding), we argue that they still have two deficiencies. On the one hand, (their contrastive strategies mostly rely on graph level embedding for each view). (
給出解釋However, high-quality graph embedding requires an efficient injective graph readout function, which is difficult to design or optimize in practice [18]). On the other hand, (their contrastive methods do not explicitly leverage the relationships between different graph views, such as complementary information). To deal with these challenges,針對不足我們的方法分別是怎么做的(we consider using node-to-node contrastive learning instead of the node-to-graph one, which could eliminate the process of graph embedding. Furthermore, we establish two contrastive objectives to promote multi-view information fusion and maintain the complementary information between different graph views).
相關方法
-
問題定義
-
模型介紹
模型的主要想法是使用自監(jiān)督框架去學習：
視圖的view encoder
;
多視圖聚合器
;
其中是指在視圖
中每個節(jié)點的表示;
是指在全局融合視圖
中每個節(jié)點的表示;
- 模型目標
模型目標分為兩個部分。
其中第一部分是多視圖融合信息的最大化：其主要涉及的視圖是各視圖和融合視圖的鄰接矩陣信息整胃。其中對比學習中颗圣，最重要的是正例對和負例對的構造。在融合信息最大化中屁使，采用了對應節(jié)點信息為正例在岂，其余均為負例的的對比策略，因此有如下?lián)p失函數：并將分母部分進行了重新表示：其中為一個相似性度量函數蛮寂，一般為余弦相似度蔽午。
為溫度參數。
第二部分為視圖內信息最小化：對于多視圖數據酬蹋，不同視圖之間的表示通常具有互補性及老。但是由于共享節(jié)點表示信息的前提下，會導致每個視圖的表示趨于一致范抓，從而使得視圖間的可區(qū)別性降低骄恶。因此，在這部分中匕垫，主要涉及的是分視圖之間的對比學習：由此僧鲁，對負例對進行了擴展，所以有如下：
總結來說，對于模型框架整體的學習目標來講轉換為所有正例對的均值： - view encoder
關于各視圖節(jié)點結構信息和屬性信息的學習寞秃，論文中使用的是GAT模型斟叼。也就是說除了原始的GCN外，額外添加了節(jié)點和它對應近鄰節(jié)點的權重信息：是視圖
中節(jié)點
的一系列近鄰節(jié)點春寿，
是視圖特有的權重向量犁柜，
是節(jié)點屬性信息到語義空間映射的轉化矩陣。最終堂淡，節(jié)點
其中激活函數為ReLU，然后進行各權重相乘的拼接形式绢淀。 - multi-view aggregator
多視圖聚合器的目的是整合來自所有圖視圖的語義信息并生成節(jié)點的融合多視圖網絡的表示萤悴。為了進一步區(qū)別每個視圖在聚合中的重要程度，作者使用了注意力機制來聚合來自不同視圖的節(jié)點表示皆的。這里作者使用的注意力機制相當于通過了全連接層覆履，使用做語義級別的attention vector。并使用softmax進行歸一化得到對應權重费薄，然后對視圖進行融合相加硝全。
整體模型精悍簡小，作者真實數據集也證明了模型的實用性楞抡。在以neighbors為拓展的方法里伟众，巧妙的使用GAT融入了不同近鄰節(jié)點中的權重信息，有效的提高了節(jié)點表示的性能召廷；同時在聚合多視圖節(jié)點表示的同時引入了語義級別的注意力向量凳厢，使得視圖聚合層顯得更加高水平。在視圖融合時可以進行借鑒竞慢。
