論文粗讀“Multi-view representation model based on graph autoencoder”

Li J, Lu G, Wu Z, et al. Multi-view representation model based on graph autoencoder[J]. Information Sciences, 2023, 632: 439-453.

摘要導讀:

當一些數(shù)據(jù)的標簽缺失的時候棒搜,圖自編碼器和圖變分自編碼器往往在節(jié)點聚類和連接劃分的任務重能顯示較為出色的性能护锤。然而,現(xiàn)存的圖表示學習忽略了數(shù)據(jù)多個模態(tài)之間的特征,將節(jié)點和圖結構特征作為了一個視圖煞额。此外,大多數(shù)圖自編碼器只重構節(jié)點的特征矩陣或鄰接矩陣证逻,使其無法全面的挖掘隱藏的特征表示义桂。因此,在本文中随静,作者提出了一個基于圖自編碼器的多視圖表示學習模型八千,該模型可以同時應用全局結構拓撲、潛在的局部拓撲以及特征相關性燎猛。在后續(xù)階段恋捆,作者添加了解碼器來重構節(jié)點特征矩陣。實驗結果驗證了模型的有效性重绷。

雖然論文的標題叫多視圖表示模型沸停,但其實這里是針對的是單視圖數(shù)據(jù)。具體來說昭卓,通過引入不同的關系矩陣愤钾,構造不同的關系矩陣以確保全面的利用節(jié)點特征和結構信息。

模型淺析

按照筆者的理解候醒,可以將該框架分為紅色框的多個視圖表示的編碼過程能颁,以及后續(xù)的解碼過程。

  • GCN編碼過程
    獲得的三種視圖為:特征相似視圖(S^{feat}, X)倒淫,全局拓撲視圖(S^{ppr}, X)以及局部拓撲視圖(A, X)劲装。按照作者的說法,全局拓撲結構可幫助圖自編碼器聚合高階近鄰的特征信息和更多的拓撲結構昌简;局部拓撲結構可以聚合低階近鄰的特征信息占业。最后,添加了額外的特征相似視圖來補充節(jié)點特征信息纯赎。通過三個單獨的圖卷積編碼器谦疾,可以學習到三個表示矩陣。因此犬金,從模型圖上看念恍,其實比較重要的是三個鄰接矩陣的計算。而GCNs則是使用了兩層的GCN晚顷,并且這里的GCN之間并沒有共享峰伙。那么在這部分重點介紹不同類型的鄰接矩陣的介紹。
    1 特征相似視圖:直接計算兩個樣本特征的相似度

    2 全局拓撲視圖: 使用Personalized PageRank 算法來獲取擴散(或傳播)矩陣
    其中\alpha是隨機游走的概率该默;

    3 局部拓撲結構:原始的鄰接矩陣A
    通過GCN層瞳氓,可以得到三個表示Z^{ppr}, Z^{feat},Z^A。最后將得到的表示通過非線性映射栓袖,并且利用可學習的注意力向量
    來獲得注意力得分:
    最終的注意力權重為:
    然后通過加權融合的操作得到最終的Z:
  • 雙解碼
    分別重構特診矩陣X和鄰接矩陣A匣摘。對應的損失為:
  • 對抗模塊
    判別器充當二元分類器店诗,用于區(qū)分潛在變量是來自先驗分布(真實樣本)還是來自多視圖圖編碼器(虛假樣本)。這里使用的也是傳統(tǒng)的判別損失
    該損失和圖中的對應關系也不是特別清楚音榜。按照筆者的理解庞瘸,所謂的G(X,A)應該指的是中間隱藏變量的生成過程,因此也叫做生成器部分赠叼。而D應該是共用的判別器部分擦囊。總的來說嘴办,就是從原始數(shù)據(jù)分布P_Z中采樣Z瞬场,然后和生成器生成的中間表示Z一起輸入到判別器D中(其實就是2分類器,最后使用sigmoid激活户辞,使得輸輸出0或1)泌类。一般來說,在實現(xiàn)的時候使用的是先驗分布都為高斯分布底燎。

從模型生成的角度來看刃榨,具體的實施方案中加入對抗損失是為了更好的使得模型學習的中間層表示更加貼合真實的先驗分布,使得到的模型不是進行機械的特征記憶双仍。但是筆者有個疑問枢希,如果說是為了更好的生成樣本,那么在為什么在前序的學習中不使用VGAE來進一步強化模型的生成能力朱沃?好像在實驗的部分也沒有針對這部分進行消融苞轿。這里的解釋和創(chuàng)新感覺有點不太清楚(應該是我自己的問題,以后再來看看逗物。

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末搬卒,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子翎卓,更是在濱河造成了極大的恐慌契邀,老刑警劉巖,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件失暴,死亡現(xiàn)場離奇詭異坯门,居然都是意外死亡,警方通過查閱死者的電腦和手機逗扒,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進店門古戴,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人矩肩,你說我怎么就攤上這事现恼。” “怎么了?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵述暂,是天一觀的道長痹升。 經(jīng)常有香客問我建炫,道長畦韭,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任肛跌,我火速辦了婚禮艺配,結果婚禮上,老公的妹妹穿的比我還像新娘衍慎。我一直安慰自己转唉,他們只是感情好,可當我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布稳捆。 她就那樣靜靜地躺著赠法,像睡著了一般。 火紅的嫁衣襯著肌膚如雪乔夯。 梳的紋絲不亂的頭發(fā)上砖织,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天,我揣著相機與錄音末荐,去河邊找鬼侧纯。 笑死,一個胖子當著我的面吹牛甲脏,可吹牛的內(nèi)容都是我干的眶熬。 我是一名探鬼主播,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼块请,長吁一口氣:“原來是場噩夢啊……” “哼娜氏!你這毒婦竟也來了?” 一聲冷哼從身側響起墩新,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤贸弥,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后抖棘,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體茂腥,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年切省,在試婚紗的時候發(fā)現(xiàn)自己被綠了最岗。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡朝捆,死狀恐怖般渡,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤驯用,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布脸秽,位于F島的核電站,受9級特大地震影響蝴乔,放射性物質發(fā)生泄漏记餐。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一薇正、第九天 我趴在偏房一處隱蔽的房頂上張望片酝。 院中可真熱鬧,春花似錦挖腰、人聲如沸雕沿。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽审轮。三九已至,卻和暖如春辽俗,著一層夾襖步出監(jiān)牢的瞬間疾渣,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工榆苞, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留稳衬,地道東北人。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓坐漏,卻偏偏與公主長得像薄疚,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子赊琳,可洞房花燭夜當晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容