Wang R, Li L, Tao X, et al. Contrastive and attentive graph learning for multi-view clustering[J]. Information Processing & Management, 2022, 59(4): 102967.

摘要導(dǎo)讀

基于圖的多視圖聚類旨在利用多視圖圖信息來提供聚類解決方案掐隐。多視圖的一致性約束是多視圖圖聚類的關(guān)鍵∩碳埽現(xiàn)有的研究大多是生成融合圖，并通過聚類損失來約束多視圖的一致性。本文認(rèn)為局部視圖對的一致性可以實(shí)現(xiàn)多個視圖中的共識信息的fine-modeling（精細(xì)建模）。為此，本文提出了一種新的對比和注意圖學(xué)習(xí)框架的多視圖聚類方法状飞。具體來說，本文設(shè)計(jì)了一個多視圖圖學(xué)習(xí)的 contrastive fine-modeling书斜，利用最大化成對視圖的相似性诬辈，以保證多視圖的一致性。同時荐吉，采用基于注意力網(wǎng)絡(luò)的附加加權(quán)細(xì)化融合圖模塊焙糟，動態(tài)捕捉不同視圖的容量差異，進(jìn)一步促進(jìn)了單個視圖和融合視圖的相互強(qiáng)化样屠。此外酬荞，提出的CAGL可以通過一個自訓(xùn)練的聚類模塊來學(xué)習(xí)一個專門的聚類表示搓劫。最后，開發(fā)了一個聯(lián)合優(yōu)化目標(biāo)來平衡每個模塊混巧，并在圖編解碼器的框架下迭代優(yōu)化所提出的CAGL。

With the development of information collection and processing technology, multi-view data with multiple types of features are pervasive in various application domains. For example, a text document can be analyzed by word, sentence, and paragraph or different languages. (Cross language text classification via subspace co-regularized multi-view learning)

Intro結(jié)構(gòu)記錄

• 多視圖數(shù)據(jù)介紹
• 圖表示的引入

The graph is widely used in representation learning as an important data structure to represent the relationship between various types of objects.

• 基于圖的多視圖聚類方法的介紹

Given the natural advantages of graph structure, graph-based multi-view clustering (GMC) has made impressive progress.

• 現(xiàn)有方法存在的缺點(diǎn)總結(jié)（因此本文提出了什么方法）

• 本文提出的解決方案的模塊化介紹
  

  整體流程圖可以由如下表示：
  flow chart
• 總結(jié)
• 文章的章節(jié)安排

方法淺析

數(shù)據(jù)定義：給定包含個視圖多視圖圖數(shù)據(jù)集勤揩，咧党，。即陨亡，視圖包含個樣本點(diǎn)傍衡，且對于視圖而言，其維度為负蠕。
除一個多視圖圖自編碼器之外蛙埂，整體的模型主要包含三個主要模塊，分別為基于注意權(quán)重的融合模塊遮糖，對比多視圖圖學(xué)習(xí)模塊绣的，以及一個自訓(xùn)練的聚類模塊。

• Multi-view graph encoder
  GCN每一層的計(jì)算可以寫成：
  其中欲账，為激活函數(shù)屡江，是正則化之后的對稱鄰接矩陣。為權(quán)重矩陣赛不。表示GCN的層數(shù)惩嘉。當(dāng)時，踢故。
  對于每個視圖的輸入文黎，都對應(yīng)著一個自己視圖的GCN圖編碼器。

• Att-weighted graph fusion module

  
  

對樣本特征進(jìn)行加權(quán)平均融合特征和對視圖特征拼接往往導(dǎo)致性能次優(yōu)殿较。因此耸峭，作者引入了注意力機(jī)制學(xué)習(xí)每個視圖的權(quán)重參數(shù)⌒敝基于該思想抓艳，模型可以對來自不同視圖的信息進(jìn)行利用，其計(jì)算方式如下：

• Contrastive multi-view graph learning module

  
  

在此基礎(chǔ)上位他，本模塊的目標(biāo)是實(shí)現(xiàn)在多個視圖中的共識信息的fine-modeling氛濒。本模塊對傳統(tǒng)的基于樣本的視圖對齊的對比學(xué)習(xí)方法：

• Self-training clustering module

  
  

• Multi-view graph decoder
  

  在該模塊，僅構(gòu)造了一個decoder去恢復(fù)個視圖對應(yīng)的圖的輸入后添。本文采用的是分別對每個視圖的進(jìn)行重構(gòu)笨枯，其損失函數(shù)寫成：
  關(guān)于視圖，其計(jì)算如下遇西。

• Joint loss
  

  由于提出的方法是基于圖編解碼器的框架馅精，因此可以通過一個聯(lián)合優(yōu)化目標(biāo)輕松地實(shí)現(xiàn)端到端學(xué)習(xí)。整體框架的優(yōu)化包含三個部分的學(xué)習(xí)目標(biāo)：
  其中粱檀，??1洲敢、??2、??3是調(diào)整各子損失函數(shù)之間的權(quán)重茄蚯。

總體而言压彭，其創(chuàng)新點(diǎn)主要是框架的集成和模塊化目標(biāo)的設(shè)計(jì)睦优。作為我的夢中情刊，竟然被我發(fā)現(xiàn)了好多錯誤壮不。汗盘。。但是不得不說忆畅，關(guān)于論文的組織結(jié)構(gòu)和語言的組織衡未，都很厲害。
大量的實(shí)驗(yàn)證明了該框架的有效性家凯。特別是關(guān)于參數(shù)敏感性學(xué)習(xí)的部分，對的維度如失，學(xué)習(xí)率绊诲，收斂性分析，以及l(fā)oss的參數(shù)(,,)（這里又出現(xiàn)了錯誤褪贵，明明說這3個參數(shù)都在[0,1]掂之，結(jié)果畫出的圖的坐標(biāo)竟然。脆丁。世舰。截圖為證）進(jìn)行了展示。

損失函數(shù)中權(quán)重的敏感性學(xué)習(xí)