Xia W, Wang S, Yang M, et al. Multi-view graph embedding clustering network: Joint self-supervision and block diagonal representation[J]. Neural Networks, 2022, 145: 1-9.
摘要概述
本文提出了一種多視圖圖嵌入聚類網(wǎng)絡(luò)(MVGC)以彌補(bǔ)多視圖聚類和圖聚類之間的Gap蘸鲸。具體來說泉褐，與傳統(tǒng)的多視圖構(gòu)造方法只適用于描述歐幾里得結(jié)構(gòu)數(shù)據(jù)不同苦丁，本文利用歐拉變換來增強(qiáng)節(jié)點(diǎn)屬性，作為一個(gè)新的視圖描述肮塞，用于非歐幾里得結(jié)構(gòu)數(shù)據(jù)（即構(gòu)建圖數(shù)據(jù)）逗柴。同時(shí)诸狭，使用?1,2-范數(shù)施加塊對(duì)角線對(duì)自表示稀疏矩陣進(jìn)行約束先鱼，以很好地探索聚類結(jié)構(gòu)。此外适瓦，利用學(xué)習(xí)到的聚類標(biāo)簽來指導(dǎo)節(jié)點(diǎn)表示和系數(shù)矩陣的學(xué)習(xí)竿开，然后用系數(shù)矩陣進(jìn)行后續(xù)的聚類。提出的方法實(shí)現(xiàn)了表示學(xué)習(xí)和聚類的連接優(yōu)化玻熙，避免了次優(yōu)解的出現(xiàn)否彩。
In this way, clustering and representation learning are seamlessly connected, with the aim to achieve better clustering performance.
-
考慮塊對(duì)角線表示對(duì)于聚類的學(xué)習(xí)
使用聚類標(biāo)簽指導(dǎo)表示學(xué)習(xí)
符號(hào)定義
模型淺析
結(jié)合圖中給出的5個(gè)部分的loss來進(jìn)行對(duì)模型的描述列荔。
-
Attribute augmentation
根據(jù)多視圖數(shù)據(jù)的特點(diǎn)，本文認(rèn)為現(xiàn)有的特征提取方法直接構(gòu)建多個(gè)屬性是一種簡單而有效的方法枚尼。作者受核技巧可以捕獲非線性特征的特點(diǎn)啟發(fā)贴浙，提出使用歐拉變換來構(gòu)建圖結(jié)構(gòu)數(shù)據(jù)。給定視圖的樣本
署恍，
為該視圖的數(shù)據(jù)維度崎溃。其變換公式如下，
其中盯质，是一個(gè)參數(shù)袁串，它被調(diào)整以抑制由異常值引起的值概而。
通過以上操作，可以得到一個(gè)新的節(jié)點(diǎn)屬性矩陣囱修，原始節(jié)點(diǎn)屬性為
赎瑰。由此，單視圖的圖結(jié)構(gòu)數(shù)據(jù)被拓展為多視圖數(shù)據(jù)破镰。
-
Multi-view node subspace clustering module
該模塊的目的是學(xué)習(xí)一個(gè)由多個(gè)視圖共享的系數(shù)表示餐曼，然后將節(jié)點(diǎn)分配到這個(gè)新子空間中的K個(gè)簇中的一個(gè)。通過將每個(gè)視圖的節(jié)點(diǎn)表示和圖結(jié)構(gòu)
傳入一個(gè)兩層的圖卷積編碼器啤咽，得到
：
（1）自表示學(xué)習(xí)模塊
為了使該模塊對(duì)下游的聚類更加友好晋辆，在此使用自表示學(xué)習(xí)模塊來學(xué)習(xí)一個(gè)共享的自表示系數(shù)表示。
為了確保學(xué)習(xí)到的節(jié)點(diǎn)表示保留了足夠的圖結(jié)構(gòu)信息宇整，將第
個(gè)視圖的新表示
隨后輸入內(nèi)積解碼器用于預(yù)測兩個(gè)節(jié)點(diǎn)之間是否存在鏈接。
（2）一致性表示約束
為了確保模型能夠在不同的視圖之間學(xué)習(xí)到一個(gè)一致的子空間
經(jīng)過上述步驟，可以學(xué)習(xí)到一個(gè)較為滿意的自表示系數(shù)矩陣然后用于normalized cut譜聚類臂拓。 -
Block diagonal representation constraint
同時(shí)作者希望學(xué)習(xí)到的系數(shù)矩陣對(duì)應(yīng)于屬于j-th類簇的樣本表示
霞溪。因此孵滞，引入?1,2范數(shù)來約束
通過最小化上式，第行
的平方?1范數(shù)中的不同元素相互競爭鸯匹，使得
-
Dual self-supervised mechanism
在該模塊中染厅，本文使用聚類標(biāo)簽分別對(duì)自表示
（1）對(duì)隱含表示的自監(jiān)督
這部分主要通過構(gòu)造一個(gè)自分類模型將來實(shí)現(xiàn)對(duì)
的利用。主要包含兩種分類的交叉熵?fù)p失肖粮，和類簇中心到分類表示（軟分配）之間的距離（有助于壓縮簇內(nèi)變化）
（2）對(duì)自表示進(jìn)行自監(jiān)督
該部分利用最后一次迭代產(chǎn)生的聚類標(biāo)簽個(gè)節(jié)點(diǎn)具有相同的簇標(biāo)簽時(shí)散庶，
才非零蕉堰。最后一次迭代得到的聚類結(jié)果可以為系數(shù)矩陣
其中表示偽標(biāo)簽對(duì)應(yīng)的向量表示。
-
總體損失和細(xì)節(jié)
根據(jù)前序模塊的設(shè)定须教，模型的總體損失如下：
關(guān)于聚類標(biāo)簽的對(duì)齊皿渗，這里也是采用了匈牙利算法進(jìn)行了最優(yōu)的對(duì)齊。并且轻腺，類簇標(biāo)簽的調(diào)節(jié)是每5個(gè)epoch進(jìn)行更新乐疆，以保證模型的穩(wěn)定性。
另外贬养，關(guān)于自表示模塊的對(duì)角線為0的約束挤土，也采用小trick來簡化：（以tf1.x代碼展示）總體的算法流程如下：約束trick
感覺在表示學(xué)習(xí)這一塊，由于多視圖的良好特性误算，很多工作都通過數(shù)據(jù)增強(qiáng)等模式對(duì)原有的單視圖數(shù)據(jù)進(jìn)行增強(qiáng)以擴(kuò)展到多視圖進(jìn)行訓(xùn)練仰美。本文的最大啟發(fā)在于對(duì)角塊約束的引入和對(duì)偽標(biāo)簽的利用。該思路既可以用于在行列學(xué)習(xí)之間建立關(guān)聯(lián)關(guān)系儿礼，也使得聚類可以對(duì)學(xué)習(xí)進(jìn)行反調(diào)咖杂，是對(duì)DEC聚類層及其變體（如）的一種簡化。
