Wang Y, Chang D, Fu Z, et al. Consistent multiple graph embedding for multi-view clustering[J]. IEEE Transactions on Multimedia, 2021.
摘要導(dǎo)讀
基于圖的多視圖聚類旨在在多個(gè)視圖中獲得數(shù)據(jù)的劃分狐榔，在近年來受到了廣泛關(guān)注。雖然已經(jīng)為基于圖的多視圖聚類做出了很大的努力，但是將各個(gè)視圖的特征融合到一起以學(xué)習(xí)用于聚類的共同表示仍然是具有挑戰(zhàn)性的炎辨。本文提出了一種新穎的一致性多圖嵌入聚類框架(CMGEC)壹店。具體來說姊氓，設(shè)計(jì)了一個(gè)多圖自編碼器(M-GAE)在讶，使用多圖注意力融合編碼器靈活地編碼多視圖數(shù)據(jù)的互補(bǔ)信息名挥。為了引導(dǎo)學(xué)習(xí)到的共同表示維持每個(gè)視圖中鄰近特征的相似性瓮顽，引入了多視圖互信息最大化模塊(MMIM)县好。此外，設(shè)計(jì)了一個(gè)圖融合網(wǎng)絡(luò)(GFN)暖混，用于探索不同視圖的圖之間的關(guān)系缕贡，并提供M-GAE所需的共識圖。通過聯(lián)合訓(xùn)練這些模型拣播，可以獲得共同表示晾咪，該表示編碼了更多的多視圖互補(bǔ)信息，并更全面地描述了數(shù)據(jù)贮配。
模型淺析
提出的CMGEC谍倦，主要由三個(gè)部分組成 : Multiple Graph Auto-Encoder(M-GAE), Multi-view Mutual Information Maximization module (MMIM), and Graph Fusion Network (GFN).
- M-GAE
- Multi-Graph Attention Fusion Encoder
每個(gè)視圖都對應(yīng)一個(gè)GCN層，以作為輸入得到第一層的
的表示：
為了自適應(yīng)的融合不同視圖的樣本泪勒，通過MLP層引入了一個(gè)度量視圖重要性的系數(shù)矩陣昼蛀。由此，由multi-graph attention fusion layer獲得的公共表示的操作如下：
從操作可以看出圆存，各視圖之間共享了同一個(gè)MLP層叼旋，得到融合的。在此基礎(chǔ)上沦辙，又疊加了一層GCN用來獲取最終的共有表示
：
是由GFN得到的共識圖送淆，
。
- View-Specific Graph Decoders
用共有表示是第
個(gè)視圖的可學(xué)習(xí)矩陣怕轿。
- Reconstruction Loss
計(jì)算原始和
之間的差異性：
- Graph Fusion Network
作者這里使用的是一個(gè)全連接層來獲取不同視圖之間的關(guān)系以獲取全局的節(jié)點(diǎn)關(guān)系偷崩，最終結(jié)果是產(chǎn)生一個(gè)共識圖層的圖融合網(wǎng)絡(luò)表示如下：
對于該網(wǎng)絡(luò)的第一層而言撞羽，使用的是multi-graph fusion layer阐斜，也就是說，每個(gè)視圖先有一組自己的矩陣诀紊，然后使用共享的
（與前序的
為結(jié)合每個(gè)圖中的特征使得獲得的共識是譜聚類的優(yōu)化目標(biāo)，詳情可以查看博客https://www.cnblogs.com/xingshansi/p/6702174.html，這里不進(jìn)行贅述笤喳。顯然为居，得到的
- Multi-View Mutual Information Maximization
根據(jù)譜聚類的性質(zhì)膳凝，樣本之間的信息用來引導(dǎo)AE來學(xué)習(xí)聚類友好的表示。其主要的假設(shè)是恭陡，如果樣本和
在任一視圖中較為接近蹬音，那么其對應(yīng)的共有空間中的表示
和
也是接近的。因此休玩，其MMIM目標(biāo)描述為：max{
}著淆，其損失函數(shù)表示為：
。因?yàn)镵L無上界拴疤，作者使用了JS散度(https://yongchaohuang.github.io/2020-07-08-kl-divergence/)來代替牧抽。即：
。根據(jù)變分估計(jì)遥赚，兩個(gè)分布p(x)和q(x)之間的JS散度可以表示為
然后使用判別器區(qū)分負(fù)樣本對和正樣本對，用來估計(jì)正樣本的分布阐肤。（感覺這個(gè)變形下來凫佛，轉(zhuǎn)眼就變成了binaryCrossEntropy？孕惜？愧薛？？）
最終的損失函數(shù)變成了：
第一次看到用MLP進(jìn)行圖融合的衫画，感覺很有意思毫炉。其中的一些小trick還是很有趣，比如說參數(shù)共享的multi-graph attention fusion layer削罩。
