Liu Y, Yang X, Zhou S, et al. Simple Contrastive Graph Clustering[J]. arXiv preprint arXiv:2205.07865, 2022.
摘要導(dǎo)讀
復(fù)雜的數(shù)據(jù)增強(qiáng)（ complicated data augmentations）和較為耗時(shí)的圖卷積操作（time-consuming graph convolutional operation）影響了對(duì)比學(xué)習(xí)在圖聚類的應(yīng)用。對(duì)此，本文聚焦網(wǎng)絡(luò)結(jié)構(gòu)猴鲫、數(shù)據(jù)增強(qiáng)和目標(biāo)函數(shù)三個(gè)方面鸡挠，提出了一個(gè)簡(jiǎn)單的對(duì)比圖聚類結(jié)構(gòu)报亩。該結(jié)構(gòu)分為預(yù)處理和網(wǎng)絡(luò)backbone兩個(gè)部分羹唠。
從結(jié)構(gòu)上來說，本文使用了一個(gè)簡(jiǎn)單的低通去噪操作將鄰居信息聚合作為一個(gè)獨(dú)立的預(yù)處理操作像樊，骨干（backbone）部分只包括兩個(gè)多層感知器（MLP）眷唉。
對(duì)于數(shù)據(jù)增強(qiáng)予颤，通過設(shè)計(jì)參數(shù)不共享的連體編碼器和直接corrupt節(jié)點(diǎn)嵌入來構(gòu)建同一頂點(diǎn)的兩個(gè)增強(qiáng)視圖。
最后冬阳，在目標(biāo)函數(shù)方面蛤虐，為了進(jìn)一步提高聚類性能，設(shè)計(jì)了一個(gè)新的跨視圖結(jié)構(gòu)一致性目標(biāo)函數(shù)摩泪，以提高網(wǎng)絡(luò)的判別能力。
模型淺析
- 相關(guān)說明和問題定義
是來自
個(gè)類簇的
個(gè)節(jié)點(diǎn)劫谅，
為這些節(jié)點(diǎn)所對(duì)應(yīng)的邊见坑。矩陣
和
分別為屬性矩陣和原始的鄰接矩陣嚷掠。圖
被記為無向圖。
為度矩陣荞驴，
不皆。圖的拉普拉斯矩陣
。根據(jù)對(duì)應(yīng) 的重正則化技巧熊楼，
是加入自環(huán)的鄰接矩陣霹娄，因此對(duì)應(yīng)改變了
的計(jì)算，得到了對(duì)應(yīng)的
和
鲫骗，此時(shí)對(duì)稱的正則圖拉普拉斯矩陣可以重新計(jì)算：
-
本文的任務(wù)是使用無監(jiān)督的方式學(xué)習(xí)面向聚類的節(jié)點(diǎn)embedding犬耻，在其上直接應(yīng)用k-means進(jìn)行聚類。模型的整體結(jié)構(gòu)如圖所示：
其流程主要包含三個(gè)部分执泰，低通去噪操作枕磁，結(jié)構(gòu)對(duì)比模塊，以及最后的聚類過程术吝。
- 低通去噪操作
已經(jīng)有文獻(xiàn)指出（Adaptive graph encoder for attributed graph embedding & Deeper insights into graph
convolutional networks for semi-supervised learning & Simplifying graph convolutional networks）计济，拉普拉斯濾波器（Laplacian filter）可以實(shí)現(xiàn)和圖卷積類似的效果。受其啟發(fā)排苍，本文引入低通去噪操作來進(jìn)行近鄰信息的聚合沦寂，該過程是獨(dú)立于后續(xù)模塊的獨(dú)立操作。使用的濾波器公式如下：其中淘衙，是前序提到的對(duì)稱正則的圖拉普拉斯矩陣传藏，
為實(shí)值，這里固定為
幔翰。該部分采用了堆疊
層拉普拉斯過濾器：
為平滑過后的屬性矩陣。通過該低通去噪操作遗增，屬性中的高頻噪聲會(huì)被過濾掉叫惊，從而可以提高聚類的性能和訓(xùn)練的效率。
- 結(jié)構(gòu)對(duì)比模塊
該模塊的目的是保持兩個(gè)不同視圖表示的結(jié)構(gòu)一致性做修，以提高網(wǎng)絡(luò)的辨別能力霍狰。
通過設(shè)計(jì)兩個(gè)結(jié)構(gòu)一致但參數(shù)不共享的MLP學(xué)習(xí)兩種不同的正則化的視圖表示：因此，和
可以在訓(xùn)練中學(xué)習(xí)到不同的語義信息饰及。
在此基礎(chǔ)上蔗坯，為了保證兩個(gè)視圖表示的差異性，對(duì)
在簡(jiǎn)化數(shù)據(jù)增強(qiáng)的操作之上燎含，本文還設(shè)計(jì)了一個(gè)面向近鄰的對(duì)比損失來確北霰簦跨視圖之間的結(jié)構(gòu)一致性。首先需要計(jì)算兩個(gè)視圖之間的樣本相似性矩陣：
對(duì)于給定樣本數(shù)據(jù)而言屏箍，其鄰接矩陣只存在一個(gè)绘梦。因此橘忱，可以利用兩個(gè)增強(qiáng)視圖的相似性來構(gòu)造與輸入的損失而進(jìn)行自監(jiān)督學(xué)習(xí)。最簡(jiǎn)單的方式是強(qiáng)制跨視圖之間的相似性矩陣與自環(huán)鄰接矩陣是相等的卸奉，來保持結(jié)構(gòu)學(xué)習(xí)的一致性钝诚。
這里，將同一節(jié)點(diǎn)的跨視圖鄰居視為正樣本榄棵，而將其他非鄰居節(jié)點(diǎn)視為負(fù)樣本凝颇。具體而言，上述式子中的第一項(xiàng)迫使節(jié)點(diǎn)即使在兩個(gè)不同的視圖中也與它們的鄰居保持一致疹鳄，而第二項(xiàng)則使節(jié)點(diǎn)與其非鄰居之間的一致性最小化拧略。這種面向近鄰的對(duì)比目標(biāo)函數(shù)通過保持跨視圖結(jié)構(gòu)的一致性，提高了網(wǎng)絡(luò)的鑒別能力尚辑，從而提高了聚類性能辑鲤。 - 融合和聚類
前序?qū)W到了兩個(gè)增強(qiáng)視圖的節(jié)點(diǎn)嵌入表示所獲得的是面向聚類的節(jié)點(diǎn)表示杠茬。在此基礎(chǔ)上月褥，直接應(yīng)用k-means得出聚類結(jié)果。
- 整體算法流程
從論文給出的結(jié)果來看瓢喉，雖然沒有依賴KL的聚類回調(diào)聚類分配和特征表示宁赤，但是依然獲得了較好的效果，特別是在圖數(shù)據(jù)集上獲得了明顯的效果栓票。說明無論是低通去噪操作還是后續(xù)設(shè)計(jì)的面向近鄰的對(duì)比損失决左，對(duì)節(jié)點(diǎn)的表示學(xué)習(xí)是有很大作用的。特別是使用高斯噪聲對(duì)增強(qiáng)視圖的構(gòu)造方式走贪，不僅降低了計(jì)算成本佛猛，也降低了在數(shù)據(jù)增強(qiáng)中與的耦合性，很巧妙坠狡。
在組里之前的工作中也用到了類似的方式進(jìn)行損失的構(gòu)造继找，但是沒從對(duì)比學(xué)習(xí)的思路去思考。逃沿。感覺這是一個(gè)很好的啟發(fā)婴渡。
