Hu S, Zou G, Zhang C, et al. Joint contrastive triple-learning for deep multi-view clustering[J]. Information Processing & Management, 2023, 60(3): 103284.
模型動(dòng)機(jī)
(1)目前深度對(duì)比MVC模型只關(guān)注單方面的對(duì)比學(xué)習(xí)，例如：樣本特征級(jí)別或者類(lèi)簇級(jí)別的對(duì)比。(2)目前MVC大部分都是兩階段模型(?)肢础。
本文提出了一種端到端的多對(duì)比學(xué)習(xí)聯(lián)合的MVC框架逐工。
模型淺析
主要的模型流程為：
- 多個(gè)視圖會(huì)被喂入m個(gè)編碼器網(wǎng)絡(luò)來(lái)抽取視圖特有的特征盲厌，并采用了Transformer進(jìn)一步提升特征向量燎孟。
- 之后采用了三重對(duì)比學(xué)習(xí)坚俗，視圖權(quán)重學(xué)習(xí)以及數(shù)據(jù)聚類(lèi)三個(gè)模塊進(jìn)行聯(lián)合優(yōu)化镜盯，以獲取聚類(lèi)結(jié)果。
聯(lián)合對(duì)比的三重學(xué)習(xí)模塊
該模塊主要包含三個(gè)不同目標(biāo)的對(duì)比損失猖败，即feature-level alignment-oriented速缆，commonality-oriented CL losses, 以及 cluster-level consistency-oriented CL loss。前兩種損失的目的是對(duì)比不同特征級(jí)別的樣本的編碼特征表示恩闻，而最后一個(gè)是對(duì)視圖類(lèi)簇表示的對(duì)比艺糜。總體的損失函數(shù)如下：
- Alignment-oriented CL loss
該損失的目的是對(duì)齊特定視圖的特征表示，以便在一定程度上緩解不同視圖之間的異構(gòu)性侠草。
For the deep MVC, each data sample is described by different views andthus the positive and negative pairs are naturally formed. (真的有人這么寫(xiě)Ｈ杌印！) In other words, each sample has one set of observations from different views that are related to it in multi-view clustering. Thus, the same data samples from different views can be naturally drawn as positive pairs, while the remaining sample pairs (i.e., different samples within each view or across different views) are drawn as negative pairs.
首先边涕，計(jì)算了兩個(gè)特征表示之間的余弦相似度：
- Commonality-oriented CL loss
該損失試圖通過(guò)對(duì)比由兩層MLP網(wǎng)絡(luò)獲得的不同特征矩陣的行級(jí)特征宠蚂，來(lái)學(xué)習(xí)多個(gè)視圖之間的特征級(jí)共性。
- Consistency-oriented CL loss
該損失是為了通過(guò)對(duì)比由兩層MLP網(wǎng)絡(luò)和一個(gè)softmax函數(shù)獲得的多個(gè)視圖的偽標(biāo)簽表示童社，來(lái)學(xué)習(xí)視圖之間的類(lèi)簇級(jí)一致性求厕。
隨著聯(lián)合訓(xùn)練算法迭代次數(shù)的增加，偽標(biāo)記的表示將會(huì)越來(lái)越正確扰楼。然而呀癣，這些偽標(biāo)記的結(jié)果并沒(méi)有作為最終的聚類(lèi)結(jié)果，只用于視圖一致性學(xué)習(xí)和判別特征表示學(xué)習(xí)弦赖。
View weight learning module
多視圖融合表示由加權(quán)的方式形成：
Data clustering module
這塊使用的是針對(duì)融合后表示的DDC聚類(lèi)損失币厕，其中包含三項(xiàng)列另，這里將不進(jìn)行贅述。
Optimization
提出的框架中的上述三個(gè)模塊是以端到端方式共同執(zhí)行的劈榨。通過(guò)以聯(lián)合優(yōu)化的方式運(yùn)行访递，該框架能夠獲得適當(dāng)?shù)钠胶猓⒆罱K獲得聚類(lèi)結(jié)果同辣。
部分實(shí)驗(yàn)設(shè)置
emmm...一直在思考第一種和第二種的feature-level的對(duì)比學(xué)習(xí)有什么不同拷姿？
