Semantically Consistent Multi-view Representation Learning (KBS2023, on line)
摘要導(dǎo)讀
該項(xiàng)工作致力于無監(jiān)督多視圖表示學(xué)習(xí)（UMRL察皇，Unsupervised Multi-view Representation Learning）這一具有挑戰(zhàn)性的任務(wù)，要求以無監(jiān)督的方式從多個(gè)視圖中學(xué)習(xí)統(tǒng)一的特征表示》海現(xiàn)有的 UMRL 方法主要集中在特征空間的學(xué)習(xí)過程嗜闻，而忽略了隱藏在不同視圖中的寶貴語義信息因篇。針對(duì)這一問題，本文提出了一種新穎的語義一致性多視圖表示學(xué)習(xí)（SCMRL）框架咐吼，該方法致力于挖掘底層的多視圖語義共識(shí)信息商佑，并利用這些信息指導(dǎo)統(tǒng)一特征表示學(xué)習(xí)。具體來說晚碾，SCMRL 包括一個(gè)視圖內(nèi)重構(gòu)模塊和一個(gè)統(tǒng)一特征表征學(xué)習(xí)模塊喂急，這兩個(gè)模塊通過對(duì)比學(xué)習(xí)策略巧妙地整合在一起廊移，使特定視圖特征表征和學(xué)習(xí)到的統(tǒng)一特征表征的語義標(biāo)簽同時(shí)保持一致。這樣懂诗，就能有效利用語義空間中的共識(shí)信息來約束統(tǒng)一特征表征的學(xué)習(xí)過程苗膝。在下游聚類和分類任務(wù)上展現(xiàn)出了出色性能辱揭。
模型淺析
數(shù)據(jù)定義
給定多視圖數(shù)據(jù)包含
個(gè)視圖界阁，其中第
個(gè)視圖對(duì)應(yīng)的原始特征空間為
胖喳。其中
和
分別表示樣本的個(gè)數(shù)和特征空間的維度丽焊。整個(gè)模型的目標(biāo)是學(xué)習(xí)統(tǒng)一的多視圖特征表示
。
模型
-
總體損失：
為視圖內(nèi)重構(gòu)損失写穴，
是統(tǒng)一特征表示學(xué)習(xí)中退化學(xué)習(xí)的損失啊送，
是語義一致性損失欣孤。
和
是平衡因子降传。
-
視圖內(nèi)重構(gòu)
對(duì)于多視圖數(shù)據(jù)的每個(gè)視圖，設(shè)置視圖特有的視圖自編碼器學(xué)習(xí)各自的視圖表示声旺。對(duì)于視圖，給定樣本
其對(duì)應(yīng)的中間層表示為：
得到的中間層表示被送入解碼器中得到最終的重構(gòu)特征：因此，這一部分的重構(gòu)損失定義為如下： -
統(tǒng)一的特征表示學(xué)習(xí)
通過視圖內(nèi)重構(gòu)幔妨，得到了視圖表示的集合误堡。理想中的統(tǒng)一特征表示應(yīng)該包含多視圖完整的信息雏吭，因此，每個(gè)視圖都應(yīng)該用于構(gòu)建統(tǒng)一的特惠裝呢個(gè)表示悉抵。為了學(xué)習(xí)該表示摘完，本文作者引入了退化學(xué)習(xí)的策略孝治。具體來說，該損失表示為：
其中表示由
參數(shù)化的第
在學(xué)習(xí)的過程中可以被更新杭措∈炙兀基于上式，統(tǒng)一的特征表示學(xué)習(xí)可以動(dòng)態(tài)的平衡不同視圖的重要性稿黍，并且達(dá)到整合低維視圖特有特征表示的目的祠斧。
論文中使用視圖平均的方式對(duì)統(tǒng)一特征表示進(jìn)行初始化， -
語義一致的對(duì)比學(xué)習(xí)
然而呢灶，前兩個(gè)模塊的學(xué)習(xí)都是在特征空間中的钉嘹，為了挖掘有價(jià)值的語義共識(shí)信息跋涣，作者引入了語義一致性的對(duì)比學(xué)習(xí)。首先奖年，引入了一個(gè)共享的分類網(wǎng)絡(luò)沛贪。由此可以假設(shè)
維的語義空間中燥，該操作形式化為如下：
為方便描述疗涉，文中將記為
式塌。每個(gè)
表示為：
其中為在第
個(gè)視圖中峰尝，第
由于多視圖數(shù)據(jù)的性質(zhì)伦意，每個(gè)視圖在語義空間中可能會(huì)包含混淆的語義信息，可能會(huì)導(dǎo)致不同的分類結(jié)果熏矿。因此，文中引入了對(duì)比學(xué)習(xí)來挖掘一致的語義信息褪储，同時(shí)獲取到一致的類別慧域。具體來說昔榴，語義列向量有
組向量對(duì)。其中包含
個(gè)正例對(duì)
吱肌，以及
個(gè)負(fù)例對(duì)岩榆。
給定視圖對(duì)對(duì)應(yīng)的對(duì)比損失如下：
其中列向量的相似度的計(jì)算使用的是余弦相似度勇边，是溫度參數(shù)折联。
對(duì)于對(duì)比學(xué)習(xí)而言诚镰，每?jī)蓚€(gè)視圖之間都可以構(gòu)成語義對(duì)比，因此月杉，整個(gè)數(shù)據(jù)集的語義對(duì)比損失可以寫成如下的形式：為避免所有的樣本都分到相同的類簇中苛萎，文章還引入了類簇的正則化項(xiàng)：
該模塊的整體損失表示為：
算法優(yōu)化
輸入：多視圖數(shù)據(jù)集腌歉；
翘盖；類簇個(gè)數(shù)
輸出：統(tǒng)一的特征表示
1. 通過重構(gòu)損失訓(xùn)練各視圖的自編碼器（AE的預(yù)訓(xùn)練過程）
2. 使用視圖平均表示初始化 H
3. while not converged do
4. 使用預(yù)訓(xùn)練的編碼器部分獲得各視圖低維表示 Z
5. 使用語義分類器獲取(m+1)個(gè)標(biāo)簽分布 Q
6. 使用整體損失對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行更新
7. end
總結(jié)
通過引入語義一致性對(duì)比學(xué)習(xí)凹蜂，本文將視圖內(nèi)重構(gòu)與統(tǒng)一特征表征學(xué)習(xí)結(jié)合起來，并探索語義空間中有價(jià)值的共識(shí)語義信息汰瘫，以指導(dǎo)整個(gè)網(wǎng)絡(luò)的學(xué)習(xí)過程吟吝。
