Zhaoliang Chen, Lele Fu, Jie Yao, Wenzhong Guo, Claudia Plant, Shiping Wang,
Learnable graph convolutional network and feature fusion for multi-view learning,
Information Fusion,
Volume 95,
2023,
Pages 109-119,
ISSN 1566-2535,
https://doi.org/10.1016/j.inffus.2023.02.013.
摘要導(dǎo)讀
在實際應(yīng)用中，從不同角度描述目標的多視圖數(shù)據(jù)可以促進學(xué)習(xí)算法的準確性提高简僧。然而王滤，在多視圖數(shù)據(jù)的場景下，通過圖卷積網(wǎng)絡(luò)同時學(xué)習(xí)節(jié)點關(guān)系和圖信息的工作，近年來引起了大量研究者的關(guān)注∧杌郏現(xiàn)有的方法大多只考慮鄰接矩陣的加權(quán)和蜂挪，而特征融合和圖融合的聯(lián)合神經(jīng)網(wǎng)絡(luò)仍有待充分探索。為了解決這些問題垦江，本文提出了一種聯(lián)合深度學(xué)習(xí)框架帽馋，即可學(xué)習(xí)的圖卷積網(wǎng)絡(luò)和特征融合框架（LGCN-FF），它包括特征融合網(wǎng)絡(luò)和可學(xué)習(xí)圖卷積網(wǎng)絡(luò)兩個組件。前者的目的是從異構(gòu)視圖中學(xué)習(xí)潛在的特征表示绽族，而后者通過可學(xué)習(xí)權(quán)權(quán)重和稱為可微收縮激活（DSA）的帶參的激活函數(shù)探索更具區(qū)分性的融合圖表示姨涡。
從圖中可以看出，該框架是將特征融合和圖融合統(tǒng)一到了一個聯(lián)合學(xué)習(xí)的框架中吧慢，除此之外涛漂，把框架中的很多東西都做成了可學(xué)習(xí)的形式，使得整個框架更為靈活检诗。
模型淺析
為了共同學(xué)習(xí)特征融合和圖融合匈仗，本文提出了一個端到端統(tǒng)一的神經(jīng)網(wǎng)絡(luò)框架，由兩個主要組件組成：特征融合網(wǎng)絡(luò)（Feature Fusion Network）和可學(xué)習(xí)的GCN（Learnable Graph Convolutional Network）逢慌。
- Feature Fusion Network
- 將原始多視圖表示映射到共享的隱藏空間悠轩。這里使用稀疏自編碼器來探索所有視圖的過完備的潛在表示。每個視圖對應(yīng)于一個特定于視圖的稀疏自編碼器攻泼，這些稀疏自編碼器將原始特征映射到具有相同維度的稀疏空間火架。對應(yīng)于
-th視圖的第
層定義為如下形式：
和
分別為權(quán)重和偏置。其對應(yīng)的損失函數(shù)為
其中忙菠，是保持稀疏性的值何鸡，
則是隱藏神經(jīng)元激活分布的平均值。
- 為了將不同角度的隱藏特征融合到一個共享的特征向量中只搁，進一步利用一個全連接的神經(jīng)網(wǎng)絡(luò)來進行特征融合任務(wù)音比。假設(shè)在這個MLP網(wǎng)絡(luò)中共有
層，第
其中氢惋，這里將
作為一個可學(xué)習(xí)的輸入洞翩。將
，對應(yīng)的重構(gòu)損失為：
假設(shè)每個單一視圖的特征可以通過全連通網(wǎng)絡(luò)中的可訓(xùn)練的共同表示被視為異構(gòu)視圖之間重構(gòu)誤差的權(quán)衡骚亿，并對共享的潛在特征進行了探索。
- Learnable Graph Convolutional Network
在這部分提出了一個可學(xué)習(xí)的GCN熊赖，自動集成了由多個視圖生成的鄰接矩陣来屠，并學(xué)習(xí)了一個包含更具有區(qū)別性的節(jié)點關(guān)系的圖。
- 首先對各視圖的鄰接矩陣做自適應(yīng)的加權(quán)和：其中初始的鄰接矩陣圖由KNN進行初始化震鹉，可學(xué)習(xí)視圖參數(shù)
由softmax進行重新歸一化俱笛。
然而，鄰接矩陣的直接加權(quán)和對于多視圖圖學(xué)習(xí)可能不夠可行传趾，因為所有圖的線性加權(quán)和可能會在融合圖中的節(jié)點之間產(chǎn)生不希望的連接迎膜。此外，由于鄰域關(guān)系是由KNN估算的浆兰，這可能不夠準確磕仅，需要采用數(shù)據(jù)驅(qū)動的修正過程珊豹，在不破壞原始圖的結(jié)構(gòu)和特征信息的情況下，探索更全面的圖融合榕订。 - 使用Differentiable Shrinkage Activation（DSA）
來修正權(quán)重鄰接矩陣店茶。GCN所用到的圖都是無向圖，因此可以保證
也是對稱的劫恒。由此贩幻，可學(xué)習(xí)的DSA定義為如下：
是一個參數(shù)化的可學(xué)習(xí)矩陣。由系數(shù)矩陣
的定義可知兼贸，各節(jié)點之間的關(guān)系可以被收縮到[0, 1]段直。
進一步，為了減少數(shù)據(jù)的局部噪聲溶诞，構(gòu)建一個稀疏圖，被看作以一個閾值矩陣來控制兩個節(jié)點之間的邊是否存在决侈。
螺垢，
是可學(xué)習(xí)的向量，Sigmoid
來保證在閾值的非負性赖歌。
- 根據(jù)
被隨機初始化用于計算
摩瞎。即饱普，在上一個模塊中獲得的可訓(xùn)練的
：
- 半監(jiān)督分類任務(wù)中，可訓(xùn)練的GCN的損失函數(shù)被定義為在有標簽數(shù)據(jù)樣本集合
上的交叉熵損失惶凝，
其中吼虎，是由
苍鲜。
- 優(yōu)化策略
可以看出所提出的LGCN-FF是一種采用多步驟優(yōu)化方法的端到端神經(jīng)網(wǎng)絡(luò)框架思灰。單個優(yōu)化目標無法聯(lián)合優(yōu)化所有的變量，因此論文中使用的是ADM策略將優(yōu)化分為了四個步驟：
- 優(yōu)化稀疏自編碼中的權(quán)重和偏置
- 優(yōu)化MLP網(wǎng)絡(luò)fc中的權(quán)重和偏置
- 優(yōu)化可訓(xùn)練的輸入
- 優(yōu)化可學(xué)習(xí)的GCN中的參數(shù)
在一個獨立的訓(xùn)練迭代中坡贺，每一步執(zhí)行一步向前傳播官辈，然后用固定的不相關(guān)變量進行反向傳播（控制變量法）箱舞。雖然所表述的問題在同一迭代中分別進行優(yōu)化，前一個優(yōu)化的輸出成為后一個優(yōu)化的輸入拳亿，但整個框架采用ADM策略進行組織晴股，使每個凸子問題都能有效地解決。
挖個ADM優(yōu)化策略的坑后續(xù)填肺魁。电湘。
