文 | 全世界最乖巧的小豬
Graph CNN for Survival Analysis on Whole Slide Pathological Images
這篇論文是基于上一篇論文 | 圖網(wǎng)絡(luò)理論之AGCN在WSI病理圖像上的應(yīng)用，發(fā)表于MICCAI2018蔫劣，下載地址：沒有下載地址煌妈。這里介紹主要方法柑营。
1 WSI圖構(gòu)建
給定從WSI采樣的patch圖像集合涮帘，要先去掉在邊界區(qū)域的只包含很少細(xì)胞的patch顶瞳，所以每個(gè)WSI的基數(shù)||P||都不一樣独令。因此摔桦，WSI建立的圖的尺寸就都不一樣社付。將patch作為結(jié)點(diǎn)，結(jié)點(diǎn)特征由ImageNet預(yù)訓(xùn)練的VGG-16生成邻耕。由于缺少patch標(biāo)簽鸥咖，無法用patch進(jìn)一步微調(diào)網(wǎng)絡(luò)。本文將在下一章介紹圖CNN模型如何緩解這一缺陷兄世。圖的邊是通過設(shè)定一對(duì)patch之間歐式距離的閾值來構(gòu)建的（這是初始圖）啼辣，是用VGG16的輸出壓縮成128維特征計(jì)算得到，壓縮是用PCA在訓(xùn)練集和測(cè)試集上分別單獨(dú)進(jìn)行的碘饼。DeepGraphSurv模型結(jié)構(gòu)如圖1所示熙兔。
2 譜圖卷積
這里依舊跳過我們都很熟了的譜圖卷積悲伶。用普通GCN有個(gè)缺陷，初始WSI圖是基于patch特征建立的住涉，VGG16特征提取器沒有在WSIpatches上微調(diào)麸锉，因?yàn)槿鄙賞atch標(biāo)簽，因此初始圖可能無法正確表示W(wǎng)SIpatches之間的拓?fù)浣Y(jié)構(gòu)舆声。
3 生存特定圖
初始圖的缺陷是由于特征網(wǎng)絡(luò)訓(xùn)練不足造成的花沉。有兩個(gè)問題：1）網(wǎng)絡(luò)用了無關(guān)監(jiān)督（i.e ImageNet標(biāo)簽），2）網(wǎng)絡(luò)沒有在病例圖像上微調(diào)媳握。最好patch特征可以用生存審查標(biāo)簽進(jìn)行微調(diào)碱屁。所以本文設(shè)計(jì)了一個(gè)獨(dú)立的圖和
（Laplacian）去描述特定的生存相關(guān)的WSIpatches之間的拓?fù)潢P(guān)系[13，15](這里就用了AGCN的方法)蛾找。
在每個(gè)WSI上單獨(dú)學(xué)習(xí)娩脾。由于不同WSI圖的大小和拓?fù)浣Y(jié)構(gòu)不同，直接學(xué)習(xí)
不現(xiàn)實(shí)打毛。因此學(xué)習(xí)mahalanobis距離度量M來評(píng)估邊連接柿赊，M隨機(jī)初始化。為了加速收斂幻枉，我們讓初始圖作為正則項(xiàng)碰声，最后的圖Laplacian將是：
，圖卷積：
然后是重參數(shù)化：熬甫。模型參數(shù){
}通過生存損失函數(shù)的反向傳播被更新胰挑，生存損失函數(shù)保證了微調(diào)特征和圖結(jié)構(gòu)對(duì)于生存分析目的來說是最好的。
4 圖注意力機(jī)制
通常來說WSI中只有幾個(gè)局部RoI關(guān)系到生存分析椿肩。隨機(jī)采樣不能保證patched都來自RoI.（所以我們要想想能不能在采樣的時(shí)候就采得更好瞻颂？？）注意力機(jī)制提供了一種通過學(xué)習(xí)重要性來適應(yīng)性地選取patch覆旱。在模型中蘸朋，有一個(gè)并行網(wǎng)絡(luò)基于結(jié)點(diǎn)特征來學(xué)習(xí)結(jié)點(diǎn)的注意力。這個(gè)網(wǎng)絡(luò)包括兩個(gè)提出的GCN層扣唱，輸出是結(jié)點(diǎn)注意力值.給定學(xué)習(xí)到的注意力，輸出R是每個(gè)結(jié)點(diǎn)n的Yn加權(quán)求和：
如上所示团南，在graph gather層噪沙，注意力乘結(jié)點(diǎn)預(yù)測(cè)。注意力網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)共同訓(xùn)練吐根。模型直接生成預(yù)測(cè)風(fēng)險(xiǎn)正歼。整合生存風(fēng)險(xiǎn)回歸和圖特征學(xué)習(xí)。損失函數(shù)：
