3D Deep Leaky Noisy-or Network 論文閱讀

原文：Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network

博文參考：Doublle Tree的博客中Evaluate the Malignancy of Pulmonary Nodules Using the 3D Deep Leaky Noisy-or Network 論文閱讀一文调窍。

注：本文為2017年Kaggle舉辦的數(shù)據(jù)科學競賽中，第一名獲獎團隊的相關論文张遭，若需查看代碼可訪問Github邓萨。

簡介

根據(jù)CT圖像的肺癌自動診斷系統(tǒng)包含以下步驟：

1. 檢測所有可疑病變；
2. 評估整個肺部的惡性程度菊卷。

但目前大多數(shù)的研究主要集中于第一步缔恳，以及通過肺結(jié)節(jié)診斷肺癌存在較高的假陽性率。因此洁闰，肺癌的診斷需要對每個可疑結(jié)節(jié)進行細致分析褐耳，再聯(lián)合所有結(jié)節(jié)信息進行定性診斷。針對上述問題渴庆，本文提出了一個三維深度神經(jīng)網(wǎng)絡（3D deep neural network）用于解決這些問題铃芦。該網(wǎng)絡由兩部分組成：

1. 用于結(jié)節(jié)檢測的3D region proposal network雅镊；
2. 基于置信檢測（the detection confidence）選出top-5結(jié)節(jié)并評估其癌癥可能性，最后將此概率與Leaky noisy-or模型相結(jié)合評估患者患癌的可能性刃滓。

其中仁烹，上述兩個模型均采用修改后的U-net模型，并使用數(shù)據(jù)增強操作避免過擬合問題咧虎。

數(shù)據(jù)集和預處理

數(shù)據(jù)集

訓練集由LUNA16數(shù)據(jù)集（the Lung Nodule Analysis 2016）和NDSB3（Data Science Bowl 2017）數(shù)據(jù)集兩部分組成卓缰。其中，LUNA16數(shù)據(jù)集含有888個病例砰诵，標記了1186個肺結(jié)節(jié)征唬；在NDSB3數(shù)據(jù)集中，1397個病例用于訓練茁彭，198個病例用于驗證总寒，506個病例用于測試，且人工標注了訓練集中754個結(jié)節(jié)和驗證集中78個結(jié)節(jié)理肺。

對于LUNA16數(shù)據(jù)集摄闸，其存在許多較小的注釋結(jié)節(jié)，且臨床經(jīng)驗認為直徑6mm以下的肺結(jié)節(jié)無危險妹萨。但在NDSB3數(shù)據(jù)集中年枕，存在較多的大直徑結(jié)節(jié)且結(jié)節(jié)多與主支氣管相連。因此乎完，針對兩個數(shù)據(jù)集的差異熏兄，需去除LUNA16數(shù)據(jù)集中直徑6mm的結(jié)節(jié)，同時對NDSB3數(shù)據(jù)集進行人工標注树姨。

此處說明了Julian de Wit的解決方案中霍弹，直接設置結(jié)節(jié)直徑為6mm的原因，以及為何需對NDSB3數(shù)據(jù)集進行人工標注娃弓。

上圖為結(jié)節(jié)分布情況圖。其中岛宦，圖a為DSB（NDSB3）與LUNA（LUNA16）數(shù)據(jù)集中結(jié)節(jié)直徑分布情況台丛；圖b為DSB數(shù)據(jù)集中患癌患者與健康人群的最大結(jié)節(jié)直徑分布情況。

預處理

首先將所有的原始數(shù)據(jù)轉(zhuǎn)變?yōu)镠U值砾肺，如下圖a所示挽霉，再進行如下步驟：

1. 掩膜提取：在2D切片上变汪，首先使用標準差為1的高斯濾波和閾值為-600的處理得到肺部以及周圍較暗部分的掩膜侠坎，如上圖b所示，然后進行連通性分析去除小于的connected component和離心率大于0.99的部分（some high-luminance radial imaging noise）裙盾，再計算得到二值的3D矩陣中所有的3D connected component实胸，且僅保留非邊緣部分（用于去除肺部周圍較暗的部分）以及體積在0.68~7.5L之間的部分他嫡，結(jié)果如上圖c所示；

2. 凸包與擴張：若結(jié)節(jié)與肺的外壁相連庐完，則其將不會出現(xiàn)在上述提取的掩膜中钢属。因此，對于這種情況门躯，首先將肺部分為左右兩個部分淆党，即左肺與右肺，如上圖d所示讶凉。然后分別對左右肺進行凸包處理染乌，并向外擴張10像素，如上圖f所示懂讯。但對于一些2D切片而言荷憋，肺部的底部類似與月牙形，如下圖所示域醇。若對于該類型進行凸包處理后台谊，面積大于初始的1.5倍，則放棄凸包譬挚，從而避免引入過多的其他組織锅铅；

   
   
   

3. 灰度標準化：將HU值（[-1200, 600]）線性變換至0~255內(nèi)的灰度值，且掩膜以外的像素灰度值均設為170减宣，以及擴張區(qū)域內(nèi)的像素灰度值高于210則也設為170盐须。

用于結(jié)節(jié)檢測的3D卷積神經(jīng)網(wǎng)絡

該網(wǎng)絡是基于U-net的3D版RPN（Region Proposal Network）模型漆腌。

輸入數(shù)據(jù)

受限于顯存，輸入數(shù)據(jù)大小為闷尿，并隨機選擇兩種patch：一種為70%的輸入數(shù)據(jù)至少包含一個結(jié)節(jié)；另一種為30%的輸入數(shù)據(jù)不含結(jié)節(jié)填具。其中，patch超出圖像部分用灰度值為170填充劳景。

為了避免過擬合問題誉简，數(shù)據(jù)采用數(shù)據(jù)增強方法。

從輸入數(shù)據(jù)大小可看出盟广，本文作者采用的顯卡為專業(yè)卡闷串，其顯存大。鑒于此筋量，可根據(jù)實際情況將輸入數(shù)據(jù)大小調(diào)整為64或者32烹吵。

網(wǎng)絡結(jié)構(gòu)

網(wǎng)絡由前饋路徑和反饋路徑組成碉熄，如下圖圖a所示。

前饋路徑

以兩層卷積核為的卷積（channel為24）開始年叮，且padding為1具被；其后為4個殘差塊，其中每個殘差塊由3個殘差單元組成（如上圖圖b所示）只损，而每個殘差單元由卷積一姿、Batch Norm、ReLU激活函數(shù)跃惫、卷積和Batch Norm組成叮叹，且卷積核大小均為。除此之外爆存，每個殘差塊均有一個最大池化層蛉顽，大小為，步長為2先较。

反饋路徑

反饋路徑由兩層反卷積（裝置卷積）層和兩個融合單元構(gòu)成携冤。最后，由卷積核均為且channel為64和15的兩層卷積層將數(shù)據(jù)大小轉(zhuǎn)換為闲勺。

反卷積層

卷積核大小為2曾棕，步長為2。

注意該部分的代碼實現(xiàn)部分菜循，原始U-net網(wǎng)絡設置為不可學習翘地。

融合單元

每個融合單元（如上圖圖c所示）均由一個前饋blob和反饋blob組成，其結(jié)果作為殘差塊的輸入癌幕。

值得注意的一點衙耕，本文作者在此處引入了位置信息，作為額外的輸入數(shù)據(jù)勺远。

位置信息

proposal的位置信息可能影響是否為結(jié)節(jié)和是否為惡性的判斷橙喘，因而引入位置信息。

具體方法：對于每個patch胶逢，計算其相對位置坐標，并將其大小轉(zhuǎn)換為。

其中囊拜，位置坐標對應歸一化后的X冠跷，Y和Z軸（每個軸的取值范圍為-1～1身诺，對應于肺的兩端）霉赡。

輸出層

輸出數(shù)據(jù)為4D的tensor穴亏，嗓化，其中3表示anchor個數(shù)刺覆，5表示回歸量（史煎，即概率篇梭，三維坐標和bounding box直徑大小）充蓝。

其中谓苟，對于激活函數(shù)采用sigmoid函數(shù)涝焙，其余不使用任何激活函數(shù)孕暇。

損失函數(shù)

真值標簽為妖滔，每個anchor記為座舍，IoU（Intersection over Unit）大于0.5記為Positive，小于0.02記為False采蚀，其他在訓練過程中忽略。

分類損失為：

其中纲爸，為anchor box的真值標簽识啦，為預測概率袁滥。

bounding box回歸標簽為：

回歸總損失為：

其中题翻，為smoothed L1-norm函數(shù)：

對于每個anchor box的損失函數(shù)為：

最后嵌赠，整體的anchor box的損失函數(shù)為anchor box的損失值取平均姜挺。

正反例數(shù)據(jù)

正例數(shù)據(jù)

對于大結(jié)節(jié)而言炊豪，網(wǎng)絡會生成較多的positive anchor box拧篮，因此為了降低訓練數(shù)據(jù)之間的相關性串绩，隨機挑選其中一個。

由于結(jié)節(jié)直徑大小分布不均高氮，而NDSB3數(shù)據(jù)集多為大結(jié)節(jié)剪芍，因而對大于30mm和40mm的結(jié)節(jié)罪裹，采樣頻率分別是其他結(jié)節(jié)的2倍和6倍。

此處對于NDSB3競賽得分有利，實際是否可行有待商榷口芍。

反例數(shù)據(jù)

對于一些易誤診為結(jié)節(jié)的反例數(shù)據(jù)雇卷，通過使用hard negative mining方法解決关划。

具體方法為：

1. 將不同的patch輸入至網(wǎng)絡得到不同置信度的輸出映射；
2. 隨機選擇N個反例數(shù)據(jù)構(gòu)成候選池裤翩；
3. 侯選池中的數(shù)據(jù)以置信度值大小排序踊赠，且選出top-n的數(shù)據(jù)作為反例數(shù)據(jù)筐带。

未選中的數(shù)據(jù)忽略且不參與損失計算缤灵。

此處可借鑒該方法，盡可能降低假陽性率帖鸦，以及加速模型訓練富蓄。

圖像分割（測試過程）

輸入數(shù)據(jù)大小為立倍，overlap為32像素侣滩。

輸出數(shù)據(jù)為君珠，其中表示proposal中心坐標，表示其半徑大小毫缆，表示其置信度苦丁。

輸出數(shù)據(jù)且使用非極大值抑制操作來去除overlaping proposal物臂。

腫瘤分類

由于受限于訓練樣本數(shù)棵磷，因而復用結(jié)節(jié)檢測器階段的N-net網(wǎng)絡。

輸入數(shù)據(jù)為結(jié)節(jié)的proposal沉桌，大小均為蒲牧，其僅使用了結(jié)節(jié)中心點的信息赌莺。在分類器訓練階段艘狭，隨機挑選proposal，且其選中的概率與proposal的置信度成正比遵倦；在測試階段梧躺，只挑選top-5的proposal傲绣。

經(jīng)卷積核為的最后一個卷積層得到輸出結(jié)果秃诵；隨后提取每個proposal中心處的體素菠净，并將其通過最大池化操作后得到128維的特征彪杉，如下圖圖a所示派近。

對比四種預測腫瘤類別的方法（Feature combining method痪寻，MaxP method，Noisy-or method和Leaky Noisy-or method）弹砚，挑選出Leaky Noisy-or方法作為最終的分類方法途茫，如下圖圖b所示囊卜。

Leaky Noisy-or Method

引入一個假想結(jié)節(jié)栅组，其患癌概率為玉掸，的值在模型訓練階段學習獲得司浪。

將特征輸入至兩層相同的Perceptron得到分類概率：

其中啊易，表示第i個結(jié)節(jié)癌變的概率饮睬。

訓練過程

損失函數(shù)為交叉熵函數(shù)。為了避免過擬合采用了數(shù)據(jù)增強和正則化操作割去。

訓練的步驟：

1. transfer檢測器訓練參數(shù)后昼丑，再訓練分類器矾克；
2. 采用gradient clipping方法訓練分類器憔足，隨后存儲BN（Batch Normalization）參數(shù)滓彰；
3. 用存儲的BN參數(shù)和gradient clipping方法交替訓練檢測器和分類器揭绑。

注：BN在訓練階段和測試階段所計算的方法有所差異郎哭。因復用N-net網(wǎng)絡，分類器和檢測器交替訓練邦蜜，因而需對BN的參數(shù)做特殊處理悼沈。

版權(quán)印版權(quán)標識