Deeply-Supervised CNN for Prostate Segmentation
(深度監(jiān)督的CNN用于前列腺分割)
原文鏈接
摘要
磁共振（MR）圖像中的前列腺分割在圖像引導(dǎo)下的介入治療中具有重要意義知举。然而，由于缺乏明確的頂端和底部邊界，以及來自不同患者的圖像之間形狀和紋理的巨大變化显沈，使得這項任務(wù)非常具有挑戰(zhàn)性。為了克服這些問題翁锡，本文提出了一種利用卷積信息從磁共振圖像中精確分割前列腺的深度監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)（CNN）沛简。與其他方法相比，該模型能有效地檢測前列腺區(qū)域瓦糟，并具有附加的深度監(jiān)控層。由于某些信息在卷積后會被丟棄赴蝇，因此有必要將早期提取的特征傳遞到后期菩浙。實驗結(jié)果表明，與其他方法相比，本文提出的方法能顯著提高分割精度劲蜻。
引言
近年來陆淀，卷積神經(jīng)網(wǎng)絡(luò)（CNN）在計算機視覺和醫(yī)學(xué)圖像分析等許多領(lǐng)域都取得了最佳的效果。這一成功有以下幾個方面：1）開發(fā)了更強大的圖形處理單元（GPU）先嬉；2）大量可用數(shù)據(jù)轧苫，例如，在ImageNet大規(guī)模視覺識別挑戰(zhàn)（ILSVRC）中疫蔓，提供了約120萬張帶注釋的圖像含懊。3）許多網(wǎng)絡(luò)都已經(jīng)為特定的任務(wù)設(shè)計出來，例如分類衅胀、分割和對象檢測岔乔。CNN的核心能力是學(xué)習(xí)數(shù)據(jù)的層次表示，因此調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)以提高網(wǎng)絡(luò)的層次表示能力是CNN應(yīng)用的主要目標(biāo)滚躯。
分類是CNN中最常見的應(yīng)用雏门，如GoogLeNet、VGG-Net掸掏，其輸出是圖像的類標(biāo)簽茁影。然而，在許多視覺任務(wù)中阅束，特別是在醫(yī)學(xué)圖像分析中呼胚，一些特定的需要必須被滿足。例如息裸，在醫(yī)學(xué)圖像分割中蝇更，標(biāo)簽應(yīng)該分配給每個像素，并且結(jié)果應(yīng)該具有高精度呼盆。隨著深度學(xué)習(xí)的深入發(fā)展年扩，越來越多的研究者將這些方法應(yīng)用于不同的醫(yī)學(xué)圖像應(yīng)用，如圖像分割访圃、圖像融合厨幻、圖像配準(zhǔn)和計算機輔助診斷等。自動分割是醫(yī)學(xué)圖像分析的支柱之一腿时。在給定的背景下對邊緣檢測的高度依賴于是成功分割醫(yī)學(xué)圖像的關(guān)鍵况脆。因此，在許多方法中批糟，獲取邊緣特征并搜索其位置是主要工作格了。幾十年來，構(gòu)建有效的特征工程一直是醫(yī)學(xué)圖像分割的主流課題徽鼎。例如盛末， Shen et al提出了基于幾何矩不變量的特征引導(dǎo)非剛性圖像配準(zhǔn)方法弹惦，同時，Liao et al. 提出了一種醫(yī)學(xué)圖像分析中自動特征提取的表示學(xué)習(xí)方法悄但，提出了一種基于疊置相關(guān)子空間分析（ISA）的深度學(xué)習(xí)框架棠隐，實現(xiàn)了從輸入圖像中自動學(xué)習(xí)信息量最大的特征。此外檐嚣，基于形狀的模型被廣泛應(yīng)用于圖像分割助泽。Yan et al 提出了一種利用部分輪廓的先驗形狀分割前列腺的方法。 Toth et al 利用強度和梯度信息構(gòu)建AAA模型净嘀，然后利用水平集方法對前列腺MRI進行分割报咳。所有這些方法都是利用特定的特征信息對醫(yī)學(xué)圖像進行分割侠讯。然而挖藏，正如我們前面所描述的，深度學(xué)習(xí)具有從數(shù)據(jù)中學(xué)習(xí)分層特征表示的良好能力厢漩，并且在各種應(yīng)用中都取得了破紀(jì)錄的性能膜眠。在醫(yī)學(xué)圖像分析方面，它高度依賴于邊緣檢測技術(shù)溜嗜。許多方法的主要工作是尋找組織的邊緣宵膨。而我們知道，深度學(xué)習(xí)可以有效地學(xué)習(xí)邊緣特征炸宵。因此辟躏，我們相信深度學(xué)習(xí)可以像計算機視覺一樣，在醫(yī)學(xué)圖像分析方面取得很大的進步土全。許多研究人員將深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像分析捎琐。例如，Zhang et al建議使用深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）用多模態(tài)磁共振圖像分割等強度階段腦組織裹匙。Cheng et al提出了一種監(jiān)督機器學(xué)習(xí)模型瑞凑，該模型利用基于Atlas的主動外觀模型和深度學(xué)習(xí)模型在磁共振圖像上分割前列腺。Chen et al提出了一種深度輪廓敏感網(wǎng)絡(luò)概页，它集成多層次的上下文特征來分割腺體籽御。這些方法都利用了深度學(xué)習(xí)的先進性，取得了顯著的成績惰匙。
許多網(wǎng)絡(luò)應(yīng)用斑點(patch)到像素或斑點到斑點的策略來訓(xùn)練和預(yù)測技掏。然而，這種策略總是導(dǎo)致訓(xùn)練和預(yù)測效率顯著降低项鬼。全卷積神經(jīng)網(wǎng)絡(luò)（FCN）提供了一種將使用一張有一張圖像的方法訓(xùn)練網(wǎng)絡(luò)哑梳，使我們能夠同時訓(xùn)練大量的樣本。然而秃臣，我們不能直接將FCN應(yīng)用于前列腺分割涧衙。由于前列腺頂端和底部一直缺乏明確的邊界哪工，不同患者的體形和質(zhì)地差異很大。這些現(xiàn)象使前列腺分割變得富有挑戰(zhàn)性弧哎。在這些方法的啟發(fā)下雁比，結(jié)合深度學(xué)習(xí)的優(yōu)越性，提出了一種將將早期特征提取傳遞到后期的網(wǎng)絡(luò)撤嫩，以避免信息丟失偎捎。我們將該網(wǎng)絡(luò)命名為“深度監(jiān)控CNN”，該網(wǎng)絡(luò)經(jīng)過端到端的訓(xùn)練序攘，能夠準(zhǔn)確茴她、快速地在磁共振圖像上分割前列腺。我們的網(wǎng)絡(luò)有三個階段程奠，第一個階段包括一個壓縮路徑丈牢，它從數(shù)據(jù)中提取特征，并以適當(dāng)?shù)牟椒档头直媛拭樯场＞W(wǎng)絡(luò)的第二階段由一條擴展路徑組成己沛，該路徑向上采樣特征圖，并將特征通道數(shù)減半距境，直到達到其原始大小申尼。為了幫助網(wǎng)絡(luò)學(xué)習(xí)更精確的殘差信息，第三階段由深層監(jiān)控層構(gòu)建垫桂，對訓(xùn)練過程進行監(jiān)控师幕。
方法
<b>A U-Net</b>
U-Net的架構(gòu)如下
這包括兩部分，網(wǎng)絡(luò)的左側(cè)分為四個階段诬滩。每個階段由兩個卷積層組成霹粥，處理不同的分辨率特征圖。左半部分執(zhí)行的卷積使用3x3個內(nèi)核碱呼，每個內(nèi)核后面都有一個校正的線性單元（relu）蒙挑。在每個階段結(jié)束時，一個步長為2的愚臀，卷積核為2x2最大池操作進行向下采樣忆蚀。每個階段后，特征通道的數(shù)量增加了一倍姑裂。網(wǎng)絡(luò)的右側(cè)也分為四個階段馋袜，并且與左邊部分相似。右部分的每個階段包括兩種操作舶斧。第一種是上采樣欣鳖，使特征地圖的大小逐漸增大，直至達到原始輸入圖像的大小茴厉。第二個操作是將特征信道的數(shù)目減半泽台，這樣卷積核的數(shù)目在每一階段之后就會減半什荣。由于每次卷積后都會丟失一些圖像信息，因此有必要從左側(cè)的早期提起特征傳遞到右邊部分怀酷。為了實現(xiàn)這一功能稻爬，作者將左側(cè)部分與右側(cè)部分連接起來。這樣蜕依，網(wǎng)絡(luò)可以獲得一些細節(jié)桅锄，否則在卷積過程中會丟失這些細節(jié)。這將提高最終輪廓預(yù)測的質(zhì)量样眠。此外友瘤，這些連接將加速網(wǎng)絡(luò)的收斂。
<b>B-受深度監(jiān)督的CNN</b>
- 網(wǎng)絡(luò)架構(gòu)檐束。在本節(jié)中辫秧，我們將詳細介紹所提議的網(wǎng)絡(luò)體系結(jié)構(gòu)。正如vgnet所證明的厢塘，表示深度有利于分類的準(zhǔn)確性茶没。為了獲得更高的準(zhǔn)確度，有利于利用更深層的網(wǎng)絡(luò)分割前列腺圖像晚碾。然而，更深層次的網(wǎng)絡(luò)也帶來了兩個瓶頸喂急。首先格嘁，更深的網(wǎng)絡(luò)通常意味著更多的參數(shù)，這使得網(wǎng)絡(luò)更容易過度擬合廊移，特別是對于醫(yī)學(xué)圖像的應(yīng)用糕簿，因為在訓(xùn)練集中標(biāo)記的示例的數(shù)量總是有限的。深層網(wǎng)絡(luò)的另一個瓶頸是計算資源的使用急劇增加狡孔。為了解決這個問題懂诗，我們建議在卷積過程中使用1X1卷積層。1X1卷積有兩個主要優(yōu)點苗膝。一方面可以減小網(wǎng)絡(luò)的維數(shù)和參數(shù)個數(shù)殃恒，在一定程度上消除計算瓶頸；另一方面可以增加網(wǎng)絡(luò)的深度辱揭，提高字符表示的能力离唐。在我們的網(wǎng)絡(luò)中，我們在多個階段應(yīng)用了1X1卷積问窃，以提高分割的準(zhǔn)確性亥鬓。如GoogLeNet所示，較小的卷積核在二維網(wǎng)絡(luò)中效率更高域庇，較小的卷積核可以獲得與大核相同的效果嵌戈。結(jié)果表明覆积，堆積小核的有效接收場大小等于一個大核的有效接收場大小。此外熟呛，較小的卷積核可以減少參數(shù)數(shù)量技健，同時消除計算瓶頸。所以在我們的網(wǎng)絡(luò)中惰拱，卷積核的大小都設(shè)置為3x3雌贱。此外，池化操作對改善最先進的卷積網(wǎng)絡(luò)具有重要意義偿短，在一定程度上有助于克服過擬合欣孤，因此我們在每個階段的末尾都增加了該階段。
如上所述昔逗，卷積運算總是會導(dǎo)致圖像信息丟失降传。通過將從早期階段提取的特征傳遞到后期階段，可以為后期階段提供丟失的信息勾怒。最后婆排，可以提高最終預(yù)測的效果。但是笔链，這仍然會留下一些有待改進的空間段只。當(dāng)我們將特征從早期階段向前推進到后期階段時，由于缺乏深入的監(jiān)督鉴扫，在隱藏層產(chǎn)生的特征在語義上的意義就不那么明顯了赞枕。更重要的是，它們將顯著影響訓(xùn)練和預(yù)測效率坪创。為了克服這些問題炕婶，我們在網(wǎng)絡(luò)中添加了八個深度監(jiān)控層。在訓(xùn)練過程中莱预，所有這些監(jiān)督層都對訓(xùn)練過程進行監(jiān)督柠掂。有時，由于網(wǎng)絡(luò)的深度很大依沮，因此以有效的方式將梯度傳播回所有層的能力是一個值得關(guān)注的問題涯贞。附加的監(jiān)控層可以通過保留早期的梯度很好地解決這個問題。
綜上所述悉抵，所提議的網(wǎng)絡(luò)包含三個部分肩狂，如圖所示
前五個階段組成一個壓縮路徑，該壓縮路徑從數(shù)據(jù)中提取特征姥饰，并以適當(dāng)?shù)牟椒档头直媛噬邓捻敳康降谒碾A段，每一階段的特征通道數(shù)量翻了一倍列粪。在第一階段审磁，特征通道的數(shù)量是64個谈飒，例如，經(jīng)過四個階段后态蒂，特征通道的數(shù)量增加到512個杭措。在每個階段中，我們執(zhí)行兩個3x3卷積钾恢，一個1x1卷積和一個2x2且步長為2的最大池化操作進行下采樣手素。相反，后面的四個階段由一個擴展路徑組成瘩蚪，該路徑對特征映射進行向上采樣泉懦，并將特征通道的數(shù)量減半，直到達到其原始大小疹瘦。除了最大池化操作外崩哩，這些階段的操作與壓縮路徑中的階段相同。在監(jiān)督層部分言沐，每個監(jiān)督層由一個上采樣層和一個反卷積層組成邓嘹。上采樣層對特征圖進行上采樣，然后通過反卷積層得到分割結(jié)果险胰。在訓(xùn)練過程中汹押，這些監(jiān)控層根據(jù)分割結(jié)果與真實情況的差異來控制訓(xùn)練過程。與原U-Net相比鸯乃，該網(wǎng)絡(luò)具有一定的優(yōu)越性鲸阻。例如，1X1卷積使網(wǎng)絡(luò)變得更深缨睡，也不會陷入計算困難。而最大池化操作對于改進最先進的卷積網(wǎng)絡(luò)和克服過度擬合具有重要意義陈辱。此外奖年，附加的深度監(jiān)督層使得殘余信息具有意義，提高了模型的收斂效率沛贪。
2）公式化陋守。
我們將輸入訓(xùn)練數(shù)據(jù)集表示為 ，其中
表示原始輸入圖像利赋。
表示圖像
對應(yīng)的真實二值邊緣圖水评。為了簡單起見，我們將所有網(wǎng)絡(luò)層的參數(shù)表示為
媚送。在深監(jiān)督層中中燥，相應(yīng)的權(quán)重表示為
，其中m表示深層監(jiān)督層的數(shù)量塘偎，在我們的方法中疗涉，m=8拿霉。我們使用的目標(biāo)函數(shù)為
其中，表示深監(jiān)控層輸出的圖像級損失函數(shù)
對于前列腺圖像咱扣，感興趣的解剖結(jié)構(gòu)只占掃描的一個很小的區(qū)域绽淘。這往往導(dǎo)致網(wǎng)絡(luò)忽略了分割部分，網(wǎng)絡(luò)的輸出對背景有很大偏差闹伪，學(xué)習(xí)過程陷入局部極小沪铭，最終無法得到準(zhǔn)確的結(jié)果。為了避免這個問題偏瓤，本文采用dice 系數(shù)作為目標(biāo)函數(shù)杀怠，其范圍在0到1之間。兩個圖像之間的dice系數(shù)（dsc）可以寫為
其中硼补，自動分割的形狀驮肉，
表示人工分割形狀。在我們的工作中已骇，實際結(jié)果和分割結(jié)果都是二值圖像离钝，因此兩個二值圖像之間的dice系數(shù)DSC可以寫為
其中，N表示圖像像素的總數(shù)褪储。和
分別表示真實結(jié)果和分割結(jié)果
在我們的方法中應(yīng)用這個公式卵渴，我們不需要平衡前景和背景像素之間的樣本數(shù)量。除了監(jiān)控層之外鲤竹，我們還應(yīng)該考慮最終的輸出浪读。把所有的損失放在一起，我們應(yīng)該通過標(biāo)準(zhǔn)隨機梯度下降最小化以下目標(biāo)函數(shù)
其中辛藻，表示最終輸出的損失函數(shù)
結(jié)論
我們的研究結(jié)果似乎提供了一個可靠的證據(jù)碘橘，證明在訓(xùn)練過程中采用一種深度監(jiān)督的方法是提高神經(jīng)網(wǎng)絡(luò)對醫(yī)學(xué)圖像分割性能的有效方法。在訓(xùn)練過程中吱肌，所有這些監(jiān)督層將監(jiān)督訓(xùn)練過程痘拆，減少前列腺信息的丟失。在訓(xùn)練過程中氮墨，額外的監(jiān)督層對網(wǎng)絡(luò)進行了強有力的約束纺蛆。這些監(jiān)控層可以解決前列腺內(nèi)外模糊邊界和像素強度分布不均勻的問題。另外规揪，由于網(wǎng)絡(luò)規(guī)模較大桥氏，附加的監(jiān)控層可以為早期階段提供梯度信息，解決梯度擴散問題猛铅。
本文提出了一種利用殘差信息對前列腺MRI進行精確分割的深度監(jiān)控CNN字支。與傳統(tǒng)的U-Net相比，采用1x1卷積的方法后，該網(wǎng)絡(luò)的深度更大祥款，參數(shù)數(shù)目不會同時增加清笨。而附加的深度監(jiān)督在網(wǎng)絡(luò)訓(xùn)練中起著監(jiān)督作用。這些監(jiān)控層在訓(xùn)練過程中可以在一定程度上避免像素信息的丟失刃跛。對于前列腺圖像抠艾，背景和前景像素的數(shù)量是相當(dāng)不平衡的。因此桨昙，網(wǎng)絡(luò)忽略了分割部分检号，網(wǎng)絡(luò)輸出對背景有很大的偏向。這總是導(dǎo)致學(xué)習(xí)過程陷入局部極小蛙酪，最終無法得到準(zhǔn)確的結(jié)果齐苛。為了解決這個問題，我們將dice系數(shù)作為目標(biāo)函數(shù)桂塞。結(jié)果表明凹蜂，該網(wǎng)絡(luò)提高了前列腺分割的性能
