論文：Computerized Medical Imaging and Graphics 2020

數(shù)據(jù)集：BraTS 2017

1. Introduction

腦腫瘤是世界上最具侵襲性的癌癥之一（is?n和Direkoglu碍扔，?S?ah剖膳，2016膨处；Menze等人哗蜈，2014年）嗅战。磁共振成像（MRI）是一種廣泛應(yīng)用于評估腦腫瘤的成像技術(shù)苛预，它是一種非侵入性和良好的軟組織對比成像方式枕磁，在不暴露于高電離輻射的情況下提供關(guān)于腦腫瘤的形狀造挽、大小和定位的寶貴信息（Liang和Lauterbur篡腌，2000褐荷；Bauer等人，2013年嘹悼；Drevelegas叛甫，2010年）层宫。常用的成像方式有T1加權(quán)（T1）、對比增強(qiáng)T1加權(quán)（T1c）其监、T2加權(quán)（T2）和液體衰減反轉(zhuǎn)恢復(fù)（FLAIR）圖像萌腿。不同的成像方式可以為分析膠質(zhì)瘤的不同亞區(qū)提供補(bǔ)充信息，例如T2和FLAIR可以突出腫瘤周圍水腫抖苦，也可以指定為整個(gè)腫瘤毁菱。T1和T1c顯示腫瘤無瘤周水腫，為腫瘤核心锌历。在T1c中還可以觀察到高強(qiáng)度的腫瘤核心增強(qiáng)區(qū)贮庞，稱為增強(qiáng)腫瘤核心。因此辩涝，應(yīng)用多模態(tài)圖像可以減少信息的不確定性贸伐，提高臨床診斷和分割的準(zhǔn)確性。

用于腦瘤分割的各種方法怔揩，如概率論（Lapuyade-Lahorgue等捉邢，2017）、核特征選擇（Zhang等商膊，2011）伏伐、信念函數(shù)（Lian等，2018）晕拆、隨機(jī)森林（Zikic等藐翎，2012）、條件隨機(jī)場（Yu等实幕，2018）,支持向量機(jī)（Bauer等吝镣，2011）和隨機(jī)行走（Onoma等，2014）已經(jīng)開發(fā)成功昆庇。然而末贾，由于三個(gè)原因，腦腫瘤分割仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)整吆。(1) 腦部解剖結(jié)構(gòu)因病人而異拱撵。(2) 膠質(zhì)瘤的大小、形狀和紋理的差異性表蝙。(3)定性MR成像模式中強(qiáng)度范圍的可變性和低對比度拴测。這對于腦瘤分割來說尤其如此，由于低對比度府蛇，腫瘤輪廓是模糊的圖1集索。

最近，憑借強(qiáng)大的特征學(xué)習(xí)能力，基于深度學(xué)習(xí)的方法在腦腫瘤分割中的作用越來越突出抄谐。Cui等人（2018）提出了一個(gè)由兩個(gè)子網(wǎng)絡(luò)組成的級聯(lián)式深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)渺鹦。第一個(gè)網(wǎng)絡(luò)用于從MRI切片中定義腫瘤區(qū)域，第二個(gè)網(wǎng)絡(luò)用于將定義的腫瘤區(qū)域標(biāo)記為多個(gè)子區(qū)域蛹含。Mlynarski等人（2019）引入了一個(gè)基于CNN的模型毅厚，有效地結(jié)合了短程三維背景和長程二維背景的優(yōu)勢，用于腦腫瘤分割浦箱。Wang等人（2019）提出了一種基于金字塔集合模塊的新型二維全卷積分割網(wǎng)絡(luò)WRN-PPNet吸耿。Zhao等人（2018）整合了全卷積神經(jīng)網(wǎng)絡(luò)（FCNN）（Long等人，2015）和條件隨機(jī)場來分割腦腫瘤酷窥。Havaei等人（2017）實(shí)現(xiàn)了一個(gè)雙路徑架構(gòu)咽安，學(xué)習(xí)腦瘤的局部細(xì)節(jié)以及更大的背景特征。Wang等人（2017）提出將多類分割問題按照子區(qū)域?qū)哟畏纸鉃槿齻€(gè)二進(jìn)制分割問題序列蓬推。Kamnitsas等人（2017a）提出了一個(gè)高效的全連接多尺度CNN架構(gòu)妆棒，名為deepmedic，該架構(gòu)將高分辨率和低分辨率的路徑重新組合以獲得分割結(jié)果沸伏。此外糕珊，他們使用三維全連接條件隨機(jī)場來有效地消除假陽性。Isensee等人（2017）將U-Net修改為腦腫瘤分割毅糟，并使用數(shù)據(jù)增強(qiáng)來防止過度擬合红选。Kamnitsas等人（2017b）介紹了EMMA，這是一個(gè)包括DeepMedic姆另、FCN和U-Net在內(nèi)的多種模型和架構(gòu)的集合喇肋，并在BraTS 2017比賽中獲得第一名。

然而迹辐，以往的方法只能直接應(yīng)用這四種MRI模式來實(shí)現(xiàn)分割蝶防。對于多模態(tài)醫(yī)學(xué)圖像分割任務(wù)，融合策略對獲得準(zhǔn)確的分割結(jié)果起著重要的作用明吩。一般來說慧脱，我們可以將網(wǎng)絡(luò)架構(gòu)分為基于單編碼器的方法和基于多編碼器的方法，如Zhou等人（2019b）所述贺喝。基于單個(gè)編碼器的方法（Isensee等人宗兼，2017躏鱼；Kamnitsas等人，2017b）直接將不同的多模態(tài)圖像按通道整合到輸入空間中殷绍，而不同模態(tài)之間的相關(guān)性沒有得到很好的利用染苛。然而，基于多編碼器的方法（Tseng et al.，2017）允許通過應(yīng)用多模態(tài)特定編碼器分別提取單個(gè)特征信息茶行，并將其與特定融合策略融合躯概，以強(qiáng)調(diào)用于分割任務(wù)的有用信息。根據(jù)Valada等人（2016）畔师，基于多編碼器的方法比基于單個(gè)編碼器的方法具有更好的性能娶靡，可以學(xué)習(xí)更多互補(bǔ)和跨模態(tài)相互依賴的特征。然而看锉，并非所有從編碼器中提取的特征都對分割有用姿锭。因此，有必要尋找一種有效的融合特征的方法伯铣，重點(diǎn)對提取出的信息量最大的特征進(jìn)行分割呻此。

為此，我們建議使用注意機(jī)制腔寡，它可以被看作是一種工具焚鲜，能夠考慮到最有信息量的特征表示。通道注意模塊和空間注意模塊是常用的注意機(jī)制放前。前者使用注意機(jī)制來選擇通道軸上有意義的特征忿磅。例如，Hu等人（2018）引入了擠壓和激勵(lì)（SE）模塊來進(jìn)行動(dòng)態(tài)的通道特征再校準(zhǔn)犀斋，以提高網(wǎng)絡(luò)的表示能力贝乎。Li等人（2018）提出將注意力機(jī)制和空間金字塔結(jié)合起來，在語義分割中為像素標(biāo)簽提取精確的密集特征叽粹。Oktay等人（2018）提出了一個(gè)注意力U型網(wǎng)絡(luò)览效，它使用通道注意力機(jī)制來融合高層和低層的特征，用于CT腹部分割虫几。后者是空間注意模塊锤灿，通過加權(quán)求和所有其他位置的特征來計(jì)算每個(gè)位置的特征表示。例如辆脸，Roy等人（2018）提出同時(shí)使用空間和通道SE塊（scSE）但校，并證明scSE塊可以對三種不同的FCN架構(gòu)產(chǎn)生改進(jìn)。最近啡氢，Roy等人（2018）將scSE塊納入到少數(shù)照片分割任務(wù)中状囱，以解決沒有預(yù)訓(xùn)練的網(wǎng)絡(luò)和醫(yī)療掃描的體積性問題。Fu等人（2019）提出了一個(gè)使用通道和空間注意機(jī)制的雙注意網(wǎng)絡(luò)倘是，以適應(yīng)性地整合局部語義特征與全局依賴性亭枷，用于場景分割。

然而搀崭，上述方法僅在單模態(tài)圖像數(shù)據(jù)集上評估了注意力機(jī)制叨粘，沒有考慮多模態(tài)醫(yī)學(xué)圖像的融合問題。在注意力機(jī)制的啟發(fā)下，本文提出了一個(gè)基于注意力機(jī)制和附加約束信息的三階段多模態(tài)融合網(wǎng)絡(luò)升敲，用于腦瘤分割答倡。這項(xiàng)工作的初步成果已經(jīng)在Zhou等人（2020）和Zhou等人（2019a）中提出。這個(gè)期刊版本是一個(gè)實(shí)質(zhì)性的擴(kuò)展驴党。我們的方法的主要貢獻(xiàn)有四個(gè)方面瘪撇。

(1)提出了一種新型的三階段網(wǎng)絡(luò)，用于多模式腦腫瘤分割鼻弧，以減少記憶要求并加速訓(xùn)練過程设江。

(2) 在基于多編碼器的網(wǎng)絡(luò)結(jié)構(gòu)中引入并整合了額外的約束信息，使網(wǎng)絡(luò)使用更少的參數(shù)并提高分割精度攘轩。

(3) 提出了一個(gè)新的損失函數(shù)來解決多類分割問題叉存。

(4) 利用注意力機(jī)制融合不同的模式，實(shí)現(xiàn)最重要的特征表示度帮。