論文：Neurocomputing 2020
數(shù)據(jù)集：BraTS 2015袁勺，BraTS 2017
1. Introduction
隨著影像技術的發(fā)展冲粤，醫(yī)學影像(如CT漱牵、MRI)已成為疾病篩查憔晒、早期診斷膊升、治療選擇淀散、預后評估等過程中必不可少的一部分棋傍。為了進一步識別出肉眼無法識別的潛在特征亚亲，放射組學[1,2]被開發(fā)用于從醫(yī)學圖像中自動提取和分析大量定量特征彻采。在放射組學分析過程中，圖像分割是最關鍵的一步捌归，它將異常區(qū)域從整個圖像中分離出來肛响。然而，放射科醫(yī)師手工分割既費力又主觀惜索，限制了研究病例的數(shù)量和每個臨床研究的可重復性终惑。此外，對于腦腫瘤的分割门扇，不僅需要對腫瘤本身進行分割雹有，還需要在體素水平上將其劃分為幾個細粒度的特定類別。圖1為軸位切片MRI圖像腫瘤分割的放大圖臼寄，其中壞死/囊性核心由于體素較少而難以與其他組織區(qū)分霸奕。
雖然近年來圖像分割取得了長足的進展，但現(xiàn)有方法對腦腫瘤的分割結果仍不令人滿意吉拳。與自然圖像分割相比质帅，腦腫瘤分割的主要挑戰(zhàn)是兩個方面。一方面留攒，由于技術限制和圖像采集過程中的不可控因素煤惩，在MRI圖像中經(jīng)常觀察到運動偽影和噪聲。另一方面炼邀，正常組織和腫瘤的解剖變異增加了分割的難度魄揉。然而，MRI圖像分割也有兩個優(yōu)勢拭宁。一是MRI圖像的三維成像洛退，保證了相鄰切片之間腦組織信息的連續(xù)性瓣俯。利用三維卷積，可以同時整合矢狀面兵怯、軸向面和冠狀面信息彩匕。另一個優(yōu)點是MRI圖像的多模態(tài)成像，它為每個體素提供了不同的信號模態(tài)媒区。
受靈長類動物腹側通路和背側通路[3]這兩種通路視覺系統(tǒng)的啟發(fā)驼仪，我們提出了一種不同尺度的端到端并行通路神經(jīng)網(wǎng)絡用于腦腫瘤的分割，以應對這兩種挑戰(zhàn)袜漩，并充分利用MRI圖像的特點绪爸。具體而言，第一種路徑即正常分辨率的注意路徑噪服，與視覺系統(tǒng)的腹側路徑相似毡泻，側重于從多模態(tài)圖像中提取細節(jié)信息。該路徑由3D Center-crop Dense Block構建粘优，以增加feature maps的可重用性仇味。三維卷積有效地探測切片內部特征，提取每個體素的三維上下文雹顺。密集結構既可以加強特征從低層向高層的傳播丹墨，又可以加強高層監(jiān)督信息向低層的反向傳播。第二種途徑嬉愧，低分辨率但視野更大的上下文途徑贩挣，是對周圍信息的概述，類似于視覺系統(tǒng)的背側途徑没酣。我們使用完全連接的卷積神經(jīng)網(wǎng)絡來構建這個路徑王财。此外，我們還從注意路徑到上下文路徑采用加權融合結構的交叉路徑連接裕便，以彌補下采樣導致的詳細信息缺失绒净。兩條路徑的輸出通過一個全連接的神經(jīng)網(wǎng)絡融合在一起。
本工作的主要貢獻總結如下:
- 我們提出了一個三維中心裁剪密集塊來探測多模態(tài)腦腫瘤圖像的三維特征偿衰。與傳統(tǒng)的密集塊相比挂疆，該中心裁剪密集塊在不進行填充操作的情況下保持了數(shù)據(jù)大小的一致性，有利于細粒腫瘤的分割下翎。
- 我們提出了一種雙通路神經(jīng)網(wǎng)絡缤言，采用從注意通路到上下文通路的交叉通路連接。正常分辨率注意路徑提取詳細信息视事，以確定體素的類別胆萧。較低分辨率的背景路徑具有較大的視場，將更多的注意力集中在周圍的體素上郑口，體素包含了腫瘤的位置和大小等整體信息鸳碧。提出的交叉路徑是為了補償?shù)头直媛事窂街杏捎谙虏蓸佣鴣G失的詳細信息盾鳞。通過這種信息交互機制犬性，我們的并行路徑密集神經(jīng)網(wǎng)絡有效地利用了多模態(tài)三維圖像的細節(jié)和背景信息瞻离。
3.我們引入一種加權融合結構來整合跨通路連接過程中通路間的信息。加權融合結構對每個神經(jīng)元的權值進行學習乒裆，得到真實值的有效逼近套利，有助于模型更好地學習。因此鹤耍，它可以保留比簡單的特征映射連接更多的信息肉迫。 - 對整個并行路徑密集神經(jīng)網(wǎng)絡進行端到端的訓練，在BraTS 2015和BraTS 2017數(shù)據(jù)集上獲得了較好的分割性能稿黄，表明了所提網(wǎng)絡的有效性喊衫。
2. Related work
在本節(jié)中，我們對醫(yī)學圖像分割方法進行簡要回顧杆怕。
傳統(tǒng)方法族购。典型的醫(yī)學圖像分割方法主要是利用局部同質性來保證一個區(qū)域的分割部分具有相似的像素特征。例如陵珍，使用k-means寝杖、模糊kmeans和混合聚類的無監(jiān)督方法已經(jīng)被廣泛地應用于醫(yī)學圖像分割[4-6]。此外互纯，用水平集[7,8]瑟幕、高斯混合物[9,10]和隱馬爾科夫隨機場[11,12]的分割方法也被提出用于組織和腫瘤的分割。
二維深度學習方法留潦。近年來只盹，隨著自然圖像中深度神經(jīng)網(wǎng)絡的發(fā)展，許多研究者開始將深度學習方法應用于醫(yī)學圖像分割兔院。UNet[13]是全卷積網(wǎng)絡的一個優(yōu)雅變體殖卑，它的上采樣部分也有大量的特征通道，這使得網(wǎng)絡可以將上下文信息傳播到更高的分辨率層秆乳。但由于計算時對內存資源的巨大需求懦鼠，這項工作不能輕易應用于完整的三維圖像。VNet[14]是UNet的一個變種屹堰，它不對輸入體積進行切片處理肛冶，而是使用體積卷積。盡管這種方法可以通過將不同的切片視為不同的通道來處理切片之間的信息扯键，但它所使用的二維濾波器仍然會造成第三維信息的損失睦袖。H-DenseUNet[15]是一個用于CT容積的肝臟腫瘤分割的二維密集UNet，它產(chǎn)生了層次化的特征荣刑，但也忽略了沿z維的空間信息馅笙。InputCascadeCNN[16]是一個級聯(lián)完全卷積網(wǎng)絡伦乔，它證明了級聯(lián)結構對分割的有效性。最近董习，多路徑自適應融合密集塊被提出用于多模態(tài)腦腫瘤分割[17].受遞歸神經(jīng)網(wǎng)絡在各種場景中成功應用的啟發(fā)[18-20]烈和，遞歸注意被應用于來自k空間的大腦分割[21]。
三維深度學習方法皿淋。二維深度學習方法通常不能在三維醫(yī)學圖像中取得優(yōu)異的表現(xiàn)招刹，因為它們忽略了切片之間的上下文信息。為了利用片間信息窝趣，人們提出了用于三維醫(yī)學圖像的三維神經(jīng)網(wǎng)絡疯暑。由于UNet在二維醫(yī)學圖像分割中的有效性，一些研究人員也將二維UNet工作擴展到三維[22]哑舒，用于股骨分割妇拯。一種基于偽三維補丁的方法，使用軸向洗鸵、冠狀和矢狀視圖中圖像補丁的三個卷積路徑越锈，用于CT圖像的頭頸部區(qū)域分割[23]。著名的DeepMedic[24]预麸，以及其改進版本DMRes與殘差結構[25]使用多尺度三維CNN與條件隨機場瞪浸，在腦腫瘤分割方面取得了最先進的性能。三維多尺度全卷積網(wǎng)絡也被應用于椎間盤的定位和分割[26]吏祸。最近对蒲，全卷積神經(jīng)網(wǎng)絡和條件隨機場被結合在一個統(tǒng)一的框架中，以獲得具有外觀和空間一致性的分割結果[27]贡翘。HyperDense-Net將密集連接應用于三維多模態(tài)全卷積網(wǎng)絡蹈矮，用于大腦分割[28]。應用人類可理解的分解概念[29]和RBM-隨機森林[30]來提高深度方法的可解釋性鸣驱。
我們的方法將三維多尺度的定義擴展到密集網(wǎng)絡泛鸟，并在平行路徑之間施加了跨路徑連接。密集連接僅僅發(fā)生在正常分辨率的路徑中踊东，而信息被納入低分辨率的路徑中北滥。因此，信息融合既發(fā)生在卷積層的早期階段闸翅，也發(fā)生在全連接層的后期階段再芋。
沒有預處理，patch為31x31x31和25x25x25,作者提出有2個并行路徑— —注意力路徑和上下文路徑坚冀。
注意力路徑：包含dense block济赎，沒有用到注意力機制，而是單純用的DenseNet-BC
上下文路徑：包含很多3x3x3的卷積。
融合2條路徑
