論文原文：https://link.springer.com/chapter/10.1007/978-3-030-00536-8_1

完整的圖捕仔、表及引用見原文，用于學習記錄谅猾，與有需要的人分享定页。

摘要

在訓練深度學習模型時迅耘，數據多樣性是成功的關鍵。醫(yī)學影像數據集往往是不平衡的冤馏，因為病理發(fā)現通常是罕見的日麸，這帶來了重大的挑戰(zhàn)，當訓練深入學習模型逮光。在這項工作中代箭，我們提出了一種方法來生成合成異常的MRI圖像與腦腫瘤通過訓練生成的敵對網絡，我們提供了兩個公開可用的數據集的大腦MRI涕刚。我們展示了合成圖像提供的兩個獨特好處嗡综。首先，我們利用合成圖像作為數據增強的一種形式杜漠，演示了改進的腫瘤分割性能极景。其次，我們證明了生成模型作為匿名化工具的價值驾茴，當對合成數據和真實受試者數據進行訓練時盼樟，可以獲得類似的腫瘤分割結果。綜上所述锈至，這些結果為ma- chine學習在醫(yī)學影像領域面臨的兩個最大挑戰(zhàn)提供了一個潛在的解決方案晨缴，即病理發(fā)現的發(fā)生率較低，以及共享患者數據方面的限制峡捡。

1?介紹

眾所周知击碗，要訓練出一種成功的用于醫(yī)學圖像分析的機器學習算法[6]筑悴，需要足夠的數據量。等級不平衡程度高或[18]變異性不足的數據導致分類性能較差延都。這在醫(yī)學成像領域經常被證明是有問題的雷猪，因為根據定義，異常的發(fā)現是不常見的晰房。此外求摇，在圖像分割任務中，手工標注體積數據所需的時間只會加劇這種差異;手工分割一個異常在三維可能需要超過15分鐘的研究殊者，使其不切實際的繁忙的放射學實踐与境。其結果是缺少帶注釋的數據，并且在嘗試訓練一個精確的算法時面臨相當大的挑戰(zhàn)猖吴。雖然傳統的數據增強技術(如作物摔刁、平移、旋轉)可以緩解這些問題海蔽，但它們從根本上生成高度相關的圖像訓練數據共屈。

在本文中，我們展示了一種解決這個問題的潛在方法党窜，即使用生成式對抗網絡(GAN)[9]生成合成圖像拗引，該網絡提供了arXiv:1807.10225v2 [cs]。多參數磁共振成像(MRIs)是由腦解剖和腫瘤的分割掩模生成的異常腦(腫瘤)的多參數磁共振成像(MRIs)幌衣。這提供了一個可自動化的矾削、低成本的多樣化數據來源，可以用來補充訓練集豁护。例如哼凯，我們可以改變腫瘤的大小、改變其位置楚里，或者將腫瘤放置在健康的大腦中断部，從而系統地獲得圖像和相應的注釋。此外班缎，GAN訓練對醫(yī)院數據生成合成圖像蝴光，可以用來共享機構外的數據，用作匿名化工具吝梅。

醫(yī)學圖像仿真與合成的研究已經有一段時間了虱疏，在醫(yī)學成像領域[7]得到了越來越多的關注惹骂。這部分是由于數據可用性的指數增長苏携，部分是由于更好的機器學習模型和支持系統的可用性。在醫(yī)學影像[7]仿真與合成尪苑啵刊上右冻，介紹了12項醫(yī)學影像合成與仿真的最新研究成果装蓬。

該工作屬于合成類，大部分相關工作是Chartsias等人的[3]和Costa等人的[4]纱扭。我們使用公開可用的數據集(ADNI和BRATS)來演示多參數MRI圖像合成和Chartsias等人的[3]useBRATSandISLES(缺血- strokelesionsegmentation, ISLES)數據集(2015challenge)牍帚。盡管如此，綜合圖像的評價標準是通過MSE乳蛾、SSIM和PSNR來證明的暗赶，但并不直接針對診斷質量。Costa等人[4]使用GAN生成帶有標簽的人工視網膜圖像肃叶，但是與這項工作相比蹂随，表現更多樣的病理模式的能力是有限的。另外因惭，之前的工作都是在2D圖像或3D圖像的切片/視圖上演示的岳锁，而在這個工作中，我們直接處理3D輸入/輸出蹦魔。多參數輸入/輸出維數為4D (T1/T2/T1c/Flair)激率。我們認為，在自然界中以3D/4D的方式處理數據能更好地反映數據的真實情況及其相關問題勿决。

GANs在醫(yī)學成像領域的應用在過去的一年里有了顯著的增長乒躺，這反映了機器學習領域的總體趨勢。GANs已被用于從單個術前MRI[10]生成運動模型剥险，向上采樣低分辨率眼底圖像[13]聪蘸，從腦MRI[16]生成合成的頭部CT，以及從t1加權的[5]合成t2加權的MRI(反之亦然)表制。使用GANs的分割在[22,21]中得到了證明健爬。最后，Frid-Adar等人在肝臟病變分類[8]的背景下么介，利用GAN進行數據增強娜遵。據我們所知，目前還沒有關于生成合成醫(yī)學圖像作為腫瘤分割任務的匿名化和數據增強形式的文獻壤短。

2?數據

2.1?數據集

我們使用了兩組公開的大腦MRI數據:

年代老年癡呆癥神經影像倡議(ADNI)數據集ADNI啟動于2003年,是一個公私合營的伙伴關系,主要探討了——邁克爾·w·維納tigator為首设拟。ADNI的主要目標是測試是否連環(huán)磁共振成像(MRI),正電子發(fā)射斷層掃描(PET),其他生物標記,和臨床和神經心理學評估可以組合測量的進展輕度認知障礙(MCI)和阿爾茨海默病(AD)早期。有關ADNI研究的最新信息久脯，請參見www.adni-info.org纳胧。我們采用了[17]的方法，它被證明是有效的分割阿德尼達的大腦阿特拉斯帘撰。采用SPM12[1]分割和螞蟻SyN[19]非線性配準算法生成ADNI t1加權圖像中的白質跑慕、灰質和腦脊液(CSF)。總共有3416對t1加權MRI及其對應的節(jié)段組織類圖像核行。

多模態(tài)腦腫瘤圖像分割基準(BRATS)數據集BRATS利用多機構的術前核磁共振成像(MRIs)牢硅，專注于本質上異質性(外觀、形狀和組織學)腦腫瘤的分割芝雪，即膠質瘤[14]减余。每個患者的MRI圖像集包括一系列不同的序列，包括T1加權惩系、t2加權位岔、T1造影增強和FLAIR，以及水腫堡牡、增強腫瘤和非增強tu- mor的ground-truth體素注釋赃承。有關BRATS數據集的更多細節(jié)，請參見腦腫瘤節(jié)段悴侵。雖然BRATS挑戰(zhàn)賽每年舉辦一次瞧剖，但我們使用了BRATS 2015年培訓數據集，該數據集是公開的可免。

2.2?數據集分割和預處理

作為一個預處理步驟,我們執(zhí)行skull-stripping [11] ADNI數據設置為頭骨小鬼數據集不存在抓于。2015BRATS訓練集提供了264項研究,其中我們使用第一個80%作為訓練集,剩下的20%作為測試集來評估最終的算法性能。在訓練集中進行超參數優(yōu)化浇借，對每個算法和設置只評估一次測試集捉撮。我們的GAN是三維操作的，由于內存和計算的限制妇垢，我們將訓練圖像軸向裁剪成包含中心108個切片的圖像巾遭，丟棄中心區(qū)域上下的切片，然后重新采樣到128 128 54進行模型訓練和推理闯估。為了公平評價brats的分割性能灼舍，我們使用原始圖像的解為256 256 108進行評價和比較。然而涨薪，很有可能非常小的腫瘤會因為向下采樣而丟失骑素，從而影響最終的分割性能。

3?方法

采用[12]中引入的圖像-圖像轉換條件GAN(pix2pix)模式刚夺，對標簽- mri (syntheticimagegeneration)和mri -標簽(image segmentation)進行轉換献丑。對于腦分割，生成器G給出一個t1加權的ADNI圖像作為輸入侠姑，訓練生成一個含有白質创橄、灰質和腦脊液的腦掩膜。在這個過程中(如圖1所示)莽红，產生器G學會了從t1加權的MRI輸入中分割大腦標簽妥畏。因為我們沒有合適的現成的大腦解剖分割方法，小鬼的數據集和ADNI數據集不包含腫瘤信息,我們首先訓練pix2pix模型部分正常的大腦解剖的T1影像ADNI數據集。然后,我們使用該模型來執(zhí)行推理的T1系列小鬼數據集咖熟。神經解剖學的細分,結合腫瘤分割小鬼們提供的數據集,提供一個完整的分割與腫瘤的大腦。

合成圖像的生成是通過反轉輸入到生成器和訓練識別器執(zhí)行反向任務(即柳畔。馍管，這些成像數據是從神經系統獲取的還是合成的?與此相反，這種分割是基于事實的注釋還是綜合生成的?圖1 (b))薪韩。我們從這些標簽生成合成的異常大腦MRI确沸，并通過調整這些標簽(例如，改變腫瘤大小俘陷，移動腫瘤的位置罗捎，或將腫瘤放置在其他無腫瘤的大腦標簽上)引入可變性。再次使用GAN分割模塊拉盾，從BRATS數據集(輸入:多參數mri;輸出:腫瘤標簽)中分割腫瘤桨菜。我們比較的分割性能1)有和沒有額外的合成數據，2)只使用合成數據和微調模型對10%的實際數據;并將他們的GAN性能與2017年BRATS挑戰(zhàn)賽中表現最好的算法4[20]進行比較捉偏。

3.1 數據增強與合成圖像

經過訓練的GAN可以從標簽生成合成圖像倒得，從而可以生成任意多序列的異常腦磁共振成像。因為我們分別有腦解剖標簽和腫瘤標簽夭禽，我們可以改變腫瘤的標簽或者大腦的標簽得到我們想要的合成圖像霞掺。例如，我們可以改變腫瘤的特征讹躯，如大小菩彬、現有的腦和腫瘤標簽集的位置，或者將腫瘤標簽放置在無腫瘤的腦標簽上潮梯。示例如下所示圖3骗灶。

在本研究中，還沒有對該算法的執(zhí)行效果進行評估秉馏。

由于GAN最初是針對來自ADNI數據集的3416對T1加權(T1)圖像進行訓練的矿卑，因此生成的T1圖像質量高，并且在質量上難以與原始圖像區(qū)分沃饶。利用BRATS數據訓練非t1加權圖像序列的生成母廷。對比增強t1加權圖像采用與t1加權圖像相同的圖像采集方案。因此糊肤，合成的增強T1圖像看起來相當真實琴昆，盡管在一些生成的圖像中沿腫瘤邊界有較高的對比度。T2加權(T2)和FLAIR圖像采集與T1加權圖像有本質區(qū)別馆揉，合成圖像與掃描獲取圖像的區(qū)分難度較小业舍。然而，由于對所有這些模式進行了足夠大的訓練，這一早期證據表明舷暮，在所有模式上生成逼真的合成圖像是可能的态罪。

除了提高圖像分辨率和獲取更多的數據，特別是對于t1加權圖像以外的序列下面，還有一些重要的途徑可以探索复颈，以提高整體圖像質量。例如沥割，可能需要對腫瘤邊界給予更多的關注耗啦，以便在放置人工腫瘤時不會出現重疊和離散的情況。此外机杜，需要研究腦分割算法的性能及其在不同數據集之間的泛化能力帜讲，以獲得結合來自不同患者群體的數據集的更高質量的合成圖像。

除了常用的數據增強方法椒拗，如隨機裁剪似将、旋轉、平移或彈性變形[15]蚀苛，還可以使用合成圖像進行增強玩郊。此外，我們使用基于gan的合成圖像生成方法對增強圖像有更多的控制枉阵，我們有更多的輸入選項(即(標簽)译红，以擾亂給定的圖像比通常的數據增強技術。通常的數據增強方法主要依賴于隨機過程兴溜，并在整個圖像水平上操作侦厚，而不是特定于某個位置，如腫瘤拙徽。此外刨沦，由于我們從相應的標簽生成圖像，因此我們可以得到更多的用于培訓的圖像膘怕，而不需要經過勞動密集型的手工標注過程想诅。圖4顯示了用真實和合成圖像以及標簽對GAN進行訓練的過程。

3.2?生成具有變異的匿名合成圖像

保護個人健康信息(PHI)是處理患者數據的一個關鍵方面岛心。通常情況下来破，對患者數據傳播的關注限制了社區(qū)數據的可用性，阻礙了該領域的發(fā)展忘古。雖然所有DICOM元數據和顱骨剝離通常會消除幾乎所有可識別的信息徘禁，但向醫(yī)院的數據共享委員會證明這一點幾乎是不可能的。僅僅取消對數據的識別是不夠的髓堪。此外送朱，當從敏感的病人數據中提取模型時娘荡，模型本身也要小心謹慎。實驗表明驶沼，[2]可以從訓練后的模型中提取私有數據炮沐。

開發(fā)一種能夠生成合成的、但又逼真的數據流的GAN回怜，來應對這些挑戰(zhàn)大年。第一篇文章闡述了即使使用色素沉著面膜，在生成的研究和原始研究之間也可以觀察到明顯的變化鹉戚。這表明，GAN生成的圖像并不能反映潛在的患者個體专控，而是從總體上吸引了人群中的個體抹凳。它生成的新數據不能歸因于單個患者，而是基于所提供的細分的訓練人群的實例化伦腐。

4?實驗和結果

4.1?使用合成數據進行數據擴充

基于gan模型和Wang等人的[20]模型(基于真實和合成數據訓練)對整個腫瘤分割結果的Dice評分評價如表1所示赢底。分割模型僅針對BRATS 15個訓練數據的80%進行訓練，訓練數據輔以綜合數據柏蘑。骰子的分數是評估20%的定出集從BRATS 15訓練數據幸冻。所有的模型都在NVIDIA DGX系統上接受了200個epoch的培訓。

表1咳焚∏⑺穑基于gan的分割算法和BRATS 17的性能最好的[20]算法的骰子得分評估(均值/標準差)，僅針對真實數據進行訓練;真實+合成數據;只對合成數據進行訓練革半，并對10%的真實數據進行微調碑定。在訓練過程中，基于GAN的模型分別使用(有aug)和不使用(無aug)進行訓練又官，包括常用的數據增強技術(作物延刘、旋轉、平移和彈性變形)六敬。所有的模型都經過200個世代的訓練來收斂碘赖。

在不增加常規(guī)數據(作物、旋轉外构、彈性變形;GAN-based(無- 8月))普泡。然而，當添加常規(guī)數據增強(基于gan的(no-aug))時审编，性能會有小幅提高劫哼，這也適用于Wang等人采用常規(guī)數據增強技術的[20]模型。

Wang等人的模型在全分辨率(256x256)下運行割笙，每個軸向/冠狀/矢狀視圖結合三個2D模型权烧，而由于GPU內存限制眯亦，我們的模型和生成器的運行分辨率只有一半(128x128x54)。我們對GAN生成的圖像進行了兩倍于BRATS的上采樣般码，以便與BRATS進行公平的比較妻率，但是在上/下采樣過程中，可能會丟失非常小的腫瘤板祝。使用基于gan的模型可以觀察到更好的性能宫静，GPU的可用性更大，內存更大券时。此外孤里，我們認為，生成的分辨率只有一半的合成圖像橘洞，加上缺少t1加權圖像以外的訓練圖像序列捌袜，可能導致分割性能比使用通常的數據增強技術提高得相對較小。我們仔細地假設炸枣，隨著更多T2/Flair圖像的可用虏等，這些序列的圖像質量將會更好，因此更多模型和腫瘤類型的表現也會更好适肠。

4.2?匿名合成數據培訓

我們還評估了基于gan的分割僅在合成數據上的性能霍衫，其數量大于或等于真實數據的數量，但不包含任何原始數據侯养。骰子得分評估如表1所示敦跌。最優(yōu)性能達到GAN-based和王的模型等。[20]當培訓的合成數據量等于原始訓練集80%逛揩。然而,更高的性能,與培訓的真實數據,實現當訓練兩個模型使用超過五倍的合成數據(只),和微調使用10%的隨機選擇真正的訓練數據峰髓。在這種情況下，合成數據提供了一種預培訓形式息尺，允許使用更少的真實數據來實現可比較的性能水平携兵。

5?結論

本文提出了一種生成算法，利用圖像到圖像的轉換GAN搂誉，從相應的分割掩模生成合成的異常腦腫瘤多參數MRI圖像徐紧。當通過改變輸入標簽映射生成這樣的合成圖像時，可以引入高水平的變化炭懊。這在多個算法中提高了分割性能并级。此外，這些相同的算法可以訓練完全匿名的數據集侮腹，允許共享訓練數據嘲碧。當與較小的、特定于機構的數據集相結合時父阻，中等規(guī)模的組織就有機會培訓成功的深度學習模型愈涩。?