2021-08-19-Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks(TMI 2019)-無代碼

暫無公開代碼

pGAN網(wǎng)絡(luò)的實現(xiàn)https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

這篇文章是做什么的：跨模態(tài)MR圖像合成

輸入：單張圖像/多張圖像(體積內(nèi)相鄰橫截面(neighboring cross-sections within a volume))

是否需要數(shù)據(jù)配準(zhǔn)：需要/不需要

是基于2D還是3D: 2D/3D 具體看數(shù)據(jù)集描述部分

---文章的Motivation---

本文提出了一種基于條件生成對抗網(wǎng)絡(luò)的多對比度MRI合成方法请唱。所提出的方法通過對抗性損失保留高頻細節(jié)；它通過對已配準(zhǔn)registered的多對比度圖像的像素級損失和對未配準(zhǔn)圖像的周期一致性損失進行約束过蹂，提高了合成性能十绑。利用相鄰截面的信息(neighboring cross-sections)進一步提高合成質(zhì)量。

---方法發(fā)展過程---

給定M1（源域）中的對象圖像b1酷勺，目的是準(zhǔn)確估計M2（目標(biāo)域）中相同對象b2的相應(yīng)圖像本橙。根據(jù)他們?nèi)绾谓鉀Q這個問題，有兩種主要方法：基于配準(zhǔn)和基于強度變換的方法[3](registration-based and intensity-transformation-based methods)脆诉。

基于配準(zhǔn)的方法首先分別在M1和M2中獲取共同配準(zhǔn)(co-registered)圖像集a1和a2生成地圖集(atlas)[4]甚亭。這些方法進一步假設(shè)來自不同對象的域內(nèi)圖像通過幾何變換(geometric warp)相互關(guān)聯(lián)。為了從b1合成b2击胜，估計將a1轉(zhuǎn)換為b1的變換亏狰，然后將該變換應(yīng)用于a2。由于它們只依賴于幾何變換偶摔，基于配準(zhǔn)的方法在基礎(chǔ)形態(tài)學(xué)(underlying morphology)方面存在跨對象差異[3]暇唾。例如，受試者和圖譜(atlas)之間的病理學(xué)不一致(inconsistent pathology)可能導(dǎo)致失敗辰斋。此外策州，即使在正常受試者中，域內(nèi)配準(zhǔn)的準(zhǔn)確性也可能受到限制宫仗。

另一種方法是使用基于強度的方法够挂，該方法不依賴于不同受試者解剖結(jié)構(gòu)之間的嚴(yán)格幾何關(guān)系[3]，[5]–[8]锰什。多對比度MRI的一種強大方法是基于壓縮傳感框架(?compressed sensing framework)下硕，其中源圖像b1中的每個patch表示為atlas圖像a1中patch的稀疏線性組合[7]。然后將學(xué)習(xí)到的稀疏組合應(yīng)用于從a2中的patch估計b2中的patch汁胆。為了改進跨域的patch匹配梭姓，還提出了使用多尺度patch和組織分割標(biāo)簽的生成模型[9]，[10]嫩码。最近的研究不是聚焦于線性模型誉尖，而是旨在學(xué)習(xí)更一般的非線性映射，這些映射以a1中的patch表示a2中的單個體素铸题，然后根據(jù)這些映射從b1預(yù)測b2铡恕。非線性映射通過非線性回歸[3]琢感、[5]、[6]或位置敏感神經(jīng)網(wǎng)絡(luò)(location-sensitive neural networks)[11]等在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)探熔。一個重要的例子是對多分辨率圖像塊執(zhí)行隨機森林回歸的(Replica)[3]驹针。Replica在多對比度MR圖像合成中顯示出巨大的前景。然而诀艰，在構(gòu)建字典的過程中柬甥，不同空間尺度的patch是獨立處理的，并且在合成過程中對來自不同隨機森林樹的預(yù)測進行平均其垄。這些可能導(dǎo)致丟失高空間頻率信息和次優(yōu)合成性能苛蒲。

最近，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的多模態(tài)端到端MRI圖像合成框架[12]绿满。Multimodal訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)臂外，該網(wǎng)絡(luò)接收多個不同源對比度的輸入圖像，并預(yù)測目標(biāo)對比度的圖像喇颁。該方法在一個統(tǒng)一的框架中執(zhí)行多分辨率字典構(gòu)造和圖像合成漏健，并且與non-network-based方法相比，即使只有一部分源對比度可用无牵，該方法也能產(chǎn)生更高的合成質(zhì)量漾肮。也就是說，Multimodal假設(shè)空間配準(zhǔn)的多對比度圖像(spatially-registered multi-contrast images)可用茎毁。此外克懊，多模使用均方誤差或絕對誤差損失函數(shù)，在高頻下性能較差[13]–[15]七蜘。

本文提出了一種基于生成對抗網(wǎng)絡(luò)（GAN）結(jié)構(gòu)的多對比度MRI圖像合成新方法谭溉。對抗性損失函數(shù)最近已被證明可用于圖像到圖像的轉(zhuǎn)換，并可捕獲高頻紋理信息[16]橡卤，[17]扮念。受這一成功的啟發(fā)，我們提出的方法在源對比度給定輸入圖像的情況下碧库，使用條件GANs合成目標(biāo)對比度的圖像柜与。為了提高精度，所提出的方法在合成過程中利用了體積內(nèi)相鄰橫截面(neighboring cross-sections within a volume)的相關(guān)信息嵌灰。不同的實現(xiàn)用于兩種不同的場景弄匕，其中多對比度圖像在空間上配準(zhǔn)（pGAN）和未配準(zhǔn)（cGAN）。對于第一種情況沽瞭，我們使用合成圖像和真實圖像之間的像素損失來訓(xùn)練pGAN[16]迁匠。對于第二種情況，我們在將像素損失替換為循環(huán)損失后訓(xùn)練cGAN，循環(huán)損失增強了從合成目標(biāo)圖像重建源圖像的能力[17]城丧。對健康正常人和膠質(zhì)瘤患者(healthy normals and glioma patients)的多對比MRI圖像（T1和T2加權(quán)）進行了廣泛的評估延曙。

---方法---

2.1 – Image synthesis via adversarial networks

傳統(tǒng)的GANs學(xué)習(xí)從噪聲中生成圖像樣本。然而亡哄，在圖像到圖像的轉(zhuǎn)換中枝缔，合成圖像在統(tǒng)計上依賴于源圖像。為了更好地捕獲這種依賴性蚊惯，可以使用條件GAN接收源圖像作為附加輸入[21]魂仍。然后，可以根據(jù)以下對抗損失函數(shù)對生成的網(wǎng)絡(luò)進行訓(xùn)練：

首先假設(shè)源對比度和目標(biāo)對比度的圖像完全配準(zhǔn)拣挪。對于這種情況提出了pGAN，該pGAN受pix2pix體系結(jié)構(gòu)[16]的啟發(fā)俱诸，將像素級損失納入目標(biāo)函數(shù)中：

由于觀察到生成器忽略pGAN中的潛在變量菠劝，因此使用以下總損失函數(shù)進行訓(xùn)練：

在第二個場景中，我們沒有假設(shè)源圖像和目標(biāo)對比度圖像之間存在配準(zhǔn)睁搭。在這個更現(xiàn)實的場景中赶诊，無法利用像素損失，因為像素在對比度之間沒有對齊园骆。本文提出了cGAN舔痪，該cGAN受cycleGAN架構(gòu)的啟發(fā)膛虫，結(jié)合了循環(huán)一致性損失[17]三热。

此損失函數(shù)強制執(zhí)行將源圖像投影到目標(biāo)域后瀑志，可以在投影損失最小的情況下重新合成源圖像的屬性茉唉。進一步將等式1中對抗性損失的負對數(shù)似然成本替換為平方損失[22](Further replacing the ?negative log-likelihood cost for adversarial loss in Eq. 1 by a squared loss [22])：

2.2 – MRI datasets

對于配準(zhǔn)圖像剧劝，我們訓(xùn)練并測試pGAN和cGAN模型蚣常。對于未配準(zhǔn)的圖像盒粮，我們只訓(xùn)練cGAN模型疟丙。實驗在三個獨立的數(shù)據(jù)集上進行：MIDAS數(shù)據(jù)集[23]余黎，IXI數(shù)據(jù)集(http://brain-development.org/ixi-dataset/)還有BRATS數(shù)據(jù)集(https://sites.google.com/site/braintumorsegmentation/home/brats2015). MIDAS和IXI數(shù)據(jù)集主要包含來自健康受試者的數(shù)據(jù)重窟，而BRATS數(shù)據(jù)集包含來自結(jié)構(gòu)異常（即腦腫瘤）患者的數(shù)據(jù)。關(guān)于每個數(shù)據(jù)集中包含的圖像的協(xié)議信息如下所述惧财。數(shù)據(jù)集被標(biāo)準(zhǔn)化巡扇，以確保受試者的體素強度范圍具有可比性。對于每個對比垮衷，每個受試者的大腦體積(volume)平均強度標(biāo)準(zhǔn)化為1厅翔。為了獲得[01?]中的強度標(biāo)度，在受試者之間匯集的體素平均強度之上的三個標(biāo)準(zhǔn)偏差被映射為1帘靡。the mean intensity across the brain volume was ?normalized to 1 within individual subjects. To attain an intensity scale in [0 1], three standard deviations ?above the mean intensity of voxels pooled across subjects was then mapped to 1.

2.3 – Image registration

對于第一種情況知给，假設(shè)來自給定對象的多對比度圖像被配準(zhǔn)。MIDAS和IXI數(shù)據(jù)集中包含的圖像是未配準(zhǔn)的。因此涩赢，這些數(shù)據(jù)集中的T1和T2加權(quán)圖像是在網(wǎng)絡(luò)訓(xùn)練之前配準(zhǔn)的戈次。對于MIDAS數(shù)據(jù)集，基于互信息使用仿射變換(affine transformation)進行配準(zhǔn)筒扒。對于IXI數(shù)據(jù)集怯邪，基于互信息的剛性轉(zhuǎn)換(rigid transformation)。BRATS數(shù)據(jù)集不需要配準(zhǔn)花墩。未對第二個場景執(zhí)行任何配準(zhǔn)悬秉。所有配準(zhǔn)均使用FSL軟件包[24]，[25]執(zhí)行冰蘑。

2.4 – Network training

在第一個場景中和泌，我們假設(shè)源圖像和目標(biāo)圖像之間完全對齊，然后使用pGAN學(xué)習(xí)從源到目標(biāo)對比度的映射祠肥。在pGAN的第一個變體中武氓，輸入圖像是源對比度的單個橫截面(single cross-section)，而目標(biāo)是所需對比度的各個橫截面仇箱。請注意县恕，MR圖像中的相鄰橫截面將顯示出顯著的相關(guān)性。因此剂桥，我們推斷忠烛，在源對比度中加入來自相鄰橫截面的附加信息應(yīng)該可以改進合成。為此权逗，實施了pGAN的第二種變體美尸，其中源對比度的多個連續(xù)橫截面作為輸入，目標(biāo)對應(yīng)于中心橫截面處的期望對比度旬迹。據(jù)觀察火惊，使用三個橫截面可產(chǎn)生接近最佳的結(jié)果，而不會顯著增加模型的復(fù)雜性奔垦。因此屹耐，第二個變體的實現(xiàn)基于此后的三個橫截面。

pGAN網(wǎng)絡(luò)的實現(xiàn)https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix使用基于256x256圖像椿猎。因此惶岭，在訓(xùn)練之前，所有MR圖像在圖像域中被零填充到該大小犯眠。我們采用了[26]中的生成器架構(gòu)按灶，以及[13]中的鑒別器架構(gòu)。訓(xùn)練過程持續(xù)了200個epoch筐咧，Adam優(yōu)化器的最小批量為1[27]

在第二個場景中鸯旁，我們沒有假設(shè)源圖像和目標(biāo)圖像之間存在任何對齊噪矛，因此我們使用cGAN來學(xué)習(xí)未配準(zhǔn)的源圖像和目標(biāo)圖像之間的映射。與pGAN類似铺罢，cGAN的兩種變體被認為在單個橫截面和三個連續(xù)橫截面上起作用艇挨。實施cGAN的后一種變體時，源對比度的多個連續(xù)橫截面作為輸入韭赘，目標(biāo)對比度的相同數(shù)量的連續(xù)橫截面作為輸出缩滨。雖然cGAN不假設(shè)源域和目標(biāo)域之間存在任何對齊，但我們?nèi)匀幌Ｍ繖z查cGAN和pGAN中使用的不同損失函數(shù)的影響泉瞻。為了進行比較脉漏，我們還針對配準(zhǔn)的多對比度數(shù)據(jù)（cGANreg）訓(xùn)練了單獨的cGAN網(wǎng)絡(luò)。訓(xùn)練程序與pGAN相同袖牙。

2.5 – Competing methods

第一種方法是Replica侧巨，它估計從源對比度到目標(biāo)對比度的單個體素的圖像塊之間的非線性映射[3]。Replica提取不同空間尺度的圖像特征鞭达，然后通過隨機森林進行多分辨率分析刃泡。然后將學(xué)習(xí)到的非線性映射應(yīng)用于測試圖像。根據(jù)[3]中描述的參數(shù)碉怔，使用Replica方法作者發(fā)布的代碼來訓(xùn)練模型。

第二種方法是Multimodal禁添，即在給定源圖像作為輸入的情況下撮胧，使用端到端神經(jīng)網(wǎng)絡(luò)來估計目標(biāo)圖像。神經(jīng)網(wǎng)絡(luò)實現(xiàn)隱式執(zhí)行基于這些特征的多分辨率特征提取和合成老翘。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可以應(yīng)用于測試圖像芹啥。根據(jù)[12]中描述的參數(shù)，使用Multimodal作者發(fā)布的代碼對網(wǎng)絡(luò)進行訓(xùn)練铺峭。

為了比較所提出的方法和競爭方法墓怀，使用了相同的訓(xùn)練和測試數(shù)據(jù)集。由于所提出的模型是針對兩個獨立對比度之間的單峰映射(unimodal mapping)實現(xiàn)的卫键，因此Replica和 Multimodal的實現(xiàn)也僅在兩個對比度下執(zhí)行傀履。

2.6 - Experiments

首先考慮多對比度圖像之間的配準(zhǔn)方向是否會影響合成質(zhì)量。特別是莉炉，我們從T1和T2加權(quán)圖像生成了多個配準(zhǔn)數(shù)據(jù)集钓账。在第一組中，T2加權(quán)圖像被配準(zhǔn)到T1加權(quán)圖像上（產(chǎn)生T2*）絮宁。在第二組中梆暮，T1加權(quán)圖像被配準(zhǔn)到T2加權(quán)圖像上（產(chǎn)生T1*）。除了配準(zhǔn)的方向外绍昂，我們還考慮了兩個可能的合成方向（T2 from T1; T1 from T2）啦粹。

對于最初未配準(zhǔn)的數(shù)據(jù)集（即MIDAS和IXI）偿荷，上述考慮導(dǎo)致了四種不同的情況：a）T1→T2*，b）T1*→T2唠椭，c）T2→T1*跳纳，d）T2*→T1。這里泪蔫，T1和T2是未配準(zhǔn)的圖像棒旗，T1*和T2*是配準(zhǔn)的圖像，并且→ 對應(yīng)于合成的方向撩荣。對于每種情況铣揉，pGAN和cGAN網(wǎng)絡(luò)基于兩種變體進行訓(xùn)練，一種接收單個橫截面作為輸入餐曹，另一種接收三個連續(xù)橫截面作為輸入逛拱。這導(dǎo)致總共有8個pGAN（一種變體四個，兩個變體就是8個）和4個cGAN模型（不需要配準(zhǔn)台猴，只考慮兩種合成方向朽合，一種變體兩個，兩種變體四個）饱狂。對于BRAT不需要配準(zhǔn)曹步，這導(dǎo)致只需要考慮兩種不同的情況：a）T1→T2*和d）T2*→T1。pGAN和cGAN的兩種變體被認為在單橫截面和三橫截面上工作休讳。

將合成圖像和參考圖像歸一化為最大強度1讲婚。為了評估合成質(zhì)量，我們測量了合成圖像和參考圖像之間的峰值信噪比（PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）度量俊柔。在NVIDIA Titan X Pascal和Xp GPU上進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練和評估筹麸。pGAN和cGAN的實現(xiàn)是使用Pytorch框架在Python中實現(xiàn)的[29]。REPLICA?MATLAB實現(xiàn)雏婶，以及帶有Theano后端的Multimodal ?Keras實現(xiàn)[30]物赶。

3 – Results

這些改進可歸因于與成對配準(zhǔn)圖像上的循環(huán)一致性損失相比，像素級損失的好處留晚。雖然cGANunreg是在未配準(zhǔn)的圖像上訓(xùn)練的酵紫，但它可以捕獲合成對比度中的細粒度結(jié)構(gòu)。

輸入到網(wǎng)絡(luò)的源對比度圖像有時可能包含相當(dāng)大的噪聲水平错维。在這種情況下憨闰，可以通過在相鄰橫截面上合并相關(guān)結(jié)構(gòu)信息來提高合成質(zhì)量。

與處理成對圖像的pGAN不同需五，cGAN中的鑒別器處理來自源域和目標(biāo)域的未成對圖像鹉动。反過來，這會降低跨橫截面合并相關(guān)信息的效率宏邮。

4 – Discussion

comparisons between the two directions based on reference-based metrics are not informative because the references for the two directions are inevitably distinct (e.g., T2* versus T2), so determining the optimal direction of registration is challenging. 基于參考的度量的兩個方向之間的比較不是信息性的泽示，因為兩個方向的參考不可避免地是不同的（例如缸血，T2*與T2），因此確定最佳配準(zhǔn)方向具有挑戰(zhàn)性械筛。

在源和目標(biāo)對比度中的體素大小嚴(yán)重不匹配的情況下捎泻，cGAN方法不僅將學(xué)習(xí)合成，還將嘗試學(xué)習(xí)從源的空間采樣網(wǎng)格插值到目標(biāo)的空間采樣網(wǎng)格埋哟。為了減少潛在的性能損失笆豁，可以首先通過多模態(tài)配準(zhǔn)來估計源圖像和目標(biāo)圖像之間的空間變換。然后可以將該插值函數(shù)級聯(lián)到cGAN體系結(jié)構(gòu)的輸出赤赊。

關(guān)于基于神經(jīng)網(wǎng)絡(luò)的方法闯狱，一個重要的關(guān)注點是大數(shù)據(jù)集的可用性，用于成功地訓(xùn)練網(wǎng)絡(luò)參數(shù)抛计。cGAN方法通過允許使用未配準(zhǔn)和配準(zhǔn)的多對比度數(shù)據(jù)集來促進網(wǎng)絡(luò)訓(xùn)練哄孤。在這里，我們對成對圖像進行訓(xùn)練吹截，以進行無偏比較瘦陈，而cGAN允許使用來自不同受試者組的未配對圖像。因此波俄，它可以簡化大型數(shù)據(jù)集的編譯晨逝，這些數(shù)據(jù)集是通過更深入的網(wǎng)絡(luò)提高性能所必需的。然而懦铺，通過基于成對和非成對訓(xùn)練數(shù)據(jù)的混合訓(xùn)練網(wǎng)絡(luò)咏花，進一步的性能改進是可行的[35]。

5 – Conclusion

本文出了一種新的基于條件生成對抗網(wǎng)絡(luò)的多對比度MRI合成方法阀趴。與大多數(shù)傳統(tǒng)方法不同，該方法對GANs進行端到端訓(xùn)練苍匆，GANs在給定源對比度圖像的情況下合成目標(biāo)對比度刘急。對抗損失函數(shù)的使用提高了目標(biāo)對比度中高頻信息合成的準(zhǔn)確性。通過在已配準(zhǔn)圖像的情況下合并像素級損失浸踩，以及在未配準(zhǔn)圖像的情況下合并周期一致性損失叔汁，合成性能得到進一步提高。最后检碗，所提出的方法利用了每個體積內(nèi)相鄰橫截面的信息來提高合成精度据块。在健康受試者和膠質(zhì)瘤患者的多對比度腦MRI數(shù)據(jù)集中，該方法優(yōu)于兩種最先進的合成方法折剃。