今日文章來(lái)自：Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis1
研究任務(wù)和思想
文章研究任務(wù)為醫(yī)學(xué)圖像生成祥得。傳統(tǒng)的醫(yī)學(xué)圖像生成一般是一種模態(tài)生成另一種模態(tài)，而本文的任務(wù)為兩種或者模態(tài)生成另一種模態(tài)蒋得，如輸入T1 和T2兩種模態(tài)生成Flair模態(tài)级及。而研究的出發(fā)點(diǎn)就是那一句“more modalities provide more information”
本文另一個(gè)好的想法是，把多模態(tài)之間的相關(guān)性窄锅，和模態(tài)各自的特性進(jìn)行分開考慮创千。本文認(rèn)為在捕獲特定于模式的信息以保護(hù)其屬性的同時(shí)，開發(fā)多個(gè)模式之間的潛在相關(guān)性是至關(guān)重要的入偷。本文所提出的Hi-Net網(wǎng)絡(luò)分為三部分：模態(tài)特定網(wǎng)絡(luò)追驴，模態(tài)融合網(wǎng)絡(luò)，和生成網(wǎng)絡(luò)疏之。其中 模態(tài)特定網(wǎng)絡(luò)主要思想是通過編碼器來(lái)學(xué)習(xí)各個(gè)模態(tài)的獨(dú)有的特征殿雪，融合網(wǎng)絡(luò)通過混合融合塊來(lái)實(shí)現(xiàn)（ Mixed Fusion Block（MFB）），而生成網(wǎng)絡(luò)則通過GAN 來(lái)進(jìn)行訓(xùn)練锋爪。
本文主要貢獻(xiàn)：
1 不同于現(xiàn)有的單一模態(tài)合成方法丙曙，我們提出了一種新的醫(yī)學(xué)圖像合成框架爸业，使用多種模態(tài)合成目標(biāo)模態(tài)圖像
2 我們的模型通過特定于模態(tài)的網(wǎng)絡(luò)捕獲各個(gè)模態(tài)特征，并利用多模態(tài)之間的相關(guān)性亏镰，使用分層多模態(tài)融合策略來(lái)有效地集成多模態(tài)多層次表示
3 提出了一種新的MFB模塊扯旷，自適應(yīng)地對(duì)不同融合策略進(jìn)行加權(quán)，有效地提高了融合性能索抓。
總體網(wǎng)絡(luò)圖
模態(tài)特定網(wǎng)絡(luò)
模態(tài)特定網(wǎng)絡(luò)用來(lái)學(xué)習(xí)模態(tài)的高層特征缺菌。在圖1中為藍(lán)色部分。采用自動(dòng)編碼器結(jié)構(gòu)赋续。突然發(fā)現(xiàn)竟然不是Unet網(wǎng)絡(luò)男翰。通過L1重建損失約束另患。特定網(wǎng)絡(luò)仍然生成原來(lái)模態(tài)的圖像纽乱，L1損失能很好反映圖像強(qiáng)度變化。所以訓(xùn)練之后的特定網(wǎng)絡(luò)能夠在編碼階段學(xué)習(xí)到不同模態(tài)1和模態(tài)2的特定特征昆箕，并在解碼階段利用學(xué)習(xí)的特征重建和原圖相似的圖像鸦列。
值得注意的是：重構(gòu)損失提供了側(cè)輸出，以保證特定模態(tài)網(wǎng)絡(luò)對(duì)每個(gè)模態(tài)學(xué)習(xí)一個(gè)有區(qū)別的表示鹏倘，彼此獨(dú)立薯嗤。
多模態(tài)融合網(wǎng)絡(luò)
為了有效地利用來(lái)自不同模態(tài)不同層(如淺層和高層)特征表示的相關(guān)性，并減少不同模態(tài)之間的差異纤泵，我們提出了分層融合網(wǎng)絡(luò)骆姐。此外，還提出了一個(gè)MFB模塊捏题，以適應(yīng)權(quán)的不同輸入從不同的模式玻褪。
將每個(gè)特定模式網(wǎng)絡(luò)的第一池化層的特征表示輸入到第一個(gè)MFB塊中，第一個(gè)MFB塊輸出和特定網(wǎng)絡(luò)的第二層特征表示一起被輸入到下一個(gè)MFB模塊公荧，依次带射，在融合網(wǎng)絡(luò)中有三個(gè)MFB模塊，如圖1所示
圖2為MFB模塊灿里，其中設(shè)計(jì)了自適應(yīng)權(quán)值網(wǎng)絡(luò)來(lái)融合來(lái)自多種模式的特征表示关炼。在多模式融合任務(wù)中，常用的策略有求和匣吊、求積和最大值盗扒。然而，對(duì)于不同的任務(wù)哪一種融合策略是最好的還不清楚缀去。因此侣灶，同時(shí)使用所有三種融合策略，然后將它們連接起來(lái)缕碎。然后褥影，添加一個(gè)卷積層conv1自適應(yīng)加權(quán)三個(gè)融合。如圖2所示咏雌。另外對(duì)于第一個(gè)融合快沒有Fn-1所以僅吧conv1的輸出輸入到conv2中凡怎。
多模態(tài)生成網(wǎng)絡(luò)
生成方式為傳統(tǒng)GAN的生成。約束為對(duì)抗損失加L1損失赊抖。
值得注意的是生成網(wǎng)絡(luò)使用了模態(tài)特定網(wǎng)絡(luò)中學(xué)習(xí)的不同層特征來(lái)盡可能的利用原始模態(tài)的信息统倒。
實(shí)驗(yàn)
使用multi-modal brain tumor segmentation challenge (BraTs2018)2018 數(shù)據(jù)集。本數(shù)據(jù)集包括285例多發(fā)性硬化癥患者氛雪。磁共振掃描來(lái)自19個(gè)不同的機(jī)構(gòu)房匆，包括膠質(zhì)母細(xì)胞瘤(GBM)和低級(jí)別膠質(zhì)瘤(LGG)組。
患者掃描包含四種模態(tài):T1报亩、T1c浴鸿、T2和Flair。在本研究中弦追，使用T1, T2和F lair圖像來(lái)驗(yàn)證我們提出的合成方法的有效性岳链。使用2D軸平面切片
從表中可以看到MM-Syns方法比PIX2pix SSIM指標(biāo)要差點(diǎn)。這是不是也是一種不同模態(tài)特征表示之間的干擾導(dǎo)致的劲件，或許可以以后可以從減少這方面影響進(jìn)行以后的實(shí)驗(yàn)掸哑。
