代碼鏈接：https://github.com/taozh2017/HiNet

這篇文章是做什么的：多模態(tài)MR圖像合成

輸入：多張圖像

是否需要數(shù)據(jù)配準(zhǔn)：需要

是基于2D還是3D: 2D axial-plane slices of the volumes 二維軸平面切片

---文章的motivation---

醫(yī)學(xué)圖像合成方法的很大一部分工作是用單模態(tài)數(shù)據(jù)[13]兰英、[15]–[19]憔披。然而玉掸，由于醫(yī)療應(yīng)用中經(jīng)常使用多種模態(tài)，并且基于“更多模態(tài)提供更多信息”的原則杭攻，一些研究已經(jīng)開始研究多模態(tài)數(shù)據(jù)合成。本文提出了一種用于多模態(tài)MR圖像合成的混合融合網(wǎng)絡(luò)（Hi-Net），該網(wǎng)絡(luò)學(xué)習(xí)從源圖像（即現(xiàn)有模態(tài)）到目標(biāo)圖像（即缺失模態(tài)）的映射坞生。在網(wǎng)絡(luò)中然低，一個特定于模態(tài)的網(wǎng)絡(luò)用于學(xué)習(xí)每個單獨(dú)模態(tài)的表示喜每，而一個融合網(wǎng)絡(luò)用于學(xué)習(xí)多模態(tài)數(shù)據(jù)的公共潛在表示。然后雳攘，設(shè)計一個多模態(tài)合成網(wǎng)絡(luò)带兜，將每個模態(tài)的潛在表示與層次特征緊密結(jié)合，作為合成目標(biāo)圖像的生成器吨灭。此外刚照，為了有效利用多模態(tài)之間的相關(guān)性，提出了一種分層多模態(tài)融合策略(layer-wise multi-modal fusion strategy)喧兄，其中提出了一種混合融合塊（Mixed Fusion Block?MFB）來自適應(yīng)加權(quán)不同的融合策略（即元素級求和无畔、乘積和最大化 element-wise summation, product, and maximization）。

---方法發(fā)展過程---

Chartsias等人提出了一種多輸入多輸出的MRI合成方法吠冤。Olut等人[20]提出了一種合成模型浑彰，用于使用可用的T1和T2圖像生成MR血管造影序列(angiography sequences)。Yang等人[21]提出了一種基于序列GAN模型和半監(jiān)督學(xué)習(xí)的雙模bi-modal醫(yī)學(xué)圖像合成方法拯辙。然而郭变，仍然普遍缺乏使用多模態(tài)數(shù)據(jù)作為輸入來合成醫(yī)學(xué)圖像的方法。為了實(shí)現(xiàn)多模態(tài)合成薄风，一個關(guān)鍵的挑戰(zhàn)是有效地融合各種輸入饵较。

一種融合策略是學(xué)習(xí)共享表示(shared representation)[22]–[24]。例如遭赂，Ngiam等人[25]使用雙模bi-modal深度自動編碼器融合聽覺和視覺(auditory and visual)數(shù)據(jù)循诉，采用共享表示學(xué)習(xí)，然后重建兩種類型的輸入撇他。事實(shí)證明茄猫，共享表示學(xué)習(xí)對于利用多模態(tài)數(shù)據(jù)之間的相關(guān)性特別有效。然而困肩，雖然利用這些相關(guān)性很重要划纽，但保留特定于模態(tài)的屬性對于多模態(tài)學(xué)習(xí)任務(wù)也很重要，因此自動平衡這兩個方面是一個挑戰(zhàn)锌畸。

為此勇劣，提出了一種新的用于多模態(tài)MR圖像合成的混合融合網(wǎng)絡(luò)（Hi-Net），該網(wǎng)絡(luò)通過融合現(xiàn)有圖像來合成目標(biāo)（或缺失）模態(tài)圖像。具體地說比默，模型首先學(xué)習(xí)特定于模態(tài)的網(wǎng)絡(luò)幻捏，以從每個單獨(dú)的模態(tài)捕獲信息。該網(wǎng)絡(luò)作為自動編碼器形成命咐，以有效地學(xué)習(xí)高級特征表示篡九。然后，提出了一個融合網(wǎng)絡(luò)來利用多個模態(tài)之間的相關(guān)性醋奠。此外榛臼，我們還提出了一種分層多模態(tài)融合策略，可以有效地利用不同特征層之間的相關(guān)性窜司。此外沛善，提出了一種MFB自適應(yīng)加權(quán)不同的融合策略（即元素求和、乘積和最大化）塞祈。最后路呜，我們的Hi-Net將特定于模態(tài)的網(wǎng)絡(luò)和融合網(wǎng)絡(luò)結(jié)合起來，學(xué)習(xí)各種模態(tài)的潛在表示织咧，并在其中生成目標(biāo)圖像。通過與現(xiàn)有的各種先進(jìn)方法進(jìn)行比較漠秋，驗(yàn)證了所提出的合成方法的有效性笙蒙。

本文的主要貢獻(xiàn)如下。

?與大多數(shù)現(xiàn)有的單模態(tài)合成方法不同庆锦，本文提出了一種新的醫(yī)學(xué)圖像合成框架捅位，該框架使用多種模態(tài)合成目標(biāo)模態(tài)圖像。

?我們的模型通過特定于模態(tài)的網(wǎng)絡(luò)捕獲單個模態(tài)特征搂抒，并使用分層多模態(tài)融合策略利用多模態(tài)之間的相關(guān)性艇搀，有效集成多模態(tài)多層次表示。

?提出了一種新穎的MFB模塊求晶，對不同的融合策略進(jìn)行自適應(yīng)加權(quán)焰雕，有效地提高了融合性能。

---方法---

A. Modality-specific Network

為了學(xué)習(xí)有意義和有效的高級表示high-level representation芳杏，我們采用了一種類似于自動編碼器的結(jié)構(gòu)來使用所學(xué)習(xí)的高級表示重構(gòu)原始圖像矩屁。

重建損失提供側(cè)(side-output supervision)，以確保特定于模態(tài)的網(wǎng)絡(luò)學(xué)習(xí)每個單獨(dú)模態(tài)的判別式表示爵赵。

B. Multi-modal Fusion Network

大多數(shù)現(xiàn)有的多模態(tài)學(xué)習(xí)方法采用兩種多模態(tài)特征融合策略中的一種吝秕，即早期融合或晚期融合。早期融合直接將所有原始數(shù)據(jù)疊加空幻，然后送入單個深度網(wǎng)絡(luò)烁峭，而晚期融合首先從每個模態(tài)中提取高級特征，然后使用連接層將其組合秕铛。為了有效地利用不同層次（如淺層和高層）的多層次表示之間的相關(guān)性并減少不同模態(tài)之間的差異约郁，我們提出了一種分層融合網(wǎng)絡(luò)layer- wise fusion network缩挑。此外，還提出了一種MFB模塊棍现，用于自適應(yīng)加權(quán)來自各種模態(tài)的不同輸入调煎。

如圖所示，來自每個模態(tài)特定網(wǎng)絡(luò)的第一池層的特征表示被饋送到MFB塊中己肮，然后該前MFB模塊的輸出被輸入到具有模態(tài)特定網(wǎng)絡(luò)的第二池層的特征表示的下一MFB模塊中士袄。因此，我們在融合網(wǎng)絡(luò)中有三個MFB模塊谎僻，值得注意的是娄柳，分層融合獨(dú)立于特定于模態(tài)的網(wǎng)絡(luò)，因此它不會干擾特定于模態(tài)的結(jié)構(gòu)艘绍，只學(xué)習(xí)模態(tài)之間的潛在相關(guān)性赤拒。此外，所提出的分層融合是在不同的層中進(jìn)行的诱鞠，因此我們的模型可以利用多個模態(tài)之間的相關(guān)性使用低層和高層特征挎挖。

圖2提供MFB模塊的圖示，其中自適應(yīng)權(quán)重網(wǎng)絡(luò)被設(shè)計用于融合來自多個模態(tài)的特征表示航夺。在多模態(tài)融合任務(wù)中蕉朵，流行的策略包括元素求和、元素乘積和元素最大化阳掐。

然而始衅，對于不同的任務(wù)，哪一個是最好的還不清楚缭保。因此汛闸，為了從每種策略的優(yōu)勢中獲益，我們同時使用所有三種融合策略艺骂，然后將它們連接起來诸老。然后，添加卷積層以自適應(yīng)地對三個融合進(jìn)行加權(quán)钳恕。

C. Multi-modal Synthesis Network

一旦獲得了多模態(tài)潛在表示Fn（即孕锄，多模態(tài)融合網(wǎng)絡(luò)中最后一個MFB模塊的輸出），我們就可以使用它通過GAN模型合成目標(biāo)模態(tài)圖像苞尝。

由于我們將多模態(tài)學(xué)習(xí)和圖像合成集成到一個統(tǒng)一的框架中畸肆，因此生成器可以重新表示為：

鑒別器D的目標(biāo)函數(shù)可以表示為：

最后，可根據(jù)以下目標(biāo)制定端到端多模態(tài)合成框架：

生成器的詳細(xì)結(jié)構(gòu)如圖1所示宙址。具體地說轴脐，首先將潛在表示輸入兩個卷積層，分別使用256和128個大小為3×3的濾波器，然后將輸出進(jìn)一步輸入三個MFB模塊大咱。請注意恬涧，還使用MFB模塊使用skip connection來融合來自每個模態(tài)特定網(wǎng)絡(luò)的編碼層的特征表示和潛在表示。然后將最后一個MFB模塊的輸出饋入一個上采樣層和兩個卷積層（濾波器大小為3×3碴巾，濾波器數(shù)量分別為32和1）溯捆。在每個卷積層之后，還使用ReLu激活函數(shù)執(zhí)行批標(biāo)準(zhǔn)化厦瓢。

---實(shí)驗(yàn)結(jié)果---

A. Dataset

為了驗(yàn)證我們模型的有效性提揍，我們使用了多模式腦腫瘤分割挑戰(zhàn)2018（BraTs2018）數(shù)據(jù)集[47]。該數(shù)據(jù)集由來自19個不同機(jī)構(gòu)的285名患者M(jìn)R掃描組成煮仇，其中包括膠質(zhì)母細(xì)胞瘤（glioblastomaGBM）和低級別膠質(zhì)瘤（lower grade gliomaLGG）隊列劳跃。患者掃描包含四種co-registered MR volumes：T1浙垫、T1c刨仑、T2和Flair，其中每種模態(tài)的體積大小為240×240×155夹姥。在本研究中杉武，我們使用T1、T2和Flair圖像來驗(yàn)證我們提出的合成方法的有效性辙售。我們的架構(gòu)使用體積的二維軸平面切片(2D axial-plane slices of the volumes)艺智。對于二維切片（240×240），我們從中心區(qū)域裁剪出160×180大小的圖像圾亏。此外，我們將285名受試者隨機(jī)分為80%進(jìn)行訓(xùn)練封拧，20%進(jìn)行測試志鹃。為了增加訓(xùn)練樣本的數(shù)量，我們將每個裁剪圖像（160×180）分割成四個大小為128×128的重疊塊(overlapping patches)泽西，并對重疊區(qū)域進(jìn)行平均以形成最終估計曹铃。對于每個體積，我們將原始強(qiáng)度值線性縮放為[?1, 1].

B. Comparison Methods and Evaluation Metrics

1）Pix2pix[27]捧杉。該方法通過保持像素級的強(qiáng)度相似性來合成整個圖像陕见；

2）cycleGAN[29]。此方法使用循環(huán)一致性損失味抖，而無需成對數(shù)據(jù)评甜。在我們的比較中，我們使用配對數(shù)據(jù)來合成從一種模態(tài)到另一種模態(tài)的醫(yī)學(xué)圖像仔涩；

3）MM-Syns[48]忍坷。該方法利用后期融合學(xué)習(xí)多模態(tài)數(shù)據(jù)的通用表示，然后在像素級強(qiáng)度差的約束下逐層合成MR圖像。

Metrics:

PSNR NMSE SSIM

D. Results Comparison

We evaluate the proposed model for three tasks, i.e., on on BraTs2018 dataset, using T1 and T2 to synthesize the ?Flair modality (T1 + T2 → Flair), using T1 and Flair to synthesize the T2 modality (T1 + Flair → T2), and using T2 and Flair to synthesize the T1 modality (T2 + Flair → T1)

為了進(jìn)一步驗(yàn)證我們的模型在矢狀面和冠狀面上的有效性佩研，我們在圖6中顯示了使用不同平面的結(jié)果柑肴。

還評估了在缺血性卒中病變分割挑戰(zhàn)2015（the ischemic stroke lesion segmentation challenge 2015 ISLES2015）數(shù)據(jù)集上使用T1和Flair圖像合成T2模態(tài)圖像的性能[49]。該數(shù)據(jù)集由多光譜MR圖像組成旬薯。我們選擇亞急性缺血性卒中病變分割（the sub-acute ischemic stroke lesion segmentation SISS）患者隊列晰骑。每個病例由四個序列組成，即T1绊序、T2硕舆、DW I和Flair，并嚴(yán)格地與Flair序列共同配準(zhǔn)(co-registered)政模。有關(guān)預(yù)處理步驟的更多詳細(xì)信息岗宣，請參見[49]。對于一個2D切片（230×230）淋样，我們從中心區(qū)域裁剪出一個160×180大小的圖像耗式，并且我們還將每個裁剪的圖像（160×180）分割成四個128×128大小的重疊面片。此外趁猴，我們在本研究中使用了28個訓(xùn)練案例和17個測試案例刊咳。對于每個體積，我們還將原始強(qiáng)度值線性縮放為[?1, 1].?

E. Ablation Study

前邊融合后邊融合后邊融合沒有利用兩個模態(tài)之間的關(guān)系嗎儡司？具體看文中給定的文章娱挨。

---討論---

網(wǎng)絡(luò)由兩個模態(tài)特定網(wǎng)絡(luò)和一個融合網(wǎng)絡(luò)組成，其中模態(tài)特定網(wǎng)絡(luò)旨在保留模態(tài)特定屬性捕犬，而融合網(wǎng)絡(luò)旨在利用多個模態(tài)之間的相關(guān)性跷坝。在多視角學(xué)習(xí)領(lǐng)域，一些研究側(cè)重于學(xué)習(xí)共同的潛在表征碉碉，以利用多視角之間的相關(guān)性[50]柴钻，[51]，而其他方法則探索互補(bǔ)信息垢粮。然而贴届，這兩項對于多視角/模式學(xué)習(xí)都很重要[52]–[54]。對于所提出的模型蜡吧，我們考慮了這兩個方面來提高融合性能毫蚓。【如何考慮的昔善？學(xué)習(xí)共同的潛在特征（看看文章50） 學(xué)習(xí)互補(bǔ)信息（可以理解為學(xué)習(xí)特定于模態(tài)的信息）】

通常很難收集足夠的訓(xùn)練數(shù)據(jù)元潘，尤其是對于尚未在臨床實(shí)踐中建立良好的新成像模式。此外君仆，高等級不平衡或變異性不足high-class imbalance or insufficient variability的數(shù)據(jù)[55]通常會導(dǎo)致分類性能差柬批。因此啸澡，我們的模型可以合成更多的多模態(tài)圖像，這些圖像可以作為補(bǔ)充訓(xùn)練數(shù)據(jù)來提高當(dāng)前深度學(xué)習(xí)模型的泛化能力氮帐。

---結(jié)論---

在本文中提出了一種新的用于多模態(tài)MR圖像合成的端到端混合融合網(wǎng)絡(luò)嗅虏。具體地說，該方法探索了每個模態(tài)中特定于模態(tài)的屬性上沐，同時利用了多個模態(tài)之間的相關(guān)性皮服。此外，我們還提出了一種分層融合策略参咙，可以有效地融合多種模態(tài)的不同特征層龄广。此外，還提出了一個MFB模塊來自適應(yīng)加權(quán)不同的融合策略蕴侧。在多個合成任務(wù)中的實(shí)驗(yàn)結(jié)果表明择同，我們提出的模型在定量和定性方面都優(yōu)于其他最先進(jìn)的合成方法。在未來將驗(yàn)證合成圖像作為一種數(shù)據(jù)增廣形式是否能夠提高多模態(tài)學(xué)習(xí)性能净宵。