原文：Unpaired Multi-contrast MR Image Synthesis Using Generative Adversarial Networks
論文來自2019MICCAI
摘要：
一些醫(yī)學(xué)圖像在某些情況下可能不容易獲得，因此從能得到的圖像出發(fā)生成不能得到的圖像有較大的醫(yī)學(xué)價(jià)值亮蛔。普通的GAN不能使用一個(gè)生成器和判別器生成多種與之相對應(yīng)的不同模態(tài)的圖像诵肛，因此對于生成多個(gè)模態(tài)的圖像需要多個(gè)模型紊册。針對這個(gè)問題假颇，本文提出了新的模型漂辐，使用Star-GAN來實(shí)現(xiàn)一到多的生成亚铁。本文引入了新的損失函數(shù)失息，它強(qiáng)制生成器生成高質(zhì)量的圖像，在視覺上更真實(shí)募舟，并且有很好的結(jié)構(gòu)相似性祠斧。在IXI數(shù)據(jù)集上學(xué)習(xí)所有可能的映射（T1,T2,PD,MRA），定性和定量都比較好拱礁。
介紹
因?yàn)樯疃葘W(xué)習(xí)的訓(xùn)練需要很多數(shù)據(jù)琢锋，但是標(biāo)注代價(jià)昂貴因此為了提高深度學(xué)習(xí)的表現(xiàn)，通過生成一些圖像的方法來實(shí)現(xiàn)數(shù)據(jù)增廣是有研究價(jià)值的呢灶。傳統(tǒng)方法通過cycle-gan 吩蔑、c-gan 、wasserstein-gan或者pix2pix來實(shí)現(xiàn)一對一的生成填抬。我們使用star-gan和U-NET來實(shí)現(xiàn)一對多的生成烛芬。模型能夠以無監(jiān)督的形式訓(xùn)練，這樣能夠使生成器學(xué)習(xí)不同種模態(tài)的通用的幾何特征飒责。無監(jiān)督的方式也消除了成對數(shù)據(jù)的要求赘娄，因此對數(shù)據(jù)的限制較小。
在損失方面宏蛉，使用結(jié)構(gòu)相似性來約束小細(xì)節(jié)特征遣臼。除此之外還采用了‘學(xué)習(xí)感知圖像塊相似性’（ Learned Perceptual Image Patch Similarity (LPIPS)不知道怎么翻譯，目前第一次看到拾并。）模型實(shí)現(xiàn)1輸入4輸出揍堰。
方法：
能夠?qū)崿F(xiàn)四種模態(tài)之間的轉(zhuǎn)化，輸入一個(gè)和一個(gè)目標(biāo)域能夠產(chǎn)生出相對的圖像嗅义。
U-net用來實(shí)現(xiàn)兩種生成屏歹，一種是輸入一個(gè)域和另一個(gè)域的標(biāo)簽，通過深度級(jí)聯(lián)（depth-wise concatenat）然后生成另一個(gè)域的假的圖像之碗。另一中是輸入假的圖像和原始的標(biāo)簽生成由假圖重建的圖像蝙眶。第一步的生成用來計(jì)算對抗損失和分類損失。第二部分的生成中用來計(jì)算相似性的損失包括（L1范數(shù)褪那，DSSIM,LPIPS）
過程和star-gan一樣
損失函數(shù)
對抗損失
本文使用正則化的帶有梯度懲罰的Wassersteing GAN (WGAN-GP)幽纷，能夠穩(wěn)定學(xué)習(xí)，和增強(qiáng)生成圖像的質(zhì)量博敬。定義如下：
第一項(xiàng)損失是WGAN-GP損失友浸，第二項(xiàng)是正則化項(xiàng)
G（x,c）表示輸入x圖像和目標(biāo)域的標(biāo)簽生成的假圖像。
x' and x''是與x相近的相距很近的數(shù)據(jù)偏窝。D_是從第二層到最后一層判別器的輸出收恢。
這部分看的不是太明白武学。具體可能因?yàn)閃GAN沒有看過把。應(yīng)該原始論文中有派诬，需要后面完善劳淆。
分類損失
使生成器生成正確域的圖像
第一個(gè)式子使真圖的分類損失链沼，第二個(gè)是假圖的分類損失默赂。
生成損失
因?yàn)長1范數(shù)關(guān)注點(diǎn)在整張圖像而忽視了區(qū)塊（patch）之間的相似性。為此我們增加了兩項(xiàng)來強(qiáng)化約束小區(qū)域括勺，和結(jié)構(gòu)相似性缆八。
1）DSSIM損失：是SSIM損失的升級(jí)
2）LPIPS損失：https://arxiv.org/abs/1801.03924 還未看。
因此重建損失為
總的損失為
網(wǎng)絡(luò)結(jié)構(gòu)
生成器是Unet結(jié)構(gòu)疾捍。判別器是基于PatchGAN的判別器奈辰。
實(shí)驗(yàn)和結(jié)果
使用LXI數(shù)據(jù)集 IXI dataset
定量分析：
定性分析：
個(gè)人看法：
emmmm不應(yīng)該和star-gan比較把。應(yīng)該和介紹中提到的其他方法比較把乱豆。cycle奖恰，cgan之類的把。star-gan直接應(yīng)用在這上面肯定效果不是很好啊宛裕。這個(gè)比較個(gè)人覺得無意義瑟啃。
