論文地址：Generative Adversarial Network in Medical Imaging: A Review

github Reference link：Awesome GAN for Medical Imaging

翻譯

摘要

生成對抗網(wǎng)絡(luò)由于其數(shù)據(jù)生成能力而在沒有明確建模概率密度函數(shù)的情況下在計算機(jī)視覺社區(qū)中獲得了很多關(guān)注。 鑒別器帶來的對抗性損失提供了一種巧妙的方法膊升，可以將未標(biāo)記的樣本納入訓(xùn)練并實(shí)現(xiàn)更高的順序一致性宋渔。 事實(shí)證明凌埂，這在許多情況下是有用的，例如域適應(yīng)箱熬，數(shù)據(jù)增強(qiáng)和圖像到圖像轉(zhuǎn)換宠漩。 這些屬性吸引了醫(yī)學(xué)成像領(lǐng)域的研究人員磨澡，我們已經(jīng)看到許多傳統(tǒng)和新穎應(yīng)用的快速采用，如圖像重建笔宿，分割犁钟，檢測棱诱，分類和跨模態(tài)合成。 根據(jù)我們的觀察涝动，這一趨勢將繼續(xù)下去迈勋，因此我們利用對抗性訓(xùn)練計劃對醫(yī)學(xué)成像的最新進(jìn)展進(jìn)行了回顧，希望能夠使對該技術(shù)感興趣的研究人員受益醋粟。

關(guān)鍵詞：Deeplearning靡菇，Generative adversarial network，Generative model昔穴，Medical imaging镰官，Review

1. 介紹

隨著2012年開始的計算機(jī)視覺深度學(xué)習(xí)的復(fù)興（Krizhevsky等，2012）吗货，醫(yī)學(xué)成像中深度學(xué)習(xí)方法的采用大幅增加泳唠。據(jù)估計，2016年和2017年在主要醫(yī)學(xué)影像相關(guān)會議場所和期刊上發(fā)表了400多篇論文（Litjens等宙搬，2017）笨腥。在醫(yī)學(xué)成像領(lǐng)域廣泛采用深度學(xué)習(xí)是因?yàn)樗哂醒a(bǔ)充圖像解釋和增強(qiáng)圖像表示和分類的潛力。在本文中勇垛，我們將重點(diǎn)放在深度學(xué)習(xí)領(lǐng)域最有趣的近期突破之一 - 生成對抗網(wǎng)絡(luò)（GAN） - 以及它們在醫(yī)學(xué)成像領(lǐng)域的潛在應(yīng)用脖母。
GAN是一種特殊類型的神經(jīng)網(wǎng)絡(luò)模型，其中兩個網(wǎng)絡(luò)同時被訓(xùn)練闲孤，一個側(cè)重于圖像生成谆级，另一個側(cè)重于區(qū)分。對抗性訓(xùn)練方案因其在抵制領(lǐng)域轉(zhuǎn)移方面的有用性以及產(chǎn)生新圖像樣本的有效性而在學(xué)術(shù)界和工業(yè)界引起了關(guān)注讼积。該模型在許多圖像生成任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能肥照，包括文本到圖像合成（Xu et al.，2017）勤众，超分辨率（Ledig等舆绎，2017）和圖像 - 圖像轉(zhuǎn)換（Zhu et al.，2017a）们颜。
與源于20世紀(jì)80年代的深度學(xué)習(xí)不同（Fukushima和Miyake吕朵，1982），對抗性的概念相對來說是非常重要的進(jìn)步（Good-fellow et al.窥突，2014）努溃。本文概述了GAN，描述了它們在醫(yī)學(xué)成像中的有前途的應(yīng)用阻问，并確定了一些需要解決的挑戰(zhàn)茅坛，以使它們能夠成功應(yīng)用于其他醫(yī)學(xué)成像相關(guān)任務(wù)。
為了全面概述醫(yī)學(xué)影像中GAN的所有相關(guān)工作，我們搜索了包括PubMed贡蓖，arXiv在內(nèi)的數(shù)據(jù)庫曹鸠，國際醫(yī)學(xué)圖像計算和計算機(jī)輔助干預(yù)會議（MICCAI），SPIE醫(yī)學(xué)影像斥铺，IEEE國際研討會生物醫(yī)學(xué)成像（ISBI）和國際深度學(xué)習(xí)醫(yī)學(xué)影像學(xué)會議（MIDL）彻桃。我們還合并了上述搜索過程中未識別的交叉引用作品。由于每月都有研究出版物出現(xiàn)晾蜘，而且沒有失去一般性邻眷，我們將搜索的截止時間設(shè)定為2018年7月30日。僅報告初步結(jié)果的arXiv的工作被排除在本次審查之外剔交∷寥模基于任務(wù)，成像模態(tài)和年份的這些論文的描述性統(tǒng)計數(shù)據(jù)可以在圖1中找到岖常。
在本文的其余結(jié)構(gòu)如下驯镊。我們首先簡要介紹第2節(jié)中GAN的原理及其一些結(jié)構(gòu)變體。然后在第3節(jié)中使用GAN對醫(yī)學(xué)圖像分析任務(wù)進(jìn)行全面審查竭鞍，包括但不限于放射學(xué)領(lǐng)域板惑，組織病理學(xué)和皮膚病學(xué)。我們根據(jù)規(guī)范任務(wù)對所有作品進(jìn)行分類：重建偎快，圖像合成冯乘，分割，分類晒夹，檢測裆馒，注冊等。第4節(jié)總結(jié)了該評論丐怯，并討論了前瞻性應(yīng)用和識別性挑戰(zhàn)喷好。

Figure 1.png

圖1：（a）根據(jù)規(guī)范任務(wù)對GAN相關(guān)論文進(jìn)行分類。 （b）根據(jù)成像模式對GAN相關(guān)論文進(jìn)行分類响逢。 （c）2014年發(fā)布的GAN相關(guān)論文數(shù)量。請注意棕孙，一些工作執(zhí)行了各種任務(wù)舔亭，并對具有不同模態(tài)的數(shù)據(jù)集進(jìn)行了評估。 我們在繪制這些圖時多次計算這些作品蟀俊。 基于源域計算與跨域圖像傳輸相關(guān)的工作钦铺。 圖（a）和（b）中的統(tǒng)計數(shù)據(jù)基于2018年7月30日或之前公布的論文。

Figure 2.png

圖2：用于在CT圖像上合成肺結(jié)節(jié)的vanilla GAN的示意圖肢预。 上圖顯示了網(wǎng)絡(luò)配置矛洞。 下面的部分顯示了生成器G和鑒別器D的輸入，輸出和內(nèi)部特征表示.G將樣本從變換為生成的結(jié)節(jié)。 D是二元分類器沼本，其分別區(qū)分由和形成的肺結(jié)節(jié)的生成和真實(shí)圖像噩峦。

2. 背景

2.1. Vanilla GAN

香草GAN（Goodfellow等，2014）是一種生成模型抽兆，設(shè)計用于直接從所需的數(shù)據(jù)分布中抽取樣本识补，而無需明確地模擬潛在的概率密度函數(shù)。它由兩個神經(jīng)網(wǎng)絡(luò)組成：發(fā)生器G和鑒別器D.G辫红，z的輸入是從先前分布p（z）中采樣的純隨機(jī)噪聲凭涂，通常選擇為高斯分布或均勻分布。簡單贴妻。預(yù)計G切油，xg的輸出與從真實(shí)數(shù)據(jù)分布pr（x）中提取的實(shí)際樣本xr具有視覺相似性。我們將由θg參數(shù)化的G學(xué)習(xí)的非線性映射函數(shù)表示為xg = G（z;θg）名惩。 D的輸入是實(shí)際或生成的樣本澎胡。 D，y1的輸出是單個值绢片，表示輸入是真實(shí)或假冒樣本的概率滤馍。由θd參數(shù)化的D學(xué)習(xí)的映射表示為y1 = D（x;θd）。生成的樣本形成分布pg（x）底循，其在成功訓(xùn)練后需要是pr（x）的近似值巢株。圖2的頂部顯示了香草GAN配置的圖示。在該示例中熙涤，G生成描繪肺結(jié)節(jié)的2D CT切片阁苞。
D的目標(biāo)是區(qū)分這兩組圖像，而生成器G被訓(xùn)練以盡可能地混淆辨別器D.直觀地說祠挫，G可以被視為試圖生產(chǎn)一些優(yōu)質(zhì)假冒偽劣材料的偽造者那槽，D可以被視為試圖檢測偽造物品的警察。在另一種觀點(diǎn)中等舔，我們可以將G視為從D接收獎勵信號骚灸，這取決于生成的數(shù)據(jù)是否準(zhǔn)確。梯度信息從D傳播回G慌植，因此G調(diào)整其參數(shù)以產(chǎn)生可以欺騙D的輸出圖像.D和G的訓(xùn)練目標(biāo)可以用數(shù)學(xué)表達(dá)為：
{%endraw%}
可以看出甚牲，D只是具有最大對數(shù)似然目標(biāo)的二元分類器。 如果鑒別器D在下一個發(fā)生器G更新之前被訓(xùn)練為最優(yōu)蝶柿，則最小化LGAN被證明等同于最小化pr（x）和pg（x）之間的Jensen-Shannon（JS）偏差（Goodfellow等人丈钙，2014））。 訓(xùn)練后的預(yù)期結(jié)果是xg形成的樣本應(yīng)該接近實(shí)際數(shù)據(jù)分布pr（x）交汤。

2.2. Variants of GANs

上述GAN訓(xùn)練目標(biāo)被認(rèn)為是鞍點(diǎn)優(yōu)化問題（Yadav等雏赦，2018），訓(xùn)練通常通過基于梯度的方法完成。 G和D從頭開始交替訓(xùn)練星岗，以便它們可以一起進(jìn)化填大。但是，G和D訓(xùn)練與JS分歧之間無法保證平衡伍茄。因此栋盹，一個網(wǎng)絡(luò)可能不可避免地比另一個網(wǎng)絡(luò)更強(qiáng)大，在大多數(shù)情況下是D.當(dāng)D變得太強(qiáng)而不是G時敷矫，生成的樣本變得太容易與實(shí)際的分離例获，從而達(dá)到D的梯度逼近零的階段，沒有為G的進(jìn)一步訓(xùn)練提供指導(dǎo)曹仗。由于難以產(chǎn)生有意義的高頻細(xì)節(jié)榨汤，因此在生成高分辨率圖像時更頻繁地發(fā)生這種情況。
在訓(xùn)練GAN中通常面臨的另一個問題是模式崩潰怎茫，正如名稱所示收壕，這是由G學(xué)習(xí)的分布pg（x）關(guān)注數(shù)據(jù)分布pr（x）的一些有限模式的情況。因此轨蛤，它不是產(chǎn)生不同的圖像蜜宪，而是產(chǎn)生一組有限的樣本。

Figure 3.png

圖3：GAN變體的示意圖祥山。 c表示條件向量圃验。 在CGAN和ACGAN中，c是對類標(biāo)簽進(jìn)行編碼的離散分類代碼（例如缝呕，一個熱向量）澳窑，在InfoGAN中，它也可以是對屬性進(jìn)行編碼的連續(xù)代碼供常。 xg通常是指生成的圖像摊聋，但也可以是SGAN中的內(nèi)部表示。

2.2.1. Varying objective of D*

為了穩(wěn)定訓(xùn)練并避免模式崩潰栈暇，已經(jīng)提出了D的不同損失麻裁，例如f-發(fā)散（f-GAN）（Nowozin等，2016）源祈，最小二乘（LS-GAN）（Mao et al煎源。，2016）新博，鉸鏈損失（Miyato等薪夕，2018）和Wasserstein距離（WGAN脚草，WGAN-GP）（Arjovsky等赫悄，2017; Gulrajani等，2017）。其中埂淮，Wasserstein距離可以說是最受歡迎的指標(biāo)姑隅。作為真/假歧視方案的替代方案，Springenberg（2015）提出了一個基于熵的目標(biāo)倔撞，其中鼓勵實(shí)際數(shù)據(jù)進(jìn)行自信的類預(yù)測（CatGAN讲仰，圖3b）。在EBGAN（Zhao等人痪蝇，2016）和BEGAN（Berthelot等人鄙陡，2017）（圖3c）中，用于鑒別器的常用編碼器架構(gòu)被替換為自動編碼器架構(gòu)躏啰。然后趁矾，D的目標(biāo)變?yōu)槠ヅ渥詣泳幋a器丟失分布而不是數(shù)據(jù)分布。
GAN本身缺乏推斷機(jī)制给僵，根據(jù)定義毫捣，推斷機(jī)制可以預(yù)測可能編碼輸入的潛在向量。因此帝际，在ALI（Dumoulin等人蔓同，2016）和BiGAN（Donahue等人，2016）（圖3d）中蹲诀，結(jié)合了單獨(dú)的編碼器網(wǎng)絡(luò)斑粱。然后D的目標(biāo)是分離聯(lián)合樣本（xg，zg）和（xr侧甫，zr）珊佣。在InfoGAN中（圖3e），鑒別器輸出潛在向量披粟，該潛向向量編碼所生成圖像的部分語義特征咒锻。鑒別器使所生成的圖像與所生成的圖像所依賴的潛在屬性向量之間的互信息最大化。成功培訓(xùn)后守屉，InfoGAN可以探索固有的數(shù)據(jù)屬性惑艇，并根據(jù)這些屬性執(zhí)行條件數(shù)據(jù)生成。已經(jīng)證明類標(biāo)簽的使用可以進(jìn)一步提高生成圖像的質(zhì)量拇泛，并且通過強(qiáng)制D提供類概率并使用交叉熵?fù)p失進(jìn)行優(yōu)化（例如在ACGAN中使用）（Odena等滨巴， 2016）（圖3f）。

Figure 4.png

圖4：用于圖像到圖像轉(zhuǎn)換的cGAN框架俺叭。 pix2pix需要對齊的訓(xùn)練數(shù)據(jù)恭取，而這種約束在CycleGAN中放寬，但通常會受到性能損失的影響熄守。 請注意蜈垮，在（a）中耗跛，我們選擇重建損失作為目標(biāo)一致性的示例。 這種監(jiān)督與任務(wù)有關(guān)攒发，可以采取許多其他形式调塌。 （c）它由兩個VAEGAN組成，在VAE部分具有共享的潛在向量惠猿。

2.2.2. Varying objective of G

在香草GAN中羔砾，G將噪聲z轉(zhuǎn)換為樣本xg = G（z）。這通常通過使用解碼器網(wǎng)絡(luò)逐步增加輸出的空間大小來實(shí)現(xiàn)偶妖，直到達(dá)到所需的分辨率姜凄，如圖2所示.Larsen等人。 （2015）提出了變分自動編碼器網(wǎng)絡(luò)（VAE）作為G的基礎(chǔ)架構(gòu)（VAEGAN趾访，圖3g）檀葛，其中它可以使用逐像素重建損失來強(qiáng)制VAE的解碼器部分生成與真實(shí)圖像匹配的結(jié)構(gòu)。
GAN的原始設(shè)置對其可以生成的數(shù)據(jù)模式?jīng)]有任何限制腹缩。然而屿聋，如果在生成期間提供輔助信息，則可以驅(qū)動GAN以輸出具有期望屬性的圖像藏鹊。在這種情況下润讥，GAN通常被稱為條件GAN（cGAN），并且生成過程可以表示為xg = G（z盘寡，c）楚殿。
最常見的條件輸入之一c是圖像。 pix2pix是第一個基于通用GAN的圖像到圖像轉(zhuǎn)換框架竿痰，由Isola等人提出脆粥。 （2016）（圖4 a）。此外影涉，任務(wù)相關(guān)的監(jiān)督被引入發(fā)電機(jī)变隔。例如，用于圖像恢復(fù)的重建損失和用于分割的骰子損失（Milletari等蟹倾，2016）匣缘。這種形式的監(jiān)督需要一致的訓(xùn)練對。朱等人鲜棠。 （2017A）; Kim等人肌厨。 （2017）通過從頭到腳拼接兩個發(fā)生器來放松這種約束，這樣圖像可以在兩組不成對的樣本之間進(jìn)行轉(zhuǎn)換（圖4b）豁陆。為簡單起見柑爸，我們在本文的其余部分選擇了CycleGAN來表示這一想法。另一個名為UNIT的模型（圖4c）也可以通過將兩個VAEGAN組合在一起來執(zhí)行不成對的圖像到圖像變換盒音，每個模型對一種模態(tài)負(fù)責(zé)但共享相同的潛在空間（Liu et al表鳍。何址，2017a）。這些圖像到圖像翻譯框架由于其普遍適用性而在醫(yī)學(xué)成像領(lǐng)域中非常流行进胯。
除了圖像，條件輸入可以是類標(biāo)簽（CGAN原押，圖3h）（Mirza和Osindero胁镐，2014），文本描述（Zhang et al诸衔。盯漂，2017a），對象位置（Reed等笨农，2016a） 就缆，b），周圍的圖像背景（Pathak等谒亦，2016）竭宰，或草圖（Sangkloy等，2016）份招。請注意切揭，上一節(jié)中提到的ACGAN也有一個類條件生成器。

2.2.3. Varying architecture

完全連接的層用作香草GAN中的構(gòu)建塊锁摔，但后來被DCGAN中的完全卷積下采樣/上采樣層取代（Radford等廓旬，2015）。 DCGAN表現(xiàn)出更好的訓(xùn)練穩(wěn)定性谐腰，因此迅速填補(bǔ)了文獻(xiàn)孕豹。如圖2所示，DCGAN架構(gòu)中的發(fā)生器通過連續(xù)的上采樣操作對隨機(jī)輸入噪聲矢量進(jìn)行處理十气，最終生成一個圖像励背。其重要的成分中的兩個是BatchNorm（約費(fèi)和Szegedy，2015）用于調(diào)節(jié)EX-牙牙特征尺度砸西，和LeakyRelu（馬斯等人椅野，2013），用于預(yù)排放死梯度籍胯。最近竟闪，Miyato等人。 （2018）提出了光譜歸一化層杖狼，其在鑒別器中對權(quán)重進(jìn)行歸一化以調(diào)節(jié)特征響應(yīng)值的規(guī)模炼蛤。與訓(xùn)練穩(wěn)定性提高，一些作品也摻入剩余的連接到這兩個屬蝶涩，Tor和鑒別器和與深得多的NET-作品試驗(yàn)（Gulrajani等人理朋，2017年;宮戶等人絮识，2018）。 Miyato和Koyama（2018）的工作提出了一種基于投影的方法來結(jié)合條件信息而不是直接連接嗽上，并發(fā)現(xiàn)它有利于提高生成圖像的質(zhì)量次舌。
從噪聲矢量中直接生成高分辨率圖像很難，因此一些工作已經(jīng)提出以漸進(jìn)方式處理它兽愤。在LAPGAN（圖3i）中彼念，Denton等人。 （2015）提出了一堆GAN浅萧，每個GAN將更高頻率的細(xì)節(jié)添加到生成的圖像中逐沙。在SGAN，甘斯的CAS-杜松也用于但每個GAN產(chǎn)生越來越低的級表示（Huang等人洼畅，2017）吩案，其與從區(qū)別地訓(xùn)練模型中提取的分層表示進(jìn)行比較〉鄞兀卡拉斯等人徘郭。 （2017）采用了另一種方式，通過向它們添加新層來逐步增長發(fā)生器和鑒別器丧肴，而不是在前一個GAN之上堆疊另一個GAN（PGGAN）崎岂。在條件設(shè)定中也探索了這種進(jìn)步的想法（Wang等，2017b）闪湾。
最具代表性的GAN的示意圖如圖3所示冲甘。它們是GAN，CatGAN途样，EBGAN / BEGAN江醇，ALI / BiGAN，InfoGAN何暇，ACGAN陶夜，VAEGAN，CGAN裆站，LAPGAN条辟，SGAN。三個流行的圖像到圖像轉(zhuǎn)換cGAN（pix2pix宏胯，CycleGAN和UNIT）如圖4所示羽嫡。為了對這些不同的GAN變體進(jìn)行更深入的回顧和實(shí)證評估，我們引用了讀者（Huang et al肩袍。 杭棵，2018; Creswell等，2018; Kurach等氛赐，2018）魂爪。

3. 在醫(yī)學(xué)成像中的應(yīng)用

GAN通常有兩種用于醫(yī)學(xué)成像的方法先舷。 第一個側(cè)重于生成方面，它可以幫助探索和發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)的基礎(chǔ)結(jié)構(gòu)和學(xué)習(xí)生成新圖像滓侍。 這個屬性使GAN在應(yīng)對數(shù)據(jù)稀缺性和患者隱私方面非常有前途蒋川。 第二個側(cè)重于辨別方面，其中鑒別器D可以被視為正常圖像的學(xué)習(xí)先驗(yàn)撩笆，使得當(dāng)呈現(xiàn)異常圖像時它可以用作正則化器或檢測器捺球。 圖5提供了GAN相關(guān)應(yīng)用的示例，示例（a）浇衬，（b），（c）餐济，（d）耘擂，（e），（f）側(cè)重于生成方面和示例（g）利用 歧視方面絮姆。

Figure 5.png

圖5：使用GAN的示例應(yīng)用程序醉冤。數(shù)字直接從相應(yīng)的紙張中裁剪。 （a）左側(cè)顯示噪聲污染的低劑量CT篙悯，右側(cè)顯示去噪的CT蚁阳，其很好地保留了肝臟中的低對比度區(qū)域（Yi和Babyn，2018）鸽照。 （b）左側(cè)顯示MR圖像螺捐，右側(cè)顯示合成的相應(yīng)CT。在所生成的CT圖像中很好地描繪了骨結(jié)構(gòu)（Wolterink等矮燎，2017a）定血。 （c）生成的視網(wǎng)膜眼底圖像具有左側(cè)血管圖中描繪的精確血管結(jié)構(gòu)（Costa等，2017b）诞外。 （d）隨機(jī)噪聲（惡性和良性混合物）隨機(jī)產(chǎn)生的皮膚病變（Yi et al澜沟。，2018）峡谊。 （e）成人胸部X射線的器官（肺和心臟）分割實(shí)例茫虽。肺和心臟的形狀受到對抗性損失的調(diào)節(jié)（Dai等，2017b）既们。 （f）第三列顯示了SWI序列中的域適應(yīng)腦損傷分割結(jié)果濒析，未經(jīng)相應(yīng)的手動注釋訓(xùn)練（Kamnitsas等，2017）啥纸。 （g）視網(wǎng)膜光學(xué)相干斷層掃描圖像的異常檢測（Schlegl等悼枢，2017）。

3.1. Reconstruction

由于臨床設(shè)置的限制脾拆，例如輻射劑量和患者舒適度馒索，所獲取的醫(yī)學(xué)圖像的診斷質(zhì)量可能受到噪聲和偽影的限制莹妒。在過去的十年中，我們已經(jīng)看到了重建方法的范式轉(zhuǎn)變绰上，從分析到迭代旨怠，現(xiàn)在轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的方法。這些基于數(shù)據(jù)驅(qū)動學(xué)習(xí)的方法要么學(xué)會將原始感官輸入直接傳輸?shù)捷敵鰣D像蜈块，要么作為后處理步驟來減少圖像噪聲和消除偽像鉴腻。本節(jié)中回顧的大多數(shù)方法都是直接從計算機(jī)視覺文獻(xiàn)中借鑒的，這些文獻(xiàn)將后處理作為圖像到圖像的翻譯問題百揭，其中cGAN的條件輸入以某些形式受到損害爽哎，例如低空間分辨率，噪聲污染器一，欠采樣或混疊课锌。一個例外是MR圖像，其中傅立葉變換用于將原始K空間數(shù)據(jù)合并到重建中祈秕。
基本pix2pix框架已用于低劑量CT去噪（Wolterink等渺贤，2017b），MR重建（Chen等请毛，2018b; Kim等志鞍，2018; Dar等，2018b; Shitrit和Raviv方仿，2017 ）和PET去噪（Wang等固棚，2018b）。預(yù)先訓(xùn)練的VGG網(wǎng)（Simonyan和Zisserman仙蚜，2014）進(jìn)一步納入優(yōu)化框架玻孟，以確保感知相似性（Yang等，2017b; Yu等鳍征，2017; Yang等黍翎，2018a; Armanious et al。艳丛，2018; Mahapatra匣掸，2017）。 Yi和Babyn（2018）介紹了一種預(yù)訓(xùn)練銳度檢測網(wǎng)絡(luò)氮双，明確約束去噪CT的清晰度碰酝，特別是低對比度區(qū)域。 Mahapatra（2017）計算了一個局部顯著圖戴差，以突出視網(wǎng)膜眼底成像超分辨率過程中的血管送爸。 Liao等人研究了類似的想法。 （2018）稀疏視圖CT重建。他們計算焦點(diǎn)圖以調(diào)整重建輸出袭厂，以確保網(wǎng)絡(luò)集中在重要區(qū)域墨吓。除了確保圖像域數(shù)據(jù)保真度之外，當(dāng)在MR重建中可獲得原始K空間數(shù)據(jù)時纹磺，也施加頻域數(shù)據(jù)保真度（Quan等帖烘，2018; Mardani等，2017; Yang等橄杨，2018a）秘症。
其他類型的損失已被用于突出重建中的局部圖像結(jié)構(gòu)，例如基于其感知相關(guān)性重新衡量每個像素的重要性的顯著性損失（Mahapatra，2017）以及PET去噪中的樣式內(nèi)容損失（ Armanious等，2018）。在運(yùn)動器官的圖像重建中，很難獲得成對的訓(xùn)練樣本受扳。因此，Rav`?等人。 （2018）提出了一種基于物理采集的損失來調(diào)節(jié)生成的用于內(nèi)鏡超分辨率的圖像結(jié)構(gòu)和Kang等人。 （2018）提出在心臟CT的去噪中使用CycleGAN以及身份損失锄列。 Wolterink等人图云。 （2017b）發(fā)現(xiàn)惯悠，在低劑量CT去噪中，當(dāng)從pix2pix幀中去除圖像域保真度損失時竣况，仍然可以獲得有意義的結(jié)果克婶，但是可以改變局部圖像結(jié)構(gòu)。表1總結(jié)了與醫(yī)學(xué)圖像重建相關(guān)的論文丹泉。

可以注意到情萤，對于所有重建任務(wù)，基礎(chǔ)方法幾乎相同摹恨。 MR是特殊情況筋岛，因?yàn)樗哂忻鞔_定義的前向和后向操作，即傅立葉變換晒哄，因此可以結(jié)合原始K空間數(shù)據(jù)睁宰。可以應(yīng)用相同的方法將正弦圖數(shù)據(jù)合并到CT重建過程中寝凌，但是我們還沒有看到任何使用這個想法的研究柒傻，可能是因?yàn)檎覉D數(shù)據(jù)很難獲得。使用的數(shù)據(jù)越多较木，原始K空間或來自其他序列的圖像红符，重建結(jié)果越好。一般而言，使用對抗性損失產(chǎn)生的視覺吸引力比單獨(dú)使用像素化重建損失更具吸引力预侯。但是使用對抗性損失來匹配生成的和實(shí)際的數(shù)據(jù)分布可能會使模型隱藏不可見的結(jié)構(gòu)致开。如果配對樣本可用，像素重建丟失有助于解決這個問題雌桑，并且如果模型是在所有健康圖像上訓(xùn)練但是用于重建具有病理的圖像喇喉，則由于域不匹配，幻覺問題仍然存在校坑〖鸺迹科恩等人。 （2018）進(jìn)行了廣泛的實(shí)驗(yàn)來研究這個問題耍目，并建議重建圖像不應(yīng)該用于放射科醫(yī)師的直接診斷膏斤，除非模型已經(jīng)過適當(dāng)?shù)尿?yàn)證。

然而邪驮，即使數(shù)據(jù)集經(jīng)過精心策劃以匹配培訓(xùn)和測試分布莫辨，還有其他問題可以進(jìn)一步提升性能。 我們已經(jīng)看到pix2pix框架引入了各種不同的損耗毅访，如表2所示沮榜，以提高本地結(jié)構(gòu)的重建保真度。 然而喻粹，除了依賴人類觀察者或下游圖像分析任務(wù)之外蟆融，沒有可靠的方法來比較它們的有效性。 人類觀察者目前缺乏基于GAN的重建方法的大規(guī)模統(tǒng)計分析守呜。 此外型酥，用于圖像重建的公共數(shù)據(jù)集不適用于進(jìn)一步的醫(yī)學(xué)圖像分析，這在上游重建和下游分析任務(wù)之間留下了空白查乒。 應(yīng)創(chuàng)建新的參考標(biāo)準(zhǔn)數(shù)據(jù)集弥喉，以便更好地比較這些基于GAN的方法。

3.2. Medical Image Synthesis

根據(jù)機(jī)構(gòu)協(xié)議玛迄，如果診斷圖像旨在用于出版物或發(fā)布到公共領(lǐng)域由境，則可能需要患者同意（Clinical Pracice Committee，2000）蓖议。醫(yī)學(xué)圖像合成是GAN最重要的用途之一虏杰，因?yàn)榕c診斷醫(yī)學(xué)圖像數(shù)據(jù)相關(guān)的隱私問題以及每種病理學(xué)的陽性病例數(shù)量通常不足。缺乏醫(yī)學(xué)圖像的專家對于采用監(jiān)督培訓(xùn)方法提出了另一個挑戰(zhàn)拒担。盡管多個醫(yī)療保健機(jī)構(gòu)正在進(jìn)行協(xié)作嘹屯，目的是建立一個大型的開放式訪問數(shù)據(jù)集，例如：生物銀行从撼，國家生物醫(yī)學(xué)影像檔案館（NBIA）州弟，癌癥影像檔案館（TCIA）和北美放射學(xué)家協(xié)會（RSNA）钧栖，這個問題仍然存在并限制了研究人員可能獲得的圖像數(shù)量。
增加訓(xùn)練樣本的傳統(tǒng)方法包括縮放婆翔，旋轉(zhuǎn)拯杠，翻轉(zhuǎn)，平移和彈性變形（Simard等啃奴，2003）潭陪。然而，這些變換不能解釋由不同成像方案或序列引起的變化最蕾，更不用說特定病理學(xué)的大小依溯，形狀，位置和外觀的變化瘟则。 GAN提供了更通用的解決方案黎炉，并且已經(jīng)在許多工作中用于增強(qiáng)具有有希望的結(jié)果的訓(xùn)練圖像。

3.2.1. Unconditional Synthesis

無條件合成是指從隨機(jī)噪聲生成圖像而沒有任何其他條件信息醋拧。醫(yī)學(xué)成像領(lǐng)域通常采用的技術(shù)包括DCGAN慷嗜，WGAN和PGGAN，因?yàn)樗鼈兙哂辛己玫挠?xùn)練穩(wěn)定性丹壕。前兩種方法可以處理高達(dá)256×256的圖像分辨率庆械，但如果需要更高分辨率的圖像，PGGAN中提出的漸進(jìn)技術(shù)是一種選擇菌赖。只要圖像之間的圖像變化不太大缭乘，例如肺結(jié)節(jié)和肝臟病變，就可以通過直接使用作者發(fā)布的代碼庫生成逼真的圖像盏袄。為了使生成的圖像對下游任務(wù)有用忿峻，大多數(shù)研究為每個單獨(dú)的班級訓(xùn)練了一個單獨(dú)的發(fā)生器;例如薄啥，F(xiàn)rid-Adar等人辕羽。 （2018）使用三種DCGAN產(chǎn)生三類肝臟病變（囊腫，轉(zhuǎn)移瘤和血管瘤）的合成樣本;發(fā)現(xiàn)生成的樣本對于病變分類任務(wù)是有益的垄惧，當(dāng)與實(shí)際訓(xùn)練數(shù)據(jù)相結(jié)合時刁愿，其靈敏度和特異性均得到提高。 Bermudez等人到逊。 （2018）聲稱神經(jīng)放射學(xué)家發(fā)現(xiàn)生成的MR圖像質(zhì)量與真實(shí)圖像質(zhì)量相當(dāng)铣口，但解剖學(xué)準(zhǔn)確性存在差異。表4總結(jié)了與無條件醫(yī)學(xué)圖像合成相關(guān)的論文觉壶。

3.2.2. Cross modality synthesis

由于多種原因脑题，交叉模態(tài)合成（例如基于MR圖像生成類似CT的圖像）被認(rèn)為是有用的，其中之一是減少額外的采集時間和成本铜靶。另一個原因是生成新的訓(xùn)練樣本叔遂，其外觀受到可用模態(tài)中描繪的解剖結(jié)構(gòu)的約束。本節(jié)中回顧的大多數(shù)方法與3.1節(jié)中的方法有許多相似之處∫鸭瑁基于pix2pix的框架用于可以共同注冊不同圖像模態(tài)數(shù)據(jù)以確保數(shù)據(jù)保真度的情況痊末。基于CycleGAN的框架用于處理注冊具有挑戰(zhàn)性的更一般情況哩掺，例如在汽車應(yīng)用中凿叠。在Wolterink等人的一項(xiàng)研究中。 （2017a）從MR圖像合成腦CT圖像嚼吞，作者發(fā)現(xiàn)使用不成對圖像的訓(xùn)練甚至比使用對齊圖像更好盒件。這很可能是因?yàn)閯傂耘錅?zhǔn)不能很好地處理咽喉，口腔舱禽，椎骨和鼻腔的局部對齊履恩。 Hiasa等。 （2018）在訓(xùn)練中進(jìn)一步引入梯度一致性損失以提高邊界處的準(zhǔn)確性呢蔫。張等人切心。 （2018c）發(fā)現(xiàn)在交叉模態(tài)合成中僅使用循環(huán)損失不足以減輕變換中的幾何失真。因此片吊，他們采用了從兩個分段器（分段網(wǎng)絡(luò)）獲得的形狀一致性損失绽昏。每個分段或?qū)⑾鄳?yīng)的圖像模態(tài)分割成語義標(biāo)簽，并在翻譯期間提供對解剖結(jié)構(gòu)的隱式形狀約束俏脊。為了使整個系統(tǒng)端到端可訓(xùn)練全谤，需要從兩種模態(tài)中獲得訓(xùn)練圖像的語義標(biāo)簽。張等人爷贫。 （2018b）和陳等人认然。 （2018a）提出在僅使用一種模態(tài)的標(biāo)簽的循環(huán)轉(zhuǎn)移中也使用分段器。因此漫萄，在圖像傳輸網(wǎng)絡(luò)的訓(xùn)練期間離線訓(xùn)練分段器并固定卷员。如第2節(jié)所述，UNIT和CycleGAN是兩個同等有效的非配對交叉模態(tài)綜合框架腾务。結(jié)果發(fā)現(xiàn)毕骡，這兩個框架幾乎同樣適用于T1和T2加權(quán)MR圖像之間的轉(zhuǎn)換（Welander等，2018）岩瘦。與交叉模態(tài)醫(yī)學(xué)圖像合成相關(guān)的論文總結(jié)在表5中未巫。

3.2.3. Other conditional synthesis

醫(yī)學(xué)圖像可以通過對分割圖，文本启昧，位置或合成圖像等的約束來生成叙凡。這對于在非常見條件下合成圖像非常有用，例如肺結(jié)節(jié)接觸肺部邊界（Jin等密末，2018b）握爷。 此外宰啦，條件分割圖也可以從GAN（Guibas等，2017）或從預(yù)訓(xùn)練的分割網(wǎng)絡(luò)（Costa等饼拍，2017a）生成赡模，通過使該生成為兩階段過程。 Mok和Chung（2018）使用cGAN來增強(qiáng)用于腦腫瘤分割的訓(xùn)練圖像师抄。 生成器以分割圖為條件漓柑，并以粗略到精細(xì)的方式生成腦MR圖像。 為了確保在生成的圖像中用清晰的邊界很好地描繪腫瘤叨吮，它們進(jìn)一步迫使發(fā)生器在生成過程中輸出腫瘤邊界辆布。 表6總結(jié)了綜合工作的完整清單。

3.3. Segmentation

通常茶鉴，研究人員使用像素方式或體素方式的損失（例如交叉熵）進(jìn)行分割锋玲。盡管U-net（Ronneberger等，2015）用于結(jié)合低級和高級特征涵叮，但無法保證最終分割圖中的空間一致性惭蹂。傳統(tǒng)上，通過結(jié)合空間相關(guān)性割粮，通常采用條件隨機(jī)場（CRF）和圖切割方法進(jìn)行分割細(xì)化盾碗。它們的局限性在于它們只考慮成對電位，這可能會導(dǎo)致低對比度區(qū)域出現(xiàn)嚴(yán)重的邊界泄漏舀瓢。另一方面廷雅，鑒別器引入的對抗性損失可以考慮高階電位（Yang et al。京髓，2017a）航缀。在這種情況下，鑒別器可以被視為形狀調(diào)節(jié)器堰怨。這種調(diào)節(jié)效應(yīng)也可以應(yīng)用于分離器的內(nèi)部特征芥玉，以實(shí)現(xiàn)域（不同掃描儀，成像協(xié)議诚些，模態(tài)）不變性（Kamnitsas等飞傀，2017; Dou等皇型，2018）诬烹。
薛等人。 （2018）在判別器中使用了多尺度L1損耗弃鸦，其中來自不同深度的特征被比較绞吁。這證明在分段圖上實(shí)施多尺度空間約束是有效的，并且該系統(tǒng)在BRATS 13和15挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能唬格。張等人家破。 （2017c）建議在分割流水線中使用帶注釋和未注釋的圖像颜说。注釋圖像的使用方式與（Xue et al。汰聋，2018; Son et al门粪。，2017）相同烹困，其中應(yīng)用了元素?fù)p失和經(jīng)濟(jì)損失玄妈。另一方面，未注釋的圖像僅用于計算分割圖以混淆鑒別器髓梅。 Li和Shen（2018）將pix2pix與ACGAN結(jié)合用于分割不同細(xì)胞類型的熒光顯微鏡圖像拟蜻。他們發(fā)現(xiàn)輔助分類器分支的引入為判別器和分段器提供了調(diào)節(jié)。
與上述分段工作不同枯饿，其中使用經(jīng)驗(yàn)訓(xùn)練來確保最終分割圖上的更高階結(jié)構(gòu)一致性酝锅，（Zhu等，2017b）中的對抗訓(xùn)練方案強(qiáng)制網(wǎng)絡(luò)不變性對訓(xùn)練樣本的小擾動奢方。為了減少小數(shù)據(jù)集的過度擬合搔扁。表8總結(jié)了與醫(yī)學(xué)圖像分割相關(guān)的論文。

3.4. Classification

胡等人蟋字。 （2017a）在組織病理學(xué)圖像中使用組合的WGAN和InfoGAN進(jìn)行無監(jiān)督的細(xì)胞水平特征表示學(xué)習(xí)阁谆，而Yi等人。 （2018）將WGAN和CatGAN組合用于皮膚鏡檢查圖像的無監(jiān)督和半監(jiān)督特征表示學(xué)習(xí)愉老。兩個作品都從鑒別器中提取特征场绿，并在頂部構(gòu)建分類器。 Madani等人嫉入。 （2018b）和Lahiri等焰盗。 （2017）分別采用DCGAN的半監(jiān)督訓(xùn)練方案進(jìn)行胸部異常分類和視網(wǎng)膜血管分類。他們發(fā)現(xiàn)咒林，半監(jiān)督的DCGAN可以實(shí)現(xiàn)與傳統(tǒng)監(jiān)督的CNN相當(dāng)?shù)男阅馨揪埽渲袠?biāo)記數(shù)據(jù)的數(shù)量級更少。此外垫竞，Madani等人澎粟。 （2018b）還表明，通過簡單地向鑒別器提供未標(biāo)記的測試域圖像欢瞪，平面損失可以減少域過度擬合活烙。
大多數(shù)使用GAN生成新訓(xùn)練樣本的其他作品已在第3.2.1節(jié)中提及。這些研究應(yīng)用了兩個階段的過程遣鼓，第一階段學(xué)習(xí)增強(qiáng)圖像啸盏，第二階段學(xué)習(xí)通過采用傳統(tǒng)的分類網(wǎng)絡(luò)進(jìn)行分類。這兩個階段是脫節(jié)訓(xùn)練的骑祟，兩者之間沒有任何溝通回懦。優(yōu)點(diǎn)是气笙，如果提出更先進(jìn)的無條件綜合架構(gòu)，這兩個組件可以輕松更換怯晕，而下端則必須分別對每個類進(jìn)行生成（N類N個模型）潜圃，這不是內(nèi)存并且計算效率高。能夠執(zhí)行多個類別的條件合成的單個模型是積極的研究方向（Brock等舟茶，2018）秉犹。令人驚訝的是，F(xiàn)rid-Adar等人稚晚。 （2018）發(fā)現(xiàn)崇堵，對于每個病變類別使用單獨(dú)的GAN（DCGAN）導(dǎo)致病變分類的性能比對所有類別使用統(tǒng)一的GAN（ACGAN）更好。潛在的原因還有待探索客燕。此外鸳劳，（Fin- layson等，2018）認(rèn)為也搓，從GAN產(chǎn)生的圖像可以作為中等數(shù)據(jù)體系中的有效增強(qiáng)赏廓，但在高或低數(shù)據(jù)體系中可能沒有幫助。

3.5. Detection

Schlegl等人傍妒。 （2017）使用GAN來學(xué)習(xí)一系列正常的解剖變異性幔摸，并提出了一種新的異常評分方案，該方案基于測試圖像潛在代碼對學(xué)習(xí)流形的適應(yīng)性颤练。學(xué)習(xí)過程以無人監(jiān)督的方式進(jìn)行既忆，并通過最佳的異常檢測在光學(xué)相干斷層掃描（OCT）圖像上的表現(xiàn)來證明其有效性。 Alex等人嗦玖。 （2017）使用GAN對MR圖像進(jìn)行腦損傷檢測患雇。發(fā)生器用于模擬正常貼片的分布，并且訓(xùn)練的鑒別器用于計算以測試圖像中的每個像素為中心的貼片的后驗(yàn)概率宇挫。 Chen和Konukoglu（2018）使用對抗性自動編碼器來學(xué)習(xí)健康腦MR圖像的數(shù)據(jù)分布苛吱。然后通過探索學(xué)習(xí)的潛在空間將病變圖像映射到?jīng)]有病變的圖像，并且可以通過計算這兩個圖像的殘差來突出病變器瘪。我們可以看到所有檢測研究都針對難以枚舉的異常翠储。
在圖像重建部分中，已經(jīng)觀察到如果目標(biāo)分布是由沒有病理學(xué)的醫(yī)學(xué)圖像形成的橡疼，則由于分布匹配效應(yīng)援所，可以在基于CycleGAN的非配對圖像轉(zhuǎn)移中去除圖像內(nèi)的病變。然而衰齐，在這里可以看出任斋，如果目標(biāo)和源域具有相同的成像模態(tài)，僅在正常和異常組織方面不同耻涛，則這種不良效應(yīng)實(shí)際上可以用于異常檢測废酷。

3.6. Registration

cGAN還可用于多模態(tài)或單模式圖像配準(zhǔn)。在這種情況下抹缕，生成器將生成變換參數(shù)澈蟆，例如， 6用于3D剛性變換卓研，12用于3D仿射變換趴俘，或變換后的圖像。然后奏赘，鑒別器從未對準(zhǔn)的圖像對中區(qū)分對齊的圖像對寥闪。空間轉(zhuǎn)換網(wǎng)絡(luò)（Jaderberg等磨淌，2015）通常插在這兩個網(wǎng)絡(luò)之間疲憋，以實(shí)現(xiàn)端到端的培訓(xùn)。嚴(yán)等人梁只。 （2018b）使用該框架對前列腺M(fèi)R進(jìn)行經(jīng)直腸超聲（TRUS）圖像配準(zhǔn)缚柳。配對的培訓(xùn)數(shù)據(jù)是通過專家手動注冊獲得的。 （Mahapatra等搪锣，2018）使用CycleGAN進(jìn)行多模態(tài)（視網(wǎng)膜）和單模（MR）可變形配準(zhǔn)秋忙，其中發(fā)生器產(chǎn)生變換圖像和變形場。 Tanner等构舟。 （2018）通過首先將源域圖像變換到目標(biāo)域然后采用單模態(tài)圖像相似性度量來進(jìn)行配準(zhǔn)灰追，采用CycleGAN用于MR和CT之間的可變形圖像配準(zhǔn)。他們發(fā)現(xiàn)這種方法最多只能達(dá)到與傳統(tǒng)的多模態(tài)可變形配準(zhǔn)方法相似的性能狗超。

3.7. Other works

cGAN已被用于基于單個術(shù)前圖像對患者特定運(yùn)動分布進(jìn)行建模（Hu等监嗜，2017c）; 突出顯示對疾病最負(fù)責(zé)的區(qū)域（Baumgartner等，2017）和內(nèi)窺鏡視頻數(shù)據(jù)的重新著色（Ross等抡谐，2018）裁奇。 在（Mahmood等，2018）中麦撵，pix2pix用于放射治療中的治療計劃刽肠，通過預(yù)測CT圖像的劑量分布圖。

4. 討論

可在我們的GitHub存儲庫中找到已審閱論文的完整列表免胃。在2017年和2018年音五，GAN相關(guān)論文的數(shù)量顯著增加。這些論文中約有50％研究圖像合成羔沙，交叉模態(tài)圖像合成是GAN最重要的應(yīng)用躺涝。 MR被列為GAN相關(guān)文獻(xiàn)中探索的最常見的成像模式。我們認(rèn)為應(yīng)用GAN進(jìn)行MR圖像分析的部分原因是由于常規(guī)獲取多個序列以提供補(bǔ)充信息扼雏。由于獲取每個序列需要大量的采集時間坚嗜，如果可以減少采集序列的數(shù)量夯膀，GAN有可能減少M(fèi)R采集時間。由于圖像到圖像轉(zhuǎn)換框架的普及苍蔬，這些研究中的另外35％屬于分割和重建組诱建。在這些情況下的平行訓(xùn)練對發(fā)電機(jī)的輸出施加了強(qiáng)大的形狀和紋理調(diào)節(jié)，這使得它在這兩項(xiàng)任務(wù)中非常有前途碟绑。這些研究中只有6％用于分類俺猿，最有效的用例是對抗域轉(zhuǎn)移。檢測和注冊的研究數(shù)量非常有限格仲，很難得出任何結(jié)論押袍。
對于那些使用GAN進(jìn)行分類數(shù)據(jù)增強(qiáng)的研究，大多數(shù)都專注于生成易于對齊的微小物體凯肋，如結(jié)節(jié)谊惭，病變和細(xì)胞。我們認(rèn)為部分原因是這些圖像的內(nèi)容變化相對于完整的上下文圖像相對較小否过，這使得當(dāng)前技術(shù)的訓(xùn)練更加穩(wěn)定午笛。另一個原因可能與研究的計算預(yù)算有關(guān)，因?yàn)楦叻直媛蕡D像的訓(xùn)練需要大量的GPU時間苗桂。盡管有研究將GAN應(yīng)用于合成整個胸部X射線（Madani等药磺，2018a，b）煤伟，但有效性僅在相當(dāng)容易的任務(wù)中顯示癌佩，例如心臟異常分類和中等大小的數(shù)據(jù)方案，例如幾千張圖片便锨。隨著大量標(biāo)記數(shù)據(jù)集的出現(xiàn)围辙，例如CheXpert（Irvin等，2019）放案，GAN的潛力將在于合成非常見的病理病例姚建，最有可能通過條件生成來?xiàng)l件信息由醫(yī)學(xué)專家。
不同的成像模式通過利用組織對某些物理介質(zhì)（例如X射線或磁場）的響應(yīng)而起作用吱殉，因此可以彼此提供互補(bǔ)的診斷信息掸冤。作為監(jiān)督深度學(xué)習(xí)的常見實(shí)踐，標(biāo)記一種模態(tài)類型的圖像以訓(xùn)練網(wǎng)絡(luò)以完成期望的任務(wù)友雳。即使基礎(chǔ)解剖結(jié)構(gòu)相同稿湿，當(dāng)切換模態(tài)時也重復(fù)該過程，導(dǎo)致人力的浪費(fèi)押赊。對數(shù)訓(xùn)練饺藤，或更具體地說是不成對的交叉模態(tài)翻譯，可以在所有模態(tài)中重復(fù)使用標(biāo)簽，并為無監(jiān)督轉(zhuǎn)移學(xué)習(xí)開辟了新途徑（Dou et al涕俗。罗丰，2018）。

4.1. Future challenges

在圖像重建和交叉模態(tài)圖像合成中咽袜，大多數(shù)工作仍然采用傳統(tǒng)的淺參考指標(biāo)丸卷，如MAE枕稀，PSNR或SSIM進(jìn)行定量評估询刹。但是，這些測量不符合圖像的視覺質(zhì)量萎坷。即使像素方式丟失的直接優(yōu)化產(chǎn)生次優(yōu)（模糊）結(jié)果凹联，但它為這些測量提供的數(shù)字高于使用對抗性損失。在基于GAN的工程的水平比較中解釋這些數(shù)字變得越來越困難哆档，特別是當(dāng)結(jié)合表2所示的外部損失時蔽挠。緩解此問題的一種方法是使用下游任務(wù)（例如分段或分類）來驗(yàn)證生成樣本的質(zhì)量。另一種方法是招募領(lǐng)域?qū)＜夜辖@種方法昂貴澳淑，耗時且難以擴(kuò)展。最近插佛，張等人杠巡。 （2018a）提出了學(xué)習(xí)的感知圖像路徑相似性（LPIPS），其優(yōu)于先前的度量雇寇。 MedGAN（Armanious等氢拥，2018）已經(jīng)采用它來評估生成的圖像質(zhì)量，但是與經(jīng)驗(yàn)豐富的人類觀察者的主觀測量相比锨侯，看到它對不同類型的醫(yī)學(xué)圖像的有效性是有意義的嫩海。廣泛的研究。對于自然圖像囚痴，無條件生成的樣本質(zhì)量和多樣性通常通過初始評分（Salimans等叁怪，2016），隨機(jī)選擇的合成樣本對中的平均MS-SSIM度量來衡量（Odena等深滚，2016）奕谭，或Fre chet Inception distance（FID）（Heusel et al。成箫，2017）展箱。這些醫(yī)學(xué)圖像指標(biāo)的有效性仍有待探索。
除了GAN的許多積極效用之外蹬昌，現(xiàn)有的文獻(xiàn)也突出了它們在醫(yī)學(xué)成像方面的缺點(diǎn)混驰。雖然跨域圖像到圖像轉(zhuǎn)換在醫(yī)學(xué)成像中提供了許多GAN的預(yù)期應(yīng)用，但Cohen等人。 （2018）警告不要使用生成的圖像進(jìn)行解釋栖榨。他們觀察到昆汹，由于匹配目標(biāo)域的數(shù)據(jù)分布（從訓(xùn)練數(shù)據(jù)中獲取）婴栽，并且可能與測試數(shù)據(jù)分布完全不同满粗，因此CycleGAN網(wǎng)絡(luò)（對于非配對數(shù)據(jù)）可能會受到偏差。當(dāng)目標(biāo)域中提供的數(shù)據(jù)具有某些類的過高或過低表示時愚争，作者還觀察到條件GAN（對于配對數(shù)據(jù)）的偏差映皆。最近的另一項(xiàng)工作（Mirsky等，2019）證明了使用3D條件GAN對3D醫(yī)學(xué)成像進(jìn)行嚴(yán)重篡改的可能性轰枝。

4.2. Interesting future applications

與其他深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型類似捅彻，本文中演示的各種GAN應(yīng)用直接關(guān)系到改善放射學(xué)工作流程和患者護(hù)理。然而鞍陨，GAN的優(yōu)勢在于他們以無人監(jiān)督和/或弱監(jiān)督的方式學(xué)習(xí)的能力步淹。特別是，我們認(rèn)為由cGAN實(shí)現(xiàn)的圖像到圖像的轉(zhuǎn)換可以在醫(yī)學(xué)成像中具有各種其他有用的應(yīng)用诚撵。例如缭裆，恢復(fù)使用某些偽影（例如運(yùn)動）獲取的MR圖像，尤其是在兒科設(shè)置中寿烟，可能有助于減少重復(fù)檢查的次數(shù);檢測植入裝置澈驼，例如， X射線上的釘韧衣，線盅藻，管，起搏器和人工瓣膜畅铭。
探索用于圖像字幕任務(wù)的GAN（Dai等人氏淑，2017a; Shetty等人，2017; Melnyk等人硕噩，2018; Fedus等人假残，2018）可能導(dǎo)致半自動生成醫(yī)學(xué)成像報告（Jing等人。炉擅，2017）可能會縮短圖像報告時間辉懒。對抗性文本分類的成功（Liu et al。谍失，2017b）也提示了GAN在從自由文本臨床適應(yīng)癥中提高自動MR協(xié)議生成等系統(tǒng)的性能方面的潛在用途（Sohn等眶俩，2017）。自動化系統(tǒng)可以改善MRI等待時間
正在崛起（CIHI快鱼，2017）以及加強(qiáng)患者護(hù)理颠印。 cGAN纲岭，特別是CycleGAN應(yīng)用，例如卸妝（Chang et al线罕。止潮，2018），可以擴(kuò)展到醫(yī)療成像應(yīng)用
通過去除諸如石膏之類的偽像來改善骨骼X射線圖像钞楼，以便于增強(qiáng)觀察效果喇闸。這可能有助于放射科醫(yī)師評估細(xì)骨特征，可能有助于更好地檢測最初隱匿性骨折询件，并有助于更有效地評估骨愈合的進(jìn)展燃乍。 GAN在無監(jiān)督異常檢測中的成功（Schlegl等，2017）可以幫助實(shí)現(xiàn)以無人監(jiān)督的方式檢測各種模態(tài)的醫(yī)學(xué)圖像中的異常的任務(wù)雳殊。這種算法可用于確定放射科醫(yī)師工作清單的優(yōu)先順序橘沥，從而縮短報告臨界發(fā)現(xiàn)的周轉(zhuǎn)時間（Gal Yaniv窗轩，2018）夯秃。我們還期望通過文本描述（Bodnar，2018）見證GAN在醫(yī)學(xué)圖像合成中的實(shí)用性痢艺，特別是對于罕見病例仓洼，以填補(bǔ)用于醫(yī)學(xué)圖像分類任務(wù)的訓(xùn)練監(jiān)督神經(jīng)網(wǎng)絡(luò)所需的訓(xùn)練樣本的差距。 堤舒。
最后色建，我們想指出的是，盡管文獻(xiàn)中報道了許多有希望的結(jié)果舌缤，但在醫(yī)學(xué)成像中采用GAN仍處于起步階段箕戳，目前尚無臨床應(yīng)用于基于GAN的方法的突破性應(yīng)用。