摘要

計(jì)算機(jī)斷層掃描（CT）對(duì)于各種臨床應(yīng)用至關(guān)重要，例如放射治療計(jì)劃以及PET衰減校正拓挥。但是盖灸，CT在采集過(guò)程中會(huì)暴露放射線徙垫，這可能對(duì)患者造成副作用。與CT相比，磁共振成像（MRI）更安全治拿，并且不涉及任何輻射。因此，近來(lái)，對(duì)于放射治療計(jì)劃的情況，研究人員被極大地動(dòng)機(jī)從同一對(duì)象的其對(duì)應(yīng)的MR圖像估計(jì)CT圖像。在本文中，我們提出了一種數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)解決這一具有挑戰(zhàn)性的問(wèn)題凑队。特別是款青，通過(guò)訓(xùn)練性的卷積網(wǎng)絡(luò)來(lái)生成給定MR圖像的CT渠牲。為了更好地建模從MRI到CT的非線性關(guān)系并生成更逼真的圖像，我們建議使用對(duì)抗訓(xùn)練策略和圖像梯度差損失函數(shù)敲长。我們進(jìn)一步將AutoContextModel應(yīng)用于實(shí)現(xiàn)上下文感知的生成對(duì)抗網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，我們的方法從MRI圖像預(yù)測(cè)CT圖像時(shí)準(zhǔn)確，可靠越败，并且優(yōu)于目前的三種最新方法半哟。

1 簡(jiǎn)介

CT圖像廣泛地運(yùn)用在診斷和放療，在癌癥放射治療中，CT圖像提供單位制樟插，這對(duì)于治療計(jì)劃中的劑量計(jì)算至關(guān)重要负甸。此外，在流行的PET-CT掃描儀中悠就，CT圖像對(duì)于正電子發(fā)射斷層掃描（PET）的衰減校正也非常重要稿静。

用2D卷積神經(jīng)網(wǎng)絡(luò)去運(yùn)行3D醫(yī)學(xué)圖像時(shí)不合適的，因?yàn)?DCNN考慮到圖像是切片的母剥，所以有可能通過(guò)切片會(huì)產(chǎn)生不連續(xù)的預(yù)測(cè)憔披。為了解決這個(gè)問(wèn)題桐早，Ji提出3DCNN。

通常焚刺，假設(shè)數(shù)據(jù)是從高斯分布中提取的氓润，則將L2距離用作損失函數(shù)。在多峰分布的情況下這可能會(huì)出現(xiàn)問(wèn)題瞪讼，并且往往會(huì)在輸出圖像中產(chǎn)生模糊的結(jié)果

本文提出通過(guò)3D全卷積神經(jīng)網(wǎng)絡(luò)（FCN）來(lái)學(xué)習(xí)從MR到CT圖像的非線性映射，這是傳統(tǒng)CNN的一種變體。與CNN相比曾撤，F(xiàn)CN生成結(jié)構(gòu)化輸出寄锐，可以更好地保留預(yù)測(cè)信息中的鄰域信息 CT圖像怠褐。 此3D FCN在生成對(duì)抗框架中用作生成器磷杏，在該框架中选泻，對(duì)抗損失項(xiàng)是常規(guī)重建誤差的附加項(xiàng)，目的是生成更真實(shí)的CT數(shù)據(jù)忿族。 網(wǎng)絡(luò)是在補(bǔ)丁程序上訓(xùn)練的锣笨，這使得其視圖僅限于補(bǔ)丁程序本身，因此無(wú)法提供遠(yuǎn)程信息道批。 我們?cè)诿總€(gè)階段都使用GAN框架進(jìn)行訓(xùn)練的Auto-ContextModel（ACM）使它能夠感知上下文错英。 據(jù)我們所知，這是GAN框架在合成醫(yī)學(xué)圖像生成領(lǐng)域的首次應(yīng)用隆豹。

該方法在兩個(gè)真實(shí)的CT / MR數(shù)據(jù)集上進(jìn)行了評(píng)估椭岩。 實(shí)驗(yàn)結(jié)果表明，我們的方法可以有效地根據(jù)MR圖像預(yù)測(cè)CT圖像璃赡，并且在比較下也優(yōu)于三種最新方法判哥。

2 方法

我們提出了一種由對(duì)抗性網(wǎng)絡(luò)組成的對(duì)抗性網(wǎng)絡(luò)，其中完全卷積的網(wǎng)絡(luò)構(gòu)成了生成器碉考。 首先塌计，我們提出一種基本的3D FCN結(jié)構(gòu)，以根據(jù)MRI圖像估算CT侯谁。 3D操作可以更好地建模3D空間信息锌仅，從而可以解決2D CNN中可能存在的跨切片不連續(xù)性問(wèn)題。 其次墙贱，我們?cè)谠O(shè)計(jì)的網(wǎng)絡(luò)中采用對(duì)抗訓(xùn)練策略热芹，其中一個(gè)附加的鑒別器網(wǎng)絡(luò)可以促使發(fā)電機(jī)的輸出盡可能看起來(lái)像真實(shí)的CT。 我們將圖像梯度差項(xiàng)添加到生成器的損失函數(shù)中惨撇，以保持生成的CT的清晰度伊脓。 最后，我們使用自動(dòng)上下文模型來(lái)迭代定義生成器的輸出串纺。

例如丽旅，?Unsupervisedrepresentationlearningwith deep convolutional generative adversarial networks. 中的AlecRadford能夠通過(guò)使用FCN來(lái)獲得非常逼真的圖像椰棘，而無(wú)需使用最大池化，并且在G和D上的不同層之間進(jìn)行批歸一化榄笙，其方式與我們預(yù)想的類似邪狞。

合成圖片的GAN架構(gòu)

該網(wǎng)絡(luò)輸入MRI圖片，并且嘗試去生成對(duì)應(yīng)的CT圖像茅撞。它具有8個(gè)階段帆卓，分別包含卷積，批處理規(guī)范化和ReLu運(yùn)算米丘，分別具有過(guò)濾器32剑令、32、32拄查、64忠售、64簿姨、64溶推、32否灾、32的數(shù)量。最后一層僅包含32個(gè)卷積濾波器稍算，其輸出被視為估算的CT典尾。 最后，鑒別器是一種典型的CNN架構(gòu)糊探，包括三個(gè)階段的卷積+批處理規(guī)范化+ ReLu +最大池化以及具有三個(gè)完全連接層的卷積的組合钾埂，其中前兩個(gè)使用ReLu作為激活函數(shù)，最后一個(gè)使用Sigmoid科平，其輸出表示從輸入數(shù)據(jù)中提取輸入數(shù)據(jù)的可能性 真實(shí)CT的分布褥紫。 濾波器的大小為5×5×5，卷積層的濾波器數(shù)目為32匠抗、64故源、128和256，完全連接層中的輸出節(jié)點(diǎn)數(shù)目為512汞贸、128和1。

2.2自動(dòng)上下文模型（ACM）進(jìn)行優(yōu)化

在這項(xiàng)工作中印机，我們證明了ACM也可以成功地應(yīng)用于回歸任務(wù)矢腻。由于從先前估計(jì)的CT中提取了上下文特征，因此它們可以對(duì)僅使用基于補(bǔ)丁的特征無(wú)法獲得的信息進(jìn)行編碼射赛。 在我們的工作中多柑，我們不使用多個(gè)生成器，而是使用生成器網(wǎng)絡(luò)楣责，并且也沒(méi)有連接概率圖竣灌，而是連接了先前生成器網(wǎng)絡(luò)的輸出聂沙。 具體來(lái)說(shuō)，我們迭代訓(xùn)練幾個(gè)以MRI片為輸入并估計(jì)相應(yīng)CT片的GAN初嘹。 這些補(bǔ)片在MRI補(bǔ)片中串聯(lián)為第二個(gè)通道及汉，并且在訓(xùn)練下一個(gè)GAN時(shí)將這些新數(shù)據(jù)用作輸入。 圖3展示了該方案屯烦。

提出的ACM應(yīng)用于GAN的架構(gòu)

3 數(shù)據(jù)

數(shù)據(jù)詳情

4 實(shí)驗(yàn)結(jié)果

我們使用與訓(xùn)練樣本相同的中心點(diǎn)隨機(jī)提取大小為32×32×32的MRI斑塊坷随，并具有相應(yīng)的大小為16×16×16的CT。 使用Adam最優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練驻龟，其凈利率為10-6温眉，β1= 0.5（在[15]中建議），最小批量大小為10翁狐。生成器使用λ1= 0.5类溢，λ2=λ3= 1進(jìn)行訓(xùn)練。 該代碼使用TensorFlow庫(kù)實(shí)現(xiàn)露懒，接受后將公開(kāi)發(fā)布闯冷。為了證明預(yù)測(cè)準(zhǔn)確性的建議方法的優(yōu)勢(shì)，我們將其與三種廣泛使用的方法進(jìn)行比較：基于Anatlas的方法隐锭，基于稀疏表示的方法以及具有自動(dòng)上下文模型的結(jié)構(gòu)化隨機(jī)森林窃躲。 在Estimating CT Image from MRI Data Using 3D Fully Convolutional Networks - 道客巴巴中聲明。 而且所有實(shí)驗(yàn)都是一勞永逸的钦睡。

為了比較不同方法的性能蒂窒，我們利用平均絕對(duì)誤差（MAE）和峰值信噪比（PSNR）作為度量。

5 結(jié)論

我們已經(jīng)開(kāi)發(fā)了3D GAN模型荞怒，可通過(guò)直接將MR圖像塊作為輸入而將CT塊作為輸出來(lái)從MRI圖像估計(jì)CT圖像洒琢。 通過(guò)使用ACM可以提高性能，因?yàn)樵谟?xùn)練過(guò)程中會(huì)有效地?cái)U(kuò)大GAN的上下文褐桌，這使其具有上下文意識(shí)衰抑。 我們已經(jīng)將該模型用于從其相應(yīng)的MR圖像中預(yù)測(cè)CT圖像，其中實(shí)驗(yàn)證明了我們提出的方法可以明顯優(yōu)于三種最新方法荧嵌，從而表明其在回歸任務(wù)中的適用性呛踊。 盡管我們僅考慮了CT圖像預(yù)測(cè)的任務(wù)，但是我們提出的模型也可以應(yīng)用于涉及醫(yī)學(xué)圖像分析中生成過(guò)程的其他相關(guān)任務(wù)啦撮，例如超分辨率谭网，圖像去噪等。