文章：Deep Learning in Medical Image Registration: A Survey [paper]
主要是翻譯，水平有限大致翻譯一下 棘劣，emmmmm大致看得懂山害，就湊合著看把 遣疯。
1偎窘、概述
文章綜述了近幾年深度學(xué)習(xí)再醫(yī)學(xué)配準(zhǔn)上面的應(yīng)用蝇闭，具體按照配準(zhǔn)方法進(jìn)行分章介紹
1零如、深度迭代配準(zhǔn)
2躏将、監(jiān)督可變形預(yù)測(cè)
3、無監(jiān)督可變形預(yù)測(cè)
關(guān)于深度學(xué)習(xí)再圖像配準(zhǔn)中的應(yīng)用如下圖考蕾，可見半監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)中基于相似性度量的配準(zhǔn)方法比較熱門祸憋。
最初拦赠，深度學(xué)習(xí)被成功地用于增強(qiáng)基于迭代巍沙、強(qiáng)度配準(zhǔn)方法的性能。之后荷鼠，有幾個(gè)小組研究了強(qiáng)化學(xué)習(xí)在配準(zhǔn)任務(wù)中的應(yīng)用句携。此外，為了追求更快的配準(zhǔn)方法允乐，基于深度學(xué)習(xí)的一步轉(zhuǎn)換估計(jì)技術(shù)越來越受到重視（one-step transformation estimation techniques.）矮嫉。最近，許多team開發(fā)用于一步轉(zhuǎn)換估計(jì)的非監(jiān)督框架來獲取/生成真實(shí)數(shù)據(jù)牍疏。其中基于信息論的相似性度量蠢笋，解剖結(jié)構(gòu)的分割，和生成對(duì)抗網(wǎng)絡(luò)架構(gòu)顯得比較有前途
2麸澜、各種深度學(xué)習(xí)的介紹
1挺尿、卷積神經(jīng)網(wǎng)絡(luò)
2奏黑、循環(huán)神經(jīng)網(wǎng)絡(luò)
3炊邦、增強(qiáng)學(xué)習(xí)
4、生成對(duì)抗網(wǎng)絡(luò)
個(gè)人比較關(guān)注生成對(duì)抗網(wǎng)絡(luò)熟史，所以多寫一點(diǎn)
2.4生成對(duì)抗網(wǎng)絡(luò)
GAN再醫(yī)學(xué)配準(zhǔn)中的應(yīng)用通常用于正則化馁害，生成器語塞一種轉(zhuǎn)換方式，鑒別器生成的重采樣的圖像作為輸入蹂匹，訓(xùn)練鑒別器識(shí)別對(duì)齊的圖像對(duì)和重采樣的圖像對(duì)碘菜。生成器通常用對(duì)抗損失和目標(biāo)損失的線性組合訓(xùn)練，鑒別器和生成器通常都采用交叉熵?fù)p失函數(shù)限寞。
更多關(guān)于GAN再醫(yī)學(xué)分析上的綜述可以參考【61】Gans for medical image analysis
3忍啸、深度迭代配準(zhǔn)
基于強(qiáng)度的圖像自動(dòng)配準(zhǔn)既需要量化移動(dòng)圖像和固定圖像之間相似性的度量，也需要更新轉(zhuǎn)換參數(shù)的優(yōu)化算法履植，從而使圖像之間的相似性最大化计雌。在深度學(xué)習(xí)復(fù)興之前，這類配準(zhǔn)方法應(yīng)用經(jīng)常使用幾種手工制作的度量標(biāo)準(zhǔn)玫霎，包括:差平方和(SSD)凿滤、互相關(guān)(CC)、互信息(MI)[84, 129]庶近、歸一化互相關(guān)(NCC)和歸一化互信息(NMI)翁脆。深度學(xué)習(xí)在醫(yī)學(xué)圖像配準(zhǔn)中的早期應(yīng)用是對(duì)這一經(jīng)典框架的直接擴(kuò)展[114,132,133]。幾個(gè)小組后來使用強(qiáng)化學(xué)習(xí)范式迭代地估計(jì)轉(zhuǎn)換[64鼻种、73反番、83、88]，
在3.1節(jié)中介紹基于深度相似性的配準(zhǔn)方法罢缸，3.2節(jié)介紹基于增強(qiáng)學(xué)習(xí)的配準(zhǔn)方法校读。各種迭代學(xué)習(xí)的方法列在表1中
3.1 基于深度相似性的配準(zhǔn)方法
在本節(jié)中，研究了使用深度學(xué)習(xí)來學(xué)習(xí)相似性度量的方法祖能。該相似性度量通過定義插值策略歉秫、轉(zhuǎn)換模型和優(yōu)化算法被插入到經(jīng)典的基于強(qiáng)度的配準(zhǔn)框架中。整個(gè)框架的可視化如圖3所示：實(shí)線表示訓(xùn)練和測(cè)試期間所需的數(shù)據(jù)流养铸，虛線表示僅在訓(xùn)練期間需要的數(shù)據(jù)流
3.1.1 工作概要
雖然人工是定的相似性度量在單模態(tài)配準(zhǔn)中去的較好的效果雁芙，深度學(xué)習(xí)用來學(xué)習(xí)更好的指標(biāo)，本節(jié)先介紹使用深度學(xué)習(xí)來增強(qiáng)基于單模態(tài)強(qiáng)度配準(zhǔn)的方法钞螟，然后再討論多模態(tài)的配準(zhǔn)
3.1.1.1 單模態(tài)配準(zhǔn)
Wu et al. [132, 133] 首先采用深度學(xué)習(xí)來得到特定的相似性度量進(jìn)行配準(zhǔn)兔甘。他們使用卷積堆疊自動(dòng)編碼器(CAE)提取了用于三維大腦MR體單模可變形配準(zhǔn)的特征鳞滨。隨后洞焙，他們使用梯度下降優(yōu)化兩組特征的NCC進(jìn)行配準(zhǔn)。這種方法優(yōu)于微分同胚的模型（diffeomorphic demons ）[127]和基于HAMMER[110]的配準(zhǔn)技術(shù)
Eppenhof et al. [32] 以端到端的形式對(duì)三維胸部CT掃描(吸氣-呼氣)的可變形配準(zhǔn)誤差進(jìn)行估計(jì)拯啦。他們使用3D CNN來估計(jì)輸入的吸氣-呼氣對(duì)胸部CT掃描的誤差圖澡匪。和上面的方法一樣，本文只使用了學(xué)習(xí)到的特性褒链。
Blendowski et al. [10] 再肺部CT配準(zhǔn)中結(jié)合基于CNN的描述符（descriptors）唁情，和基于人工自定的MRF自相似性描述符。雖然手動(dòng)創(chuàng)建的描述符優(yōu)于基于cnn的描述符甫匹，但是使用兩組描述符均可獲得最優(yōu)性能甸鸟。這表明，在單模態(tài)配準(zhǔn)的情況下兵迅，深度學(xué)習(xí)可能不會(huì)優(yōu)于手工制作的方法抢韭。但是，它可以用來獲得補(bǔ)充信息
3.1.1.2 多模態(tài)配準(zhǔn)
將深度學(xué)習(xí)應(yīng)用于基于強(qiáng)度的配準(zhǔn)的優(yōu)勢(shì)在多模態(tài)情況下更為明顯恍箭，在這種情況下刻恭，手工構(gòu)建的相似性度量幾乎沒有取得成功。
Cheng等人[18,19]最近使用堆疊的去噪自動(dòng)編碼器來學(xué)習(xí)一種相似性度量方法季惯，該方法評(píng)估CT和MR圖像剛性對(duì)齊的質(zhì)量吠各。他們表明，他們的指標(biāo)在應(yīng)用上優(yōu)于歸一化互信息NMI和局部相關(guān)(LCC)勉抓。
為了在多模態(tài)情況下顯式估計(jì)圖像相似度贾漏，Simonovsky等[114]使用CNN學(xué)習(xí)對(duì)齊的3D T1和T2加權(quán)腦MR體積之間的差異。利用該相似度度量藕筋，采用梯度下降法迭代更新定義變形場(chǎng)（deformation
field.）的參數(shù)纵散。該方法優(yōu)于基于MI的配準(zhǔn)，為基于深度強(qiáng)度的多模態(tài)配準(zhǔn)奠定了基礎(chǔ)。
此外伍掀，Sedghi等[108]利用5層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)相似度指標(biāo)掰茶，對(duì)三維US/MR腹部掃描進(jìn)行剛性配準(zhǔn)(其形態(tài)差異甚至比MR/CT更大)，然后用鮑威爾斯法對(duì)相似度指標(biāo)進(jìn)行優(yōu)化蜜笤。這種方法也優(yōu)于基于MI的配準(zhǔn)方法濒蒋。
Haskins et al. [42] 通過使用CNN預(yù)測(cè)目標(biāo)配準(zhǔn)誤差(TRE)，獲得了MR和經(jīng)直腸US (TRUS)體多模態(tài)剛性配準(zhǔn)的相似度度量把兔。由于所學(xué)習(xí)的度量不具有凸性沪伙，因此在使用傳統(tǒng)的優(yōu)化算法之前，他們使用進(jìn)化算法來探索解空間县好，而不是使用上述方法等傳統(tǒng)的優(yōu)化器围橡。這種注冊(cè)框架優(yōu)于基于MIND[44]和MI的配準(zhǔn)方法。
Wright et al.使用LSTM空間共變換網(wǎng)絡(luò)來進(jìn)行組級(jí)別的迭代配準(zhǔn)MR和US缕贡。循環(huán)空間轉(zhuǎn)換發(fā)生在三個(gè)階段：圖像翹曲翁授，殘差參數(shù)預(yù)測(cè)，和參數(shù)組合晾咪。他們證明了他們的方法比之前使用自相似上下文描述符[45]的多模態(tài)圖像相似度量化方法更能量化圖像相似度收擦。
3.1.2 評(píng)價(jià)和討論
最近的研究證實(shí)了神經(jīng)網(wǎng)絡(luò)在多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)中評(píng)估圖像相似性的能力。本節(jié)描述的方法所取得的結(jié)果表明禀酱，深度學(xué)習(xí)可以成功地應(yīng)用于具有挑戰(zhàn)性的配準(zhǔn)任務(wù)炬守。然而，來自[10]的研究結(jié)果表明剂跟，在單模態(tài)下，學(xué)習(xí)的圖像相似性度量可能適合補(bǔ)充現(xiàn)有的相似性度量酣藻。此外曹洽，很難使用這些迭代技術(shù)進(jìn)行實(shí)時(shí)配準(zhǔn)。
3.2 基于增強(qiáng)學(xué)習(xí)的配準(zhǔn)方法
在本節(jié)中調(diào)查了增強(qiáng)學(xué)習(xí)在配準(zhǔn)任務(wù)中的應(yīng)用辽剧。這種方法中采用訓(xùn)練好的agent進(jìn)行配準(zhǔn)而不是之前提到的優(yōu)化算法送淆。大致結(jié)構(gòu)如圖4所示。增強(qiáng)學(xué)習(xí)一般用在剛性配準(zhǔn)上怕轿，偷崩。但是也能用在可變形配準(zhǔn)上。
Liao et al. [73]率先采用基于強(qiáng)化學(xué)習(xí)的配準(zhǔn)方法對(duì)心臟和腹部三維CT圖像同錐束CT (CBCT)圖像進(jìn)行剛性配準(zhǔn)撞羽。他們使用貪婪監(jiān)督方法進(jìn)行端到端訓(xùn)練阐斜，并采用注意力驅(qū)動(dòng)的分層策略。他們的方法優(yōu)于基于MI的配準(zhǔn)和使用概率圖的語義配準(zhǔn)
Kai et al. [83]采用強(qiáng)化學(xué)習(xí)方法對(duì)MR/CT胸腔容積進(jìn)行剛性配準(zhǔn)诀紊。這種方法源于Q-learning谒出，利用上下文信息來確定投影圖像的深度。該方法所使用的網(wǎng)絡(luò)來源于競(jìng)爭(zhēng)網(wǎng)絡(luò)體系結(jié)構(gòu)（dueling
network architecture ）[131]。值得注意的是笤喳，這項(xiàng)工作還區(qū)分了終端獎(jiǎng)勵(lì)和非終端獎(jiǎng)勵(lì)为居。該方法優(yōu)于基于迭代最近鄰點(diǎn)(ICP)、地標(biāo)（landmarks,）杀狡、Hausdorff距離蒙畴、深度Q網(wǎng)絡(luò)和競(jìng)爭(zhēng)網(wǎng)絡(luò)（Dueling Network ）的配準(zhǔn)方法[131]。
Miao等人[88]沒有采用上述方法訓(xùn)練單一的agent呜象，而是在增強(qiáng)學(xué)習(xí)范式中使用多agent系統(tǒng)來剛性配準(zhǔn)脊柱的x線和CT圖像忍抽。他們使用自注意力機(jī)制來觀察多個(gè)區(qū)域，并證明了多智能體系統(tǒng)的有效性董朝。它們能夠顯著優(yōu)于使用[24]給出的最先進(jìn)的相似性度量的配準(zhǔn)方法
上述基于剛性配準(zhǔn)的工作相反鸠项，Krebs等[64]采用基于強(qiáng)化學(xué)習(xí)的方法對(duì)二維和三維前列腺M(fèi)R進(jìn)行了可變形配準(zhǔn)。采用低分辨率變形模型進(jìn)行配準(zhǔn)和模糊動(dòng)作控制子姜，以影響隨機(jī)動(dòng)作的選擇祟绊。為了限制作用空間的維數(shù)，需要建立低分辨率的變形模型哥捕。這種方法優(yōu)于Elastix[62]和基于LCC-Demons[80]的配準(zhǔn)技術(shù)牧抽。
3.2.2 評(píng)價(jià)和討論
增強(qiáng)學(xué)習(xí)的使用是直觀的醫(yī)學(xué)圖像配準(zhǔn)應(yīng)用∫Ｗ基于配準(zhǔn)的增強(qiáng)學(xué)習(xí)的一個(gè)主要挑戰(zhàn)是處理高分辨率變形場(chǎng)的能力扬舒。對(duì)于剛性配準(zhǔn)沒有這樣的挑戰(zhàn)。由于這些方法的直觀性和最近提出的方法凫佛，我們希望這些方法在未來幾年能得到研究領(lǐng)域更多的關(guān)注讲坎。
