以下文章paper和code連接在GitHub上。從方法上來說,低劑量CT去噪可以大致的分為三大類,第一類是針對CT重建之前的正弦域數(shù)據(jù)進行操作萌京;第二類是針對CT重建之后的圖像來進行圖像去噪陌知;最后一類是在正弦域與圖像域相互轉(zhuǎn)化的迭代算法埠况。
一、正弦域去噪
CT正弦圖表示來自徑向視圖的衰減線積分昭殉,并且是 CT 掃描中的原始投影數(shù)據(jù)苞七。正弦圖也是一種二維信號,正弦域去噪方法多是傳統(tǒng)濾波技術挪丢,比如說使用非線性各向異性擴散濾波器來平滑數(shù)據(jù)噪聲蹂风,采用自適應修剪平均濾波器來減少條紋偽影,雙邊濾波乾蓬,非平穩(wěn)濾波器等惠啄。但這些方法大都需要犧牲分辨率,所以需要配合正弦域插值進行任内。
在正弦域中完成了去噪之后就可以用FBP進行CT重建轉(zhuǎn)化到圖像域撵渡。
二、迭代算法
迭代重建本身和FBP一樣是CT重建算法死嗦,其可分為兩類代數(shù)迭代重建和統(tǒng)計迭代重建趋距。代數(shù)迭代重建是將圖像重建問題轉(zhuǎn)化為求解線性方程組,經(jīng)典的代數(shù)迭代算法有:代數(shù)重建技術(ART)越除,聯(lián)合代數(shù)重建技術(SART)节腐,聯(lián)合迭代重建技術(SIRT)[1,2,3,4]外盯。統(tǒng)計迭代算法根據(jù)投影數(shù)據(jù)的噪聲統(tǒng)計模型和圖像先驗分布構(gòu)建目標函數(shù),然后通過最優(yōu)化方法得到重建后的圖像翼雀,常用的統(tǒng)計迭代算法有懲罰加權最小二乘法和最大后驗算法饱苟。
迭代重建的去噪算法通過估計最大后驗概率(Maximum A Posteriori, MAP)達到去除投影域噪聲,這種基于MAP的濾波算法根據(jù)投影數(shù)據(jù)的統(tǒng)計分布和理想投影圖像的先驗信息建立目標函數(shù)狼渊,目標函數(shù)包括兩項數(shù)據(jù)保真度和懲罰項箱熬。
將綜合投影與探測器采集的實際測量值進行比較檢驗,兩者之間的差異代表了當前估計需要校正的誤差狈邑,并對當前估計得到的圖像進行校正城须。再將校正后的圖像帶入模型進行下次綜合投影模擬,并與實際測量值再次進行檢驗和校正官地。通過如此的反復迭代計算,對圖像信息進行不斷地檢驗和修正烙懦,直到誤差降到最低驱入。
三、圖像域去噪
圖像域的去噪方法就和自然圖像去噪一致了氯析,可以分成兩大類基于模型的去噪和基于判別的去噪方法亏较。基于模型的去噪方法就是傳統(tǒng)機器學習領域的去噪方法掩缓,比如說利用圖像自相似性的BM3D和NL-Means,利用稀疏空間的K-SVD等雪情。Ma等[5]提出一種新的非局部降噪算法來對低劑量CT圖像進行處理,把非局部算法與正常劑量掃描獲得的重建圖像相結(jié)合你辣,降噪效果顯著巡通。Chen等[6]提出一種快速字典學習的方法處理腹部的腫瘤圖像,該算法將稀疏字典學習理論與銳化濾波共同作用舍哄,在提高圖像質(zhì)量的同時還增強了對腫瘤特征的識別作用宴凉。Lauzier等[7]提出先驗圖像約束的壓縮感知(Prior Image Constrained Compressed Sensing。PICCS)統(tǒng)計特性算法并用來減少輻射劑量表悬,該方法在低劑量弥锄、高分辨率的實際臨床情況中有普遍應用。
但上述基于模型的優(yōu)化方法在性能和時間上都不理想蟆沫,又由于深度學習的發(fā)展籽暇,基于判別的去噪方法得到了廣泛的研究。尤其是16年AAPM大賽公開了大量的CT數(shù)據(jù)之后饭庞,深度學習領域出來了一批又一批的LDCT去噪by deeplearning戒悠。
3.1 Low-dose CT denoising with convolutional neural network[8]
第一篇有代表性的用深度學習方法進行LDCT去噪的作品,是ISBI 2016年川大的舟山,網(wǎng)絡非常的簡單救崔,文中也沒有給網(wǎng)絡結(jié)構(gòu)圖惶看,就是一個三層的卷積加ReLU,這篇文章發(fā)表的時候AAPM比賽還未發(fā)出六孵,所以數(shù)據(jù)集不同纬黎。
文章現(xiàn)在來看沒有什么創(chuàng)新的地方,但當時把深度學習引入了LDCT去噪劫窒,隨即一些LDCT去噪的比賽和文章相繼發(fā)出本今。
3.2 A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction(KASIT-Net)[9]
本文是AAPM比賽的第二名,相比于上一篇中的純卷積層的連接本文使用了resnet的結(jié)構(gòu)主巍,網(wǎng)絡結(jié)構(gòu)如下圖冠息。首先將輸入圖像通過小波變換分成4個level,channel分別是8,4,2,1孕索,然后將這4個融合成15個channel輸入到proposed network中逛艰。
proposed network和SRGAN的生成器結(jié)構(gòu)類似,首先經(jīng)過三個卷積層搞旭,然后輸入到6個module中散怖,每個module是由3個連續(xù)的conv+relu+bn和skip layer組成,每個module的輸出都連接到網(wǎng)絡的最后肄渗,讓梯度更好的反傳镇眷,加速end 2 end的訓練。
網(wǎng)絡采用SGD進行優(yōu)化翎嫡,訓練patch設置為55*55欠动,mse作為loss函數(shù)』笊辏總得來說本文的網(wǎng)絡結(jié)構(gòu)在16年時是很先進的具伍,結(jié)果也很好,一直是后來LDCT去噪作品的baseline圈驼。
3.3 Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network (RED-CNN)[10]
這篇就是LDCT廣泛使用的baseline了沿猜,數(shù)據(jù)集自此之后也普遍的開始使用AAPM數(shù)據(jù)集。本文的主要思想和2016年NIPS的RED基本一致碗脊,網(wǎng)絡采用AE的結(jié)構(gòu)啼肩,先用卷積層進行編碼,再用反卷積層進行解碼衙伶,中間通過skip結(jié)構(gòu)連接祈坠,如下圖所示。
文章寫法很有期刊的味道矢劲,實驗設計繁多細致赦拘,算法上沒有很大的創(chuàng)新,但很實用芬沉,網(wǎng)絡消耗和性能共同考慮躺同,上面兩篇文章都是本文的baseline阁猜,實驗結(jié)果如下表:
3.4?Sharpness-Aware Low-Dose CT Denoising Using Conditional Generative Adversarial Network?[11]
在單獨的卷積之后就出現(xiàn)了大批的對抗學習訓練LDCT進行去噪,本文也是比較典型的GAN for LDCT蹋艺,在2018年美國醫(yī)學影像信息大會(SIIM)上發(fā)表的文章剃袍。整體網(wǎng)絡結(jié)構(gòu)如下,三個子網(wǎng)絡構(gòu)成:生成網(wǎng)絡捎谨、判別網(wǎng)絡和銳度檢測網(wǎng)絡民效。
相比較普通的GAN,本文多了一個銳度檢測網(wǎng)絡涛救,本身生成器的loss是L1畏邢,銳度檢測網(wǎng)絡的loss是L2,再加上GAN本身的對抗損失检吆,整個loss就為:
生成器部分是U-Net結(jié)構(gòu)舒萎,判別器是pix2pix的PatchGAN。
3.5 Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distance and Perceptual Loss?(TMI 2018)[12]
這篇文章就是WGAN的一個應用蹭沛,2018 IEEE TRANSACTIONS ON MEDICAL IMAGING的文章臂寝,文章模型總體結(jié)構(gòu)如下:作者應該是受到SRGAN的影響,將VGG的損失函數(shù)帶到了網(wǎng)絡里致板,不純粹的使用MSE交煞,而是利用WGAN的內(nèi)在損失和VGG進行訓練咏窿。
為了保證生成器部分能夠產(chǎn)生高劑量CT斟或,作者增加了感知損失來限制,就是上述模型里的part2集嵌,一般的去噪模型在這里都是用的MSE萝挤,但MSE的效果并不好,可能會產(chǎn)生模糊的圖像并導致細節(jié)失真或丟失根欧,所以作者嘗試了特征空間中定義的loss函數(shù):
其中φ是特征提取器怜珍,whd是特征空間的寬、高凤粗、深度,本文中采用了VGG-19作為特征提取器,所以感知loss是
整體結(jié)構(gòu)就如上圖所示撇簿,part1生成器部分8個卷積層的CNN用于進行CT圖像的重建唧喉;part2感知損失結(jié)構(gòu)用預訓練好的VGG-19將生成器生成的圖像G(z)和ground truth(x)喂到VGG里用于特征提取,然后根據(jù)上式更新生成器的權重异逐;part3判別器網(wǎng)絡捶索,結(jié)構(gòu)如下圖所示,6個卷積層灰瞻,3*3的卷積核腥例,最后一層沒有sigmoid辅甥。
3.6 Structurally-sensitive Multi-scale Deep Neural Network for Low-Dose CT Denoising
作者同上,文章創(chuàng)新點有三:第一就是3DCNN燎竖,生成器部分的璃弄,好處就是“ can integrate spatial information to enhance the image quality and yield 3D volumetric results for better diagnosis.”;第二個創(chuàng)新點是loss底瓣,作者采用了L1損失和結(jié)構(gòu)敏感性損失相結(jié)合的loss形式谢揪,to capture local anatomical structures while reducing background noise.;第三個創(chuàng)新點就是實驗部分對收斂速度和去噪結(jié)果進行對比捐凭。下圖是網(wǎng)絡結(jié)構(gòu)拨扶,
網(wǎng)絡由三部分組成,part1生成器由8個3D卷積組成茁肠,奇數(shù)層卷積核是3*3*1患民,偶數(shù)層是3*3*3,切割成80*80*11的patch垦梆,每個卷積層之后加relu激活匹颤、part2結(jié)構(gòu)敏感性損失網(wǎng)絡也是3d、part3判別器托猩,判別器部分使用的是2D卷積印蓖,filter依次是64、64京腥、128赦肃、128、256公浪、256的6個卷積層他宛,卷積核是3*3。
作者討論了使用3d信息的原因欠气。在實際應用上厅各,我們得到的CT本就是三維圖像,醫(yī)生觀診所用也是三維圖像预柒,3D-CT圖像的相鄰橫截面切片表現(xiàn)出強烈的空間相關性队塘,其可以保存比基于2D的模型更多的矢狀和冠狀方向的信息。
作者在文中對比了幾種不同的loss宜鸯,比如L2loss憔古,它可以有效的抑制背景噪聲,但是去噪結(jié)果不自然而且會模糊化顾翼,L1可以很有效的抑制掉高斯白噪聲投放,但LDCT里不止是高斯噪聲,所以針對LDCT效果不好适贸。下一個loss是結(jié)構(gòu)損失灸芳,目的是讓生成器產(chǎn)生和HDCT更加相似的圖像涝桅,所以這里用的是SSIM,這里的損失就是第三項烙样,分析下冯遂,SSIM是一個[0,1]的數(shù)值,越大表示去噪效果越好谒获,MS_SSIM是SSIM的乘積范圍也被限制在[0,1]蛤肌,切SSIM越大,該值也會越大批狱,LSL是1減掉MS_SSIM裸准,那么就會隨著MS的增大而減小,但會一直控制在[0,1]赔硫,就可以像訓練其他loss一樣來訓練炒俱。
3.7 3-D Convolutional Encoder-Decoder Network forLow-Dose CT via Transfer Learning From a 2-D Trained Network(TMI 2018)[13]
本文的主題網(wǎng)絡也是GAN結(jié)構(gòu),但文章重點不是這個爪膊,而是2D-3D的轉(zhuǎn)換权悟。文章中提出了兩個網(wǎng)絡結(jié)構(gòu),2-D如下:
作者認為針對于CT這種空間性較強的數(shù)據(jù)3D的處理更能獲得空間信息推盛,所以將2-D的結(jié)構(gòu)轉(zhuǎn)換為3-D峦阁,如下。但是3-D的網(wǎng)絡消耗太大耘成,所以作者使用了transfer learning榔昔,在上圖的2D網(wǎng)絡中訓練好,將參數(shù)遷移到三維中凿跳,transfer 的方法如下:
上式中B是三維空間件豌,H是2-D處理疮方,初始化時2-d參數(shù)轉(zhuǎn)移到3-D中控嗜,而后對三維空間進行優(yōu)化,本文與RED-CNN和W-GAN進行了對比骡显,結(jié)果如下:
3.8 SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction.(ISBI 2019)[14]
3.1-3.7的方法均是CT的后處理疆栏,在圖像域的操作,本文結(jié)合正弦域和圖像域一起進行處理惫谤。實際上就是在CT未成為圖像之前的投影數(shù)據(jù)上先進行一個正弦圖插值(用超分辨網(wǎng)絡)壁顶,而后投影數(shù)據(jù)開始轉(zhuǎn)化為CT值,采用FBP溜歪。
FBP是目前最廣泛的CT重建方法若专,其原理是中心切片定理:對投影的一維傅立葉變換等效于對原圖像進行二維的傅立葉變換。所以可以根據(jù)投影數(shù)據(jù)得到原始的CT值蝴猪。
稀疏域的源數(shù)據(jù)和經(jīng)過插值的數(shù)據(jù)都經(jīng)過FBP之后concat一起輸入到去噪的網(wǎng)絡中调衰,去噪網(wǎng)絡采用上一篇paper里的residual U-net膊爪。整個網(wǎng)絡思想如下,目標函數(shù)是:
網(wǎng)絡端到端的進行訓練嚎莉,loss是:
References
[1]. Feeman T G. Algebraic reconstruction techniques [J]. The Mathematics of Medical Imaging, 2010, 101-114.
[2] Jiang M, Wang G. Convergence of the simultaneous algebraic reconstruction technique(SART) [J]. IEEE Trans. Image Process, 2003,12 (8): 957-961.
[3] Andersen A, Kak A. Simultaneous algebraic reconstruction technique (SART): a superior implementation of the ART algorithm [J]. Ultrasonic imaging, 1984, 6 (1): 81-94.
[4] Thomas M. Benson, Jens Gregor. Modified simultaneous iterative reconstruction technique for faster parallel computation[C]. IEEE Nuclear Science Symposium Conference Record, 2005,2715-2718.
[5] Ma J H米酬,Huang J,F(xiàn)eng Q趋箩,et a1.Low—dose computed tomography image restoration using previous normal—dose SCan [J].Medical Physics赃额,201 1,38(10):5713-5731.
[6] Chen Y叫确,Yin X跳芳,Shi L,et a1.Improving abdomen ttlnlor low-dose CT images using a fast dictionary learning based processing[J].Physics in Medicine and Biology,20 1 3竹勉,58(16):5803.
[7] Lauzier P T筛严,Chert G H.Characterization of statistical prior image constrained compressed sensing(PICCS):II.Application to dose reduction [J].Medical Physics,2013饶米,40(40):021902.
[8] H. Chen, Y. Zhang, W. Zhang, P. Liao, K. Li, J. Zhou, and G. Wang,“Low-dose CT via convolutional neural network,” Biomed. Opt. Express 8(2), 679-694 (2017).
[9] E. Kang, J. Min, and J.C. Ye, “A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction,”arXiv:1610.09736 (2016).
[10] H. Chen et al., "Low-dose CT with a residual encoder-decoder convolutional neural network", IEEE Trans. Image Process., vol. 36, no. 12, pp. 2524-2535, Dec. 2017.
[11] Xin Yi,?Paul Babyn:Sharpness-Aware Low-Dose CT Denoising Using Conditional Generative Adversarial Network.?J. Digital Imaging31(5):?655-669?(2018)
[12] Qingsong Yang,?Pingkun Yan,?Yanbo Zhang,?Hengyong Yu,?Yongyi Shi,?Xuanqin Mou,?Mannudeep K. Kalra,?Yi Zhang,?Ling Sun,?Ge Wang:Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss.?IEEE Trans. Med. Imaging?37(6):?1348-1357?(2018)
[13] Hongming Shan, Yi Zhang, Qingsong Yang, Uwe Kruger, Mannudeep K. Kalra, Ling Sun, Wenxiang Cong, Ge Wang: Correction for "3D Convolutional Encoder-Decoder Network for Low-Dose CT via Transfer Learning From a 2D Trained Network". IEEE Trans. Med. Imaging 37(12): 2750 (2018)
[14] Huizhuo Yuan, Jinzhu Jia, Zhanxing Zhu: SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction. ISBI 2018: 1521-1524