文章學習38“LOW DOSE CT DENOISING”

以下文章paper和code連接在GitHub上。從方法上來說,低劑量CT去噪可以大致的分為三大類,第一類是針對CT重建之前的正弦域數(shù)據(jù)進行操作萌京;第二類是針對CT重建之后的圖像來進行圖像去噪陌知;最后一類是在正弦域與圖像域相互轉(zhuǎn)化的迭代算法埠况。

一、正弦域去噪

CT正弦圖表示來自徑向視圖的衰減線積分昭殉,并且是 CT 掃描中的原始投影數(shù)據(jù)苞七。正弦圖也是一種二維信號,正弦域去噪方法多是傳統(tǒng)濾波技術挪丢,比如說使用非線性各向異性擴散濾波器來平滑數(shù)據(jù)噪聲蹂风,采用自適應修剪平均濾波器來減少條紋偽影,雙邊濾波乾蓬,非平穩(wěn)濾波器等惠啄。但這些方法大都需要犧牲分辨率,所以需要配合正弦域插值進行任内。

在正弦域中完成了去噪之后就可以用FBP進行CT重建轉(zhuǎn)化到圖像域撵渡。

二、迭代算法

迭代重建本身和FBP一樣是CT重建算法死嗦,其可分為兩類代數(shù)迭代重建和統(tǒng)計迭代重建趋距。代數(shù)迭代重建是將圖像重建問題轉(zhuǎn)化為求解線性方程組,經(jīng)典的代數(shù)迭代算法有:代數(shù)重建技術(ART)越除,聯(lián)合代數(shù)重建技術(SART)节腐,聯(lián)合迭代重建技術(SIRT)[1,2,3,4]外盯。統(tǒng)計迭代算法根據(jù)投影數(shù)據(jù)的噪聲統(tǒng)計模型和圖像先驗分布構(gòu)建目標函數(shù),然后通過最優(yōu)化方法得到重建后的圖像翼雀,常用的統(tǒng)計迭代算法有懲罰加權最小二乘法和最大后驗算法饱苟。

迭代重建的去噪算法通過估計最大后驗概率(Maximum A Posteriori, MAP)達到去除投影域噪聲,這種基于MAP的濾波算法根據(jù)投影數(shù)據(jù)的統(tǒng)計分布和理想投影圖像的先驗信息建立目標函數(shù)狼渊,目標函數(shù)包括兩項數(shù)據(jù)保真度和懲罰項箱熬。

將綜合投影與探測器采集的實際測量值進行比較檢驗,兩者之間的差異代表了當前估計需要校正的誤差狈邑,并對當前估計得到的圖像進行校正城须。再將校正后的圖像帶入模型進行下次綜合投影模擬,并與實際測量值再次進行檢驗和校正官地。通過如此的反復迭代計算,對圖像信息進行不斷地檢驗和修正烙懦,直到誤差降到最低驱入。

三、圖像域去噪

圖像域的去噪方法就和自然圖像去噪一致了氯析,可以分成兩大類基于模型的去噪和基于判別的去噪方法亏较。基于模型的去噪方法就是傳統(tǒng)機器學習領域的去噪方法掩缓,比如說利用圖像自相似性的BM3D和NL-Means,利用稀疏空間的K-SVD等雪情。Ma等[5]提出一種新的非局部降噪算法來對低劑量CT圖像進行處理,把非局部算法與正常劑量掃描獲得的重建圖像相結(jié)合你辣,降噪效果顯著巡通。Chen等[6]提出一種快速字典學習的方法處理腹部的腫瘤圖像,該算法將稀疏字典學習理論與銳化濾波共同作用舍哄,在提高圖像質(zhì)量的同時還增強了對腫瘤特征的識別作用宴凉。Lauzier等[7]提出先驗圖像約束的壓縮感知(Prior Image Constrained Compressed Sensing。PICCS)統(tǒng)計特性算法并用來減少輻射劑量表悬,該方法在低劑量弥锄、高分辨率的實際臨床情況中有普遍應用。

但上述基于模型的優(yōu)化方法在性能和時間上都不理想蟆沫,又由于深度學習的發(fā)展籽暇,基于判別的去噪方法得到了廣泛的研究。尤其是16年AAPM大賽公開了大量的CT數(shù)據(jù)之后饭庞,深度學習領域出來了一批又一批的LDCT去噪by deeplearning戒悠。

3.1 Low-dose CT denoising with convolutional neural network[8]

第一篇有代表性的用深度學習方法進行LDCT去噪的作品,是ISBI 2016年川大的舟山,網(wǎng)絡非常的簡單救崔,文中也沒有給網(wǎng)絡結(jié)構(gòu)圖惶看,就是一個三層的卷積加ReLU,這篇文章發(fā)表的時候AAPM比賽還未發(fā)出六孵,所以數(shù)據(jù)集不同纬黎。

文章現(xiàn)在來看沒有什么創(chuàng)新的地方,但當時把深度學習引入了LDCT去噪劫窒,隨即一些LDCT去噪的比賽和文章相繼發(fā)出本今。

3.2 A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction(KASIT-Net)[9]

本文是AAPM比賽的第二名,相比于上一篇中的純卷積層的連接本文使用了resnet的結(jié)構(gòu)主巍,網(wǎng)絡結(jié)構(gòu)如下圖冠息。首先將輸入圖像通過小波變換分成4個level,channel分別是8,4,2,1孕索,然后將這4個融合成15個channel輸入到proposed network中逛艰。

proposed network和SRGAN的生成器結(jié)構(gòu)類似,首先經(jīng)過三個卷積層搞旭,然后輸入到6個module中散怖,每個module是由3個連續(xù)的conv+relu+bn和skip layer組成,每個module的輸出都連接到網(wǎng)絡的最后肄渗,讓梯度更好的反傳镇眷,加速end 2 end的訓練。

網(wǎng)絡采用SGD進行優(yōu)化翎嫡,訓練patch設置為55*55欠动,mse作為loss函數(shù)』笊辏總得來說本文的網(wǎng)絡結(jié)構(gòu)在16年時是很先進的具伍,結(jié)果也很好,一直是后來LDCT去噪作品的baseline圈驼。

3.3 Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network (RED-CNN)[10]

這篇就是LDCT廣泛使用的baseline了沿猜,數(shù)據(jù)集自此之后也普遍的開始使用AAPM數(shù)據(jù)集。本文的主要思想和2016年NIPS的RED基本一致碗脊,網(wǎng)絡采用AE的結(jié)構(gòu)啼肩,先用卷積層進行編碼,再用反卷積層進行解碼衙伶,中間通過skip結(jié)構(gòu)連接祈坠,如下圖所示。

文章寫法很有期刊的味道矢劲,實驗設計繁多細致赦拘,算法上沒有很大的創(chuàng)新,但很實用芬沉,網(wǎng)絡消耗和性能共同考慮躺同,上面兩篇文章都是本文的baseline阁猜,實驗結(jié)果如下表:

3.4?Sharpness-Aware Low-Dose CT Denoising Using Conditional Generative Adversarial Network?[11]

在單獨的卷積之后就出現(xiàn)了大批的對抗學習訓練LDCT進行去噪,本文也是比較典型的GAN for LDCT蹋艺,在2018年美國醫(yī)學影像信息大會(SIIM)上發(fā)表的文章剃袍。整體網(wǎng)絡結(jié)構(gòu)如下,三個子網(wǎng)絡構(gòu)成:生成網(wǎng)絡捎谨、判別網(wǎng)絡和銳度檢測網(wǎng)絡民效。

相比較普通的GAN,本文多了一個銳度檢測網(wǎng)絡涛救,本身生成器的loss是L1畏邢,銳度檢測網(wǎng)絡的loss是L2,再加上GAN本身的對抗損失检吆,整個loss就為:

生成器部分是U-Net結(jié)構(gòu)舒萎,判別器是pix2pix的PatchGAN。

3.5 Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distance and Perceptual Loss?(TMI 2018)[12]

這篇文章就是WGAN的一個應用蹭沛,2018 IEEE TRANSACTIONS ON MEDICAL IMAGING的文章臂寝,文章模型總體結(jié)構(gòu)如下:作者應該是受到SRGAN的影響,將VGG的損失函數(shù)帶到了網(wǎng)絡里致板,不純粹的使用MSE交煞,而是利用WGAN的內(nèi)在損失和VGG進行訓練咏窿。

為了保證生成器部分能夠產(chǎn)生高劑量CT斟或,作者增加了感知損失來限制,就是上述模型里的part2集嵌,一般的去噪模型在這里都是用的MSE萝挤,但MSE的效果并不好,可能會產(chǎn)生模糊的圖像并導致細節(jié)失真或丟失根欧,所以作者嘗試了特征空間中定義的loss函數(shù):

其中φ是特征提取器怜珍,whd是特征空間的寬、高凤粗、深度,本文中采用了VGG-19作為特征提取器,所以感知loss是

整體結(jié)構(gòu)就如上圖所示撇簿,part1生成器部分8個卷積層的CNN用于進行CT圖像的重建唧喉;part2感知損失結(jié)構(gòu)用預訓練好的VGG-19將生成器生成的圖像G(z)和ground truth(x)喂到VGG里用于特征提取,然后根據(jù)上式更新生成器的權重异逐;part3判別器網(wǎng)絡捶索,結(jié)構(gòu)如下圖所示,6個卷積層灰瞻,3*3的卷積核腥例,最后一層沒有sigmoid辅甥。

3.6 Structurally-sensitive Multi-scale Deep Neural Network for Low-Dose CT Denoising

作者同上,文章創(chuàng)新點有三:第一就是3DCNN燎竖,生成器部分的璃弄,好處就是“ can integrate spatial information to enhance the image quality and yield 3D volumetric results for better diagnosis.”;第二個創(chuàng)新點是loss底瓣,作者采用了L1損失和結(jié)構(gòu)敏感性損失相結(jié)合的loss形式谢揪,to capture local anatomical structures while reducing background noise.;第三個創(chuàng)新點就是實驗部分對收斂速度和去噪結(jié)果進行對比捐凭。下圖是網(wǎng)絡結(jié)構(gòu)拨扶,

網(wǎng)絡由三部分組成,part1生成器由8個3D卷積組成茁肠,奇數(shù)層卷積核是3*3*1患民,偶數(shù)層是3*3*3,切割成80*80*11的patch垦梆,每個卷積層之后加relu激活匹颤、part2結(jié)構(gòu)敏感性損失網(wǎng)絡也是3d、part3判別器托猩,判別器部分使用的是2D卷積印蓖,filter依次是64、64京腥、128赦肃、128、256公浪、256的6個卷積層他宛,卷積核是3*3。

作者討論了使用3d信息的原因欠气。在實際應用上厅各,我們得到的CT本就是三維圖像,醫(yī)生觀診所用也是三維圖像预柒,3D-CT圖像的相鄰橫截面切片表現(xiàn)出強烈的空間相關性队塘,其可以保存比基于2D的模型更多的矢狀和冠狀方向的信息。

作者在文中對比了幾種不同的loss宜鸯,比如L2loss憔古,它可以有效的抑制背景噪聲,但是去噪結(jié)果不自然而且會模糊化顾翼,L1可以很有效的抑制掉高斯白噪聲投放,但LDCT里不止是高斯噪聲,所以針對LDCT效果不好适贸。下一個loss是結(jié)構(gòu)損失灸芳,目的是讓生成器產(chǎn)生和HDCT更加相似的圖像涝桅,所以這里用的是SSIM,這里的損失就是第三項烙样,分析下冯遂,SSIM是一個[0,1]的數(shù)值,越大表示去噪效果越好谒获,MS_SSIM是SSIM的乘積范圍也被限制在[0,1]蛤肌,切SSIM越大,該值也會越大批狱,LSL是1減掉MS_SSIM裸准,那么就會隨著MS的增大而減小,但會一直控制在[0,1]赔硫,就可以像訓練其他loss一樣來訓練炒俱。

3.7 3-D Convolutional Encoder-Decoder Network forLow-Dose CT via Transfer Learning From a 2-D Trained Network(TMI 2018)[13]

本文的主題網(wǎng)絡也是GAN結(jié)構(gòu),但文章重點不是這個爪膊,而是2D-3D的轉(zhuǎn)換权悟。文章中提出了兩個網(wǎng)絡結(jié)構(gòu),2-D如下:

作者認為針對于CT這種空間性較強的數(shù)據(jù)3D的處理更能獲得空間信息推盛,所以將2-D的結(jié)構(gòu)轉(zhuǎn)換為3-D峦阁,如下。但是3-D的網(wǎng)絡消耗太大耘成,所以作者使用了transfer learning榔昔,在上圖的2D網(wǎng)絡中訓練好,將參數(shù)遷移到三維中凿跳,transfer 的方法如下:

上式中B是三維空間件豌,H是2-D處理疮方,初始化時2-d參數(shù)轉(zhuǎn)移到3-D中控嗜,而后對三維空間進行優(yōu)化,本文與RED-CNN和W-GAN進行了對比骡显,結(jié)果如下:

3.8 SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction.(ISBI 2019)[14]

3.1-3.7的方法均是CT的后處理疆栏,在圖像域的操作,本文結(jié)合正弦域和圖像域一起進行處理惫谤。實際上就是在CT未成為圖像之前的投影數(shù)據(jù)上先進行一個正弦圖插值(用超分辨網(wǎng)絡)壁顶,而后投影數(shù)據(jù)開始轉(zhuǎn)化為CT值,采用FBP溜歪。

FBP是目前最廣泛的CT重建方法若专,其原理是中心切片定理:對投影的一維傅立葉變換等效于對原圖像進行二維的傅立葉變換。所以可以根據(jù)投影數(shù)據(jù)得到原始的CT值蝴猪。

稀疏域的源數(shù)據(jù)和經(jīng)過插值的數(shù)據(jù)都經(jīng)過FBP之后concat一起輸入到去噪的網(wǎng)絡中调衰,去噪網(wǎng)絡采用上一篇paper里的residual U-net膊爪。整個網(wǎng)絡思想如下,目標函數(shù)是:

網(wǎng)絡端到端的進行訓練嚎莉,loss是:

References

[1]. Feeman T G. Algebraic reconstruction techniques [J]. The Mathematics of Medical Imaging, 2010, 101-114.

[2] Jiang M, Wang G. Convergence of the simultaneous algebraic reconstruction technique(SART) [J]. IEEE Trans. Image Process, 2003,12 (8): 957-961.

[3] Andersen A, Kak A. Simultaneous algebraic reconstruction technique (SART): a superior implementation of the ART algorithm [J]. Ultrasonic imaging, 1984, 6 (1): 81-94.

[4] Thomas M. Benson, Jens Gregor. Modified simultaneous iterative reconstruction technique for faster parallel computation[C]. IEEE Nuclear Science Symposium Conference Record, 2005,2715-2718.

[5] Ma J H米酬,Huang J,F(xiàn)eng Q趋箩,et a1.Low—dose computed tomography image restoration using previous normal—dose SCan [J].Medical Physics赃额,201 1,38(10):5713-5731.

[6] Chen Y叫确,Yin X跳芳,Shi L,et a1.Improving abdomen ttlnlor low-dose CT images using a fast dictionary learning based processing[J].Physics in Medicine and Biology,20 1 3竹勉,58(16):5803.

[7] Lauzier P T筛严,Chert G H.Characterization of statistical prior image constrained compressed sensing(PICCS):II.Application to dose reduction [J].Medical Physics,2013饶米,40(40):021902.

[8] H. Chen, Y. Zhang, W. Zhang, P. Liao, K. Li, J. Zhou, and G. Wang,“Low-dose CT via convolutional neural network,” Biomed. Opt. Express 8(2), 679-694 (2017).

[9] E. Kang, J. Min, and J.C. Ye, “A deep convolutional neural network using directional wavelets for low-dose X-ray CT reconstruction,”arXiv:1610.09736 (2016).

[10] H. Chen et al., "Low-dose CT with a residual encoder-decoder convolutional neural network", IEEE Trans. Image Process., vol. 36, no. 12, pp. 2524-2535, Dec. 2017.

[11] Xin Yi,?Paul Babyn:Sharpness-Aware Low-Dose CT Denoising Using Conditional Generative Adversarial Network.?J. Digital Imaging31(5):?655-669?(2018)

[12] Qingsong Yang,?Pingkun Yan,?Yanbo Zhang,?Hengyong Yu,?Yongyi Shi,?Xuanqin Mou,?Mannudeep K. Kalra,?Yi Zhang,?Ling Sun,?Ge Wang:Low-Dose CT Image Denoising Using a Generative Adversarial Network With Wasserstein Distance and Perceptual Loss.?IEEE Trans. Med. Imaging?37(6):?1348-1357?(2018)

[13] Hongming Shan, Yi Zhang, Qingsong Yang, Uwe Kruger, Mannudeep K. Kalra, Ling Sun, Wenxiang Cong, Ge Wang: Correction for "3D Convolutional Encoder-Decoder Network for Low-Dose CT via Transfer Learning From a 2D Trained Network". IEEE Trans. Med. Imaging 37(12): 2750 (2018)

[14] Huizhuo Yuan, Jinzhu Jia, Zhanxing Zhu: SIPID: A deep learning framework for sinogram interpolation and image denoising in low-dose CT reconstruction. ISBI 2018: 1521-1524

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末桨啃,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子檬输,更是在濱河造成了極大的恐慌照瘾,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,607評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件丧慈,死亡現(xiàn)場離奇詭異析命,居然都是意外死亡,警方通過查閱死者的電腦和手機逃默,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,239評論 3 395
  • 文/潘曉璐 我一進店門鹃愤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人完域,你說我怎么就攤上這事软吐。” “怎么了吟税?”我有些...
    開封第一講書人閱讀 164,960評論 0 355
  • 文/不壞的土叔 我叫張陵凹耙,是天一觀的道長。 經(jīng)常有香客問我肠仪,道長肖抱,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,750評論 1 294
  • 正文 為了忘掉前任异旧,我火速辦了婚禮意述,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己荤崇,他們只是感情好镐依,可當我...
    茶點故事閱讀 67,764評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著天试,像睡著了一般槐壳。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上喜每,一...
    開封第一講書人閱讀 51,604評論 1 305
  • 那天务唐,我揣著相機與錄音,去河邊找鬼带兜。 笑死枫笛,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的刚照。 我是一名探鬼主播刑巧,決...
    沈念sama閱讀 40,347評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼无畔!你這毒婦竟也來了啊楚?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,253評論 0 276
  • 序言:老撾萬榮一對情侶失蹤浑彰,失蹤者是張志新(化名)和其女友劉穎恭理,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體郭变,經(jīng)...
    沈念sama閱讀 45,702評論 1 315
  • 正文 獨居荒郊野嶺守林人離奇死亡颜价,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,893評論 3 336
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了诉濒。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片周伦。...
    茶點故事閱讀 40,015評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖未荒,靈堂內(nèi)的尸體忽然破棺而出专挪,到底是詐尸還是另有隱情,我是刑警寧澤茄猫,帶...
    沈念sama閱讀 35,734評論 5 346
  • 正文 年R本政府宣布狈蚤,位于F島的核電站困肩,受9級特大地震影響划纽,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜锌畸,卻給世界環(huán)境...
    茶點故事閱讀 41,352評論 3 330
  • 文/蒙蒙 一勇劣、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦比默、人聲如沸幻捏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,934評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽篡九。三九已至,卻和暖如春醋奠,著一層夾襖步出監(jiān)牢的瞬間榛臼,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,052評論 1 270
  • 我被黑心中介騙來泰國打工窜司, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留沛善,地道東北人。 一個月前我還...
    沈念sama閱讀 48,216評論 3 371
  • 正文 我出身青樓塞祈,卻偏偏與公主長得像金刁,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子议薪,可洞房花燭夜當晚...
    茶點故事閱讀 44,969評論 2 355