一检柬、醫(yī)學(xué)圖像處理的意義
醫(yī)學(xué)圖像是反映人體內(nèi)部結(jié)構(gòu)的圖像，是現(xiàn)代醫(yī)療診斷的主要依據(jù)之一竖配。目前何址，醫(yī)學(xué)圖像處理任務(wù)主要集中在圖像檢測(cè)、圖像分割进胯、圖像配準(zhǔn)及圖像融合四個(gè)方面用爪。
醫(yī)學(xué)圖像數(shù)據(jù)具有可獲得、質(zhì)量高胁镐、體量大偎血、標(biāo)準(zhǔn)統(tǒng)一等特點(diǎn)，使人工智能在其中的應(yīng)用較為成熟盯漂。利用圖像處理技術(shù)對(duì)圖像進(jìn)行分析和處理颇玷，實(shí)現(xiàn)對(duì)人體器官、軟組織和病變體的位置檢測(cè)就缆、分割提取帖渠、三維重建和三維顯示，可以對(duì)感興趣區(qū)域（Region of Interest, ROI)進(jìn)行定性甚至定量的分析竭宰，從而大大提高臨床診斷的效率空郊、準(zhǔn)確性和可靠性，在醫(yī)療教學(xué)切揭、手術(shù)規(guī)劃渣淳、手術(shù)仿真及各種醫(yī)學(xué)研究中也能起重要的輔助作用。
二伴箩、醫(yī)學(xué)圖像處理的主要任務(wù)
2.1 圖像檢測(cè)
圖像檢測(cè)是計(jì)算機(jī)輔助檢測(cè)的基礎(chǔ)入愧，并且非常適合引入深度學(xué)習(xí)。醫(yī)學(xué)圖像檢測(cè)的傳統(tǒng)方法是通過(guò)監(jiān)督方法或傳統(tǒng)數(shù)字圖像處理技術(shù)檢測(cè)候選病變位置」字耄基于深度學(xué)習(xí)的方式是基于影像學(xué)數(shù)據(jù)或理論指導(dǎo)怔蚌，訓(xùn)練網(wǎng)絡(luò)，發(fā)現(xiàn)病變旁赊，提高診斷準(zhǔn)確率桦踊。
2.2 圖像分割
目前醫(yī)學(xué)圖像分割處理的對(duì)象主要是各種細(xì)胞、組織终畅、器官的圖像籍胯，醫(yī)學(xué)圖像分割的過(guò)程是：根據(jù)區(qū)域間的相似或不同，把圖像分割成若干區(qū)域离福。
傳統(tǒng)的圖像分割技術(shù)有基于區(qū)域的分割方法和基于邊界的分割方法杖狼，前者依賴于圖像的空間局部特征，如灰度妖爷、紋理及其它像素統(tǒng)計(jì)特性的均勻性等蝶涩，后者主要是利用梯度信息確定目標(biāo)的邊界。
結(jié)合特定的理論工具絮识，圖像分割技術(shù)有了更進(jìn)一步的發(fā)展绿聘。比如基于三維可視化系統(tǒng)結(jié)合FastMarching算法和Watershed 變換的醫(yī)學(xué)圖像分割方法，能得到快速次舌、準(zhǔn)確的分割結(jié)果[1]熄攘。
隨著其它新興學(xué)科的發(fā)展，產(chǎn)生了一些全新的圖像分割技術(shù)彼念。如基于統(tǒng)計(jì)學(xué)的方法鲜屏、基于模糊理論的方法、基于神經(jīng)網(wǎng)絡(luò)的方法国拇、基于小波分析的方法洛史、組合優(yōu)化模型等方法。
雖然不斷有新的分割方法被提出酱吝，但結(jié)果都不是很完美也殖。目前醫(yī)學(xué)圖像分割方法的研究具有如下顯著特點(diǎn)：現(xiàn)有任何一種單獨(dú)的圖像分割算法都難以對(duì)一般圖像取得比較滿意的結(jié)果，要更加注重多種分割算法的有效結(jié)合务热。在目前無(wú)法完全由計(jì)算機(jī)來(lái)完成圖像分割任務(wù)的情況下忆嗜，人機(jī)交互式分割方法逐漸成為研究重點(diǎn)，除此之外崎岂，分割方法的研究重點(diǎn)主要是：自動(dòng)捆毫、精確、快速冲甘、自適應(yīng)绩卤、魯棒性途样、多模態(tài)融合等方向。
2.3 圖像配準(zhǔn)
圖像配準(zhǔn)是圖像融合的前提濒憋，是公認(rèn)難度較大的圖像處理技術(shù)何暇，也是決定醫(yī)學(xué)圖像融合技術(shù)發(fā)展的關(guān)鍵技術(shù)。
在臨床診斷中凛驮，單一模態(tài)的單張圖像往往不能提供醫(yī)生所需要的足夠信息裆站，因此，醫(yī)生經(jīng)常需要將多種模式或同一模式的多次成像配準(zhǔn)融合黔夭，從而實(shí)現(xiàn)感興趣區(qū)域的信息互補(bǔ)宏胯。根據(jù)患者多方面的綜合信息，醫(yī)生才能做出更加準(zhǔn)確的診斷或制定出更加合適患者的治療方法[2]本姥。
圖像配準(zhǔn)就是要對(duì)幾幅圖像作定量分析肩袍，首先需要解決圖像之間的嚴(yán)格對(duì)齊問(wèn)題。醫(yī)學(xué)圖像配準(zhǔn)包括圖像的定位和轉(zhuǎn)換扣草，即通過(guò)尋找一種空間變換使兩幅圖像對(duì)應(yīng)點(diǎn)達(dá)到空間位置和解剖結(jié)構(gòu)上的完全一致了牛。配準(zhǔn)的結(jié)果應(yīng)該至少使有診斷意義的點(diǎn)颜屠，及手術(shù)感興趣的點(diǎn)達(dá)到匹配辰妙。
2.4 圖像融合
圖像融合的主要目的是通過(guò)對(duì)多幅圖像間的冗余數(shù)據(jù)的處理來(lái)提高圖像的可讀性，對(duì)多幅圖像間的互補(bǔ)信息的處理來(lái)提高圖像的清晰度甫窟。多模態(tài)醫(yī)學(xué)圖像的融合把有價(jià)值的生理功能信息與精確的解剖結(jié)構(gòu)結(jié)合在一起密浑，可以為臨床提供更加全面和準(zhǔn)確的資料[3]。
圖像數(shù)據(jù)融合主要有以像素為基礎(chǔ)的方法和以圖像特征為基礎(chǔ)的方法粗井。前者是對(duì)圖像進(jìn)行逐點(diǎn)處理尔破，把兩幅圖像對(duì)應(yīng)像素點(diǎn)的灰度值進(jìn)行加權(quán)求和、灰度取大或者灰度取小等操作浇衬，算法實(shí)現(xiàn)比較簡(jiǎn)單懒构，不過(guò)實(shí)現(xiàn)效果和效率都相對(duì)較差，融合后圖像會(huì)出現(xiàn)一定程度的模糊耘擂。后者要對(duì)圖像進(jìn)行特征提取等處理胆剧，用到的算法原理復(fù)雜，實(shí)現(xiàn)效果比較理想醉冤。
三秩霍、醫(yī)學(xué)圖像數(shù)據(jù)的介紹
3.1 數(shù)據(jù)的獲取
醫(yī)學(xué)圖像的目的是使觀察者看到患者體內(nèi)的物體或狀況，因此醫(yī)學(xué)圖像必須呈現(xiàn)特定解剖特征的蚁阳，這取決于成像系統(tǒng)的特性及其操作方式铃绒，大多數(shù)醫(yī)學(xué)成像系統(tǒng)具有相當(dāng)多的操作變量，它們可以是可變系統(tǒng)組件螺捐，例如：磁共振成像（MRI）中的線圈颠悬，或者是與成像過(guò)程相關(guān)的可調(diào)節(jié)物理量矮燎，例如：MRI中的回聲時(shí)間（TE）。選擇的值將決定圖像的質(zhì)量和看到的特定解剖特征椿疗。
醫(yī)學(xué)圖像通常都是患者的真實(shí)數(shù)據(jù)資料漏峰，如果需要獲取，大家可以尋找公開數(shù)據(jù)庫(kù)的資料〗扉現(xiàn)在很多機(jī)構(gòu)也舉行了醫(yī)學(xué)圖像處理任務(wù)比賽浅乔，醫(yī)學(xué)影像的研究資料在網(wǎng)絡(luò)上已經(jīng)很常見。
3.2 圖像數(shù)據(jù)的類型
醫(yī)學(xué)圖像處理的對(duì)象是各種不同成像機(jī)理的醫(yī)學(xué)影像铝条，臨床廣泛使用的醫(yī)學(xué)成像種類主要有：X-射線成像 （X-CT）靖苇、電腦斷層掃描（CT）、正電子發(fā)射計(jì)算機(jī)斷層顯像（PET-CT）班缰、核磁共振成像（MRI）贤壁、核醫(yī)學(xué)成像（NMI）、超聲波成像（UI）埠忘、顯微鏡下拍攝的病理圖像等脾拆。
3.3 數(shù)據(jù)格式的標(biāo)準(zhǔn)
DICOM（Digital Imaging and Communications in Medicine）即醫(yī)學(xué)數(shù)字成像和通信，是醫(yī)學(xué)圖像和相關(guān)信息的國(guó)際標(biāo)準(zhǔn)莹妒。這也是目前應(yīng)用最為廣泛的醫(yī)學(xué)影像格式名船，常見的CT,核磁共振，心血管成像等大多采用Dicom格式的存儲(chǔ)旨怠。
doicm主要存儲(chǔ)兩方面信息：關(guān)于患者的PHI(Protected Health Imformation)信息和圖像信息渠驼。PHI就是患者的相關(guān)信息。例如：姓名鉴腻，性別迷扇，年齡，繼往病歷等爽哎。圖像信息包括兩部分蜓席，一部分信息是掃描過(guò)后患者圖像的某一層切片，醫(yī)生通過(guò)專門的Dicom閱讀器打開课锌，察看患者病情厨内。另一部分是相關(guān)的設(shè)備信息，例如生產(chǎn)的Dicom圖像是X光機(jī)掃描出的X光圖像的某一層产镐，那么Dicom就會(huì)存儲(chǔ)關(guān)于此X光機(jī)的相關(guān)設(shè)備信息隘庄。
四、醫(yī)學(xué)圖像處理任務(wù)的評(píng)價(jià)指標(biāo)
4.1 交并比
交并比（Intersection over Unoin, IoU）是檢測(cè)結(jié)果的矩形框與樣本標(biāo)注的矩形框的交集與并集面積的比值癣亚。一般對(duì)于檢測(cè)框的判定都會(huì)存在一個(gè)閾值丑掺，常見的閾值為0.5，當(dāng)計(jì)算得到的IoU大于0.5時(shí)可以認(rèn)為檢測(cè)到目標(biāo)物體述雾。
4.2 四種結(jié)果及其引申指標(biāo)
實(shí)際任務(wù)中的分類任務(wù)常常作為檢測(cè)任務(wù)后的一個(gè)小任務(wù)街州，但他的評(píng)價(jià)指標(biāo)較多兼丰，因此單獨(dú)在本節(jié)中列出
首先要說(shuō)明，從成像過(guò)程得出的診斷將病例分為四類：實(shí)際是陽(yáng)性并被預(yù)測(cè)正確唆缴，即為真陽(yáng)性（True Positive, TP）鳍征，實(shí)際是陰性并被預(yù)測(cè)正確，即為真陰性（True Negative, TN）面徽，實(shí)際是陽(yáng)性并被預(yù)測(cè)錯(cuò)誤艳丛，即為假陽(yáng)性（False Positive, FP）和實(shí)際是陰性并被預(yù)測(cè)錯(cuò)誤，即為假陰性（False Negative, FN）趟紊，四種結(jié)果如下表所示氮双，其中1代表陽(yáng)性和正確，0代表陰性和錯(cuò)誤霎匈。大部分醫(yī)學(xué)圖像處理任務(wù)評(píng)價(jià)指標(biāo)戴差，都可以用這四個(gè)結(jié)果計(jì)算得出。
在理想情況下铛嘱，只有真陽(yáng)性和真陰性病例暖释。出于多種原因出現(xiàn)假陰性和假陽(yáng)性，包括特定成像方法的固有限制墨吓，圖像處理方式限制球匕。
準(zhǔn)確率（accuracy）是分類任務(wù)的常見評(píng)價(jià)指標(biāo)，是分類正確的樣本數(shù)除以所有樣本數(shù)肛真，即：
accuracy = (TP+TN)/(TP+TN+FP+FN)
召回率（recall）也叫做靈敏度（True Positive Rate）谐丢，指在總的正樣本中爽航，找回了多少正樣本蚓让，即：
recall = TP/(TP+FN)
F1分?jǐn)?shù)(F1-score)認(rèn)為召回率和精度同等重要, 一些多分類問(wèn)題的機(jī)器學(xué)習(xí)競(jìng)賽，常常將F1-score作為最終測(cè)評(píng)的方法讥珍。它是精確率和召回率的調(diào)和平均數(shù)历极，最大為1，最小為0衷佃。計(jì)算公式如下：
F1 = 2TP/(2TP+FP+FN)
受試者工作特征曲線（Receiver Operating Characteristic Curve, ROC）橫軸為FP趟卸，縱軸為TP，曲線描述的其實(shí)是分類器性能隨著分類器閾值的變化而變化的過(guò)程氏义。
理想的算法產(chǎn)生100％的靈敏度和100％的特異性锄列，成像方法的特征和所得圖像的質(zhì)量決定了實(shí)際曲線的形狀以及特定病理狀況的靈敏度和特異性之間的關(guān)系，觀察者用于進(jìn)行診斷的標(biāo)準(zhǔn)確定曲線上產(chǎn)生實(shí)際靈敏度和特異性值的點(diǎn)惯悠。有關(guān)ROC曲線的更多理論細(xì)節(jié)邻邮，可以查看學(xué)習(xí)資料[4]。
4.3 其他
醫(yī)學(xué)圖像分割與配準(zhǔn)指標(biāo)較少克婶，分割精度就是分割準(zhǔn)確面積與標(biāo)注的真實(shí)分割面積之比筒严。配準(zhǔn)的指標(biāo)主要是配準(zhǔn)圖像的像素與標(biāo)注圖像像素的物理距離丹泉。
醫(yī)學(xué)圖像融合的指標(biāo)主要有以下這些：空間頻率，反映圖像灰度變化鸭蛙，平均梯度摹恨，衡量圖像的清晰程度，平均梯度越大娶视，圖像清晰度越好晒哄。互信息肪获，度量融合圖像與輸入圖像在灰度分布上的相似程度揩晴，即融合圖像保留原圖像信息的多少。如果還想了解更多指標(biāo)贪磺，可以動(dòng)手搜索相關(guān)文獻(xiàn)了解硫兰。
五、醫(yī)學(xué)圖像處理領(lǐng)域的挑戰(zhàn)
5.1 數(shù)據(jù)維度問(wèn)題
在迄今為止的大多數(shù)工作中寒锚，是在2D圖像中進(jìn)行處理分析劫映，目前有越來(lái)越多的人轉(zhuǎn)向3D數(shù)據(jù)處理的研究，其中存在很多新的問(wèn)題和挑戰(zhàn)刹前。
5.2 學(xué)習(xí)方法
當(dāng)我們查看網(wǎng)絡(luò)文獻(xiàn)時(shí)泳赋，大多數(shù)工作都集中在受監(jiān)督的CNN上，這種網(wǎng)絡(luò)對(duì)于許多應(yīng)用是重要的喇喉，包括檢測(cè)祖今，分割和標(biāo)記。因此基于深度學(xué)習(xí)的方法仍然是目前最熱門的方法拣技，而其中的可解釋性和新的網(wǎng)絡(luò)結(jié)構(gòu)方面千诬，仍然存在非常大的挑戰(zhàn)和可發(fā)展空間。另外膏斤，仍然有一些研究人員專注于無(wú)監(jiān)督方案徐绑，有不少人期待著無(wú)監(jiān)督方案有更好的表現(xiàn)。
5.3 遷移學(xué)習(xí)和微調(diào)
在醫(yī)學(xué)成像領(lǐng)域經(jīng)常遇到?jīng)]有足夠的數(shù)據(jù)的情況莫辨，此時(shí)可以嘗試兩種方法：遷移學(xué)習(xí)和網(wǎng)絡(luò)微調(diào)傲茄。遷移學(xué)習(xí)是指從自然圖像數(shù)據(jù)集或不同醫(yī)學(xué)領(lǐng)域預(yù)訓(xùn)練的網(wǎng)絡(luò)模型用于新的醫(yī)療任務(wù)。在一個(gè)方案中沮榜，預(yù)先訓(xùn)練CNN應(yīng)用于輸入圖像盘榨，然后從網(wǎng)絡(luò)層提取輸出。提取的輸出被認(rèn)為是特征并且用于訓(xùn)練單獨(dú)的模式分類器蟆融。網(wǎng)絡(luò)微調(diào)是指當(dāng)手頭的任務(wù)確實(shí)存在中等大小的數(shù)據(jù)集時(shí)草巡，使用預(yù)先訓(xùn)練的CNN作為網(wǎng)絡(luò)的初始化，然后進(jìn)行進(jìn)一步的監(jiān)督訓(xùn)練振愿，其中幾個(gè)（或全部）網(wǎng)絡(luò)層捷犹，使用任務(wù)的新數(shù)據(jù)弛饭。
5.4 數(shù)據(jù)隱私
受社會(huì)和技術(shù)問(wèn)題的影響，需要從社會(huì)學(xué)和技術(shù)學(xué)的角度共同解決萍歉。在醫(yī)療保健數(shù)據(jù)不斷增加的同時(shí)侣颂，研究人員面臨如何加密患者信息以防止其被使用或披露的問(wèn)題。但是不合理的限制訪問(wèn)可能使臨床決策缺少非常重要的信息枪孩。
六憔晒、CVPR2020醫(yī)學(xué)圖像處理類論文推薦
6.1 圖像檢測(cè)
- 半監(jiān)督學(xué)習(xí)方法 + 3D醫(yī)學(xué)圖像檢測(cè)
FocalMix: Semi-Supervised Learning for 3D Medical Image Detection
作者 | Dong Wang, Yuan Zhang, Kexin Zhang, Liwei Wang
單位 | 北京大學(xué)；醫(yī)準(zhǔn)智能
- 乳腺X線檢測(cè)
Cross-View Correspondence Reasoning Based on Bipartite Graph Convolutional Network for Mammogram Mass Detection
作者 | Yuhang Liu, Fandong Zhang, Qianyi Zhang, Siwen Wang, Yizhou Wang, Yizhou Yu
單位 | Deepwise AI Lab蔑舞；北大
6.2 圖像分割
- 用于CT掃描中的管狀結(jié)構(gòu)分割
Deep Distance Transform for Tubular Structure Segmentation in CT Scans
作者 | Yan Wang, Xu Wei, Fengze Liu, Jieneng Chen, Yuyin Zhou, Wei Shen, Elliot K. Fishman, Alan L. Yuille
單位 | 約翰斯霍普金斯拒担；加利福尼亞大學(xué)圣迭戈分校；同濟(jì)大學(xué)等
- 用于3D醫(yī)學(xué)圖像分割
C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
作者 | Qihang Yu, Dong Yang, Holger Roth, Yutong Bai, Yixiao Zhang, Alan L. Yuille, Daguang Xu
單位 | 約翰斯霍普金斯攻询；英偉達(dá)
6.3 圖像配準(zhǔn)
- 基于學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)的高效網(wǎng)絡(luò)
DeepFLASH: An Efficient Network for Learning-Based Medical Image Registration
作者 | Jian Wang, Miaomiao Zhang
單位 | 弗吉尼亞大學(xué)
代碼 |https://github.com/jw4hv/deepflash
2.Fast Symmetric Diffeomorphic Image Registration with Convolutional Neural Networks
作者 | Tony C.W. Mok, Albert C.S. Chung
單位 | 香港科技大學(xué)
七从撼、參考資料
[1]. 林瑤, 田捷. 醫(yī)學(xué)圖像分割方法綜述[J]. 模式識(shí)別與人工智能, 2002, 15(2).
[2]. 周永新, 羅述謙. 一種人機(jī)交互式快速腦圖像配準(zhǔn)系統(tǒng)[J] . 北京生物醫(yī)學(xué)工程, 2002; 21 (1) ：11~14
[3]. 林曉, 邱曉嘉. 圖像分析技術(shù)在醫(yī)學(xué)上的應(yīng)用 [J] . 包頭醫(yī)學(xué)院學(xué)報(bào), 2005, 21 (3) ：311~ 314
[4]. 李開文. ROC曲線簡(jiǎn)介
［DB/OL]. (2017-04-11)[2021-08-05]. https://zhuanlan.zhihu.com/p/26293316.
