最近嘗試把視頻中動作識別的一些方法融合進(jìn)入醫(yī)學(xué)圖像的目標(biāo)檢測和分類問題中，看到幾篇很不錯的文章，略作小結(jié)。
MRI、CT（三維圖像）之類的醫(yī)療圖像和視頻非常類似——它們都是在第三個維度上對二維空間信息進(jìn)行編碼梨与。要建立一個能夠捕獲時空信息的構(gòu)架，可以有以下策略：1）一個網(wǎng)絡(luò)同時捕捉時空信息或者兩個網(wǎng)絡(luò)文狱，分別得到時間和空間信息粥鞋。2）跨多個剪輯的融合預(yù)測。3）端到端訓(xùn)練或者特征提取分類瞄崇。
醫(yī)療圖像與傳統(tǒng)的動作識別有不同點(diǎn)：醫(yī)學(xué)圖像時間上下文可能不如動作識別那樣重要呻粹。例如，頭部大出血 CT 掃描檢測應(yīng)該較少涉及跨片段的時間上下文苏研。顱內(nèi)大出血能夠從單個片段中檢測出來等浊。與之相反的是，從胸部 CT 掃描中進(jìn)行肺結(jié)節(jié)檢測會涉及捕捉時間上下文摹蘑，因為結(jié)節(jié)與支氣管和血管在二維掃描中看起來都像圓形物體筹燕。只有捕捉三維上下文，球形物體的結(jié)節(jié)才能與圓柱形物體的血管區(qū)分開衅鹿。
在討論顱腦影像處理前，先理解幾個概念大渤。
顱內(nèi)出血：（intracerebral hemorrhage耕捞，縮寫：ICH ）是指腦中的血管破裂引起出血俺抽，因此由血管獲得血液的腦細(xì)胞受到破壞的同時凌埂，由于出血壓迫周圍的神經(jīng)組織而引起障礙瞳抓。根據(jù)出血點(diǎn)位置不同孩哑，顱內(nèi)出血有很多類別横蜒，包括腦實質(zhì)出血intraparenchymal (IPH), 腦室出血intraventricular (IVH), 硬膜下出血subdural (SDH), 硬膜外出血extradural (EDH)和蛛網(wǎng)膜下出血subarachnoid (SAH), and 顱頂骨折销凑。
中線偏移：正常情況下腦中線是居中的斗幼，當(dāng)顱腔內(nèi)某一分腔有占位性病變時蜕窿，該分腔的壓力比鄰近分腔的壓力高毁兆，腦組織從高壓區(qū)向低壓區(qū)移位气堕，從而引起一系列臨床綜合征骗爆，稱為腦疝摘投。腦疝會引起腦中線偏移虹蓄。
占位效應(yīng)：往往由膠質(zhì)瘤引起薇组，從名稱可以理解異常組織對正常腦空間產(chǎn)生擠壓律胀，引發(fā)的一系列頭痛、惡心及嘔吐等反應(yīng)逛漫。
腦CT是臨床常用方法蕾管，分析顱腦影像是一個緊急性和時效性兼?zhèn)涞娜蝿?wù)掰曾。潛在的腦出血患者需要及時進(jìn)行手術(shù)下梢，此外塞蹭，腦骨折也是一類容易被忽略疾病番电，特別是當(dāng)骨折點(diǎn)位于軸向面時漱办。因此暇屋，基于深度學(xué)習(xí)的顱腦影像分析方法有其臨床醫(yī)學(xué)價值洞辣。
訓(xùn)練一個可以準(zhǔn)確分類和定位腦損傷的深度學(xué)習(xí)網(wǎng)絡(luò)咐刨，在需要大量標(biāo)注數(shù)據(jù)的同時，網(wǎng)絡(luò)本身的設(shè)計也會面臨種種問題扬霜。一個是CT圖像集是三維的定鸟，由于“維度災(zāi)難”，增加一個維度會使得計算量呈指數(shù)上升著瓶；另一個問題是缺乏可用于遷移學(xué)習(xí)的預(yù)訓(xùn)練權(quán)重联予，目前大部分研究理念都借助于使用預(yù)訓(xùn)練的二維卷積神經(jīng)網(wǎng)絡(luò)作為起點(diǎn)來獲取更好的收斂結(jié)果。就醫(yī)療圖像來說，沒有這樣可用的預(yù)訓(xùn)練網(wǎng)絡(luò)沸久。
有一些比較新的針對這些問題的解決方案季眷，比如在顱內(nèi)出血的分類問題上，使用ResNet18卷胯，該方法對網(wǎng)絡(luò)結(jié)構(gòu)做了修改瘟裸，在最后一層用了五層FC取代原來的一層FC；顱內(nèi)出血的定位上诵竭，用Unet去預(yù)測每個像素；在診斷占位效應(yīng)和中線偏移時使用ResNet18; 在診斷顱骨骨折時兼搏；利用目標(biāo)識別中的box去識別骨折處的位置卵慰。
