多標(biāo)簽分類問題概況 及 醫(yī)學(xué)影像分類的思考

最近在做眼底圖像的多標(biāo)簽分類，讀了一下武大的劉威威老師的綜述The Emerging Trends of Multi-Label Learning^[1]魏割，自己也看了一點醫(yī)學(xué)影像分類和自然圖像多標(biāo)簽分類的文章豺憔。本文主要總結(jié)一下閱讀之后對多標(biāo)簽分類（multi-label classification, MLC）問題的理解歧寺，以及對于醫(yī)學(xué)影像上的多標(biāo)簽問題的特點的一點思考建椰。

綜述的概括

為了偷懶這里就不列各個方法的引用了紊馏，在概括綜述內(nèi)容的基礎(chǔ)上加了一點自己的理解富雅，是跳著讀的所以只有部分內(nèi)容。

綜述結(jié)構(gòu)

MLC問題的研究重點包含幾個方面：

• Extreme MLC: XMLC, 就是類別數(shù)非常大的MLC場景陨收。隨著大數(shù)據(jù)時代的到來饭豹，這個場景的研究意義重大。
  • 大部分工作是基于SLEEC之后做的务漩，主要有基于one-vs-all分類器拄衰、樹、embedding三種思路饵骨。
  • 理論層面需要針對標(biāo)簽稀疏翘悉，處理長尾分布問題。
• MLC with missing/nosiy label：非全監(jiān)督學(xué)習(xí)的MLC版本居触，主要針對標(biāo)簽的問題進(jìn)行處理妖混。
  • missing label：預(yù)設(shè)有的類別無label
  • semi-supervised：傳統(tǒng)半監(jiān)督學(xué)習(xí)的遷移，部分data有l(wèi)abel饼煞，部分沒有
  • partial multi-label: 部分label不可信源葫，即模糊標(biāo)簽的場景
• online MLC for stream data：由于現(xiàn)在web端實時產(chǎn)出大量流數(shù)據(jù)，針對線上實時場景的MLC被大量關(guān)注砖瞧。
  • 流數(shù)據(jù)無法預(yù)讀到內(nèi)存里獲取全局息堂，一般需要實時處理每個時間戳
  • 現(xiàn)有offline MLC model在序列數(shù)據(jù)上的效果一般
  • online MLC領(lǐng)域目前在實驗和理論上暫無特別好的效果(very limited)

§4 Deep Learning for MLC

• BP-MLL

最早在MLC中使用NN結(jié)構(gòu)的是BP-MLL, 它提出了一種pairwise的loss函數(shù)，如下：

其中分別為預(yù)測為1和0的類別块促，使用形式懲罰項荣堰，使得不同的類別間差值盡可能大，整體是一種rank loss的思路竭翠。

在隨后的研究中發(fā)現(xiàn)振坚，BP-MLL可以使用cross-entropy loss，再加上一點ReLu/Dropout/AdaGrad之類的trick斋扰，可以再經(jīng)典BP-MLL無法應(yīng)用的大規(guī)模文本分類的場景獲得新的SOTA性能渡八。

• C2AE

經(jīng)典的Embedding方法只能獲取label本身的語意dependency，不可能獲取更高維的聯(lián)系传货，C2AE（Canonical Correlated AutoEncoder）是第一個基于Embedding的MLC方法屎鳍，它通過自編碼器提取特征，利用DCCA（deep canonical correlation analysis）基于特征提取label間的聯(lián)系问裕，屬于embedding層逮壁。

C2AE整體目標(biāo)函數(shù)定義如下：

分別為 特征映射、編碼函數(shù)粮宛、解碼函數(shù)窥淆， 是平衡兩個懲罰項的權(quán)重項卖宠。分別為latent空間(feature和encoding之間)和output空間上(encoding和decoding之間)的loss。

借鑒了CCA的思路忧饭，C2AE使instance和label的聯(lián)系盡可能大（最小化差距）

自編碼器使用和上文相似的rank loss扛伍，使得不同類別的code差別盡可能大。

后續(xù)的DCSPE, DBPC等工作進(jìn)一步提升了文本分類上的SOTA性能和推理速度眷昆。

• patial and weak-supervised MLC

CVPR 2020中D. Huynh的Interactive multi-label cnn learning with partial labels和CVPR 2019中T. Durand的Learning a deep convnet for multi-label classification with partial labels（以下根據(jù)坐著名稱簡稱D和T）做了相關(guān)研究蜒秤。

T使用BCE Loss訓(xùn)練有標(biāo)簽部分，然后使用GNN提取標(biāo)簽間聯(lián)系亚斋。實驗證明部分標(biāo)注的大數(shù)據(jù)集比全標(biāo)注的小數(shù)據(jù)集效果要好，進(jìn)一步證明了partial label的MLC領(lǐng)域的研究意義攘滩。

D在T的基礎(chǔ)上帅刊，使用流形學(xué)習(xí)的思路，將label和feature的流形平滑度作為BCE Loss函數(shù)的cost漂问，再使用半監(jiān)督的思路赖瞒，CNN學(xué)習(xí)和similarity同步進(jìn)行（我沒看這篇文章，聽綜述的這種描述類似于模型或者teacher-student結(jié)構(gòu)）蚤假。

• SOTA的Advanced MLC

分類鏈：ADIOS把label切分成馬爾科夫毯鏈（Markov Blanket Chain）栏饮，可以提取label間的關(guān)系，然后丟進(jìn)DNN訓(xùn)練磷仰。

CRNN：有2篇文章把類別作為序列袍嬉，使用CRNN或者C-LSTM處理。更進(jìn)一步對于類別序列的順序使用attention/RL進(jìn)行學(xué)習(xí)灶平，尋找最優(yōu)順序伺通。CVPR 2020和AAAI 2020各有一篇此思路的，使用optimal completion distillation+多任務(wù)學(xué)習(xí)/最小alignment的思路逢享，都是嘗試動態(tài)調(diào)整label sequence的order（order-free）罐监。

graph相關(guān)

• ^[2] 建立一個類別間的有向圖，然后使用GCN訓(xùn)練瞒爬。
• SSGRL^[3] 使用embedding進(jìn)行semantic decoupling, 然后使用GNN學(xué)習(xí)label+feature構(gòu)成的-semantic弓柱，強化instance和label特征，以學(xué)習(xí)更高維的label間的聯(lián)系侧但。
• ^[4] 對GCN和CNN的一些layer間添加連接矢空，從而實現(xiàn)label-aware的分類學(xué)習(xí)
• ^[5] 使用GCN獲取rich semantic info，再使用non-local attention獲取長語意關(guān)聯(lián)俊犯。
• ^[6] 使用深度森林妇多，一種tree ensemble方式，不依賴回傳機制燕侠。提出了MLDF(multi-label Deep Forest)者祖，據(jù)說可以更好地解決過擬合立莉，在6種指標(biāo)上取得了SOTA的效果，是lightweight設(shè)計的一個探索七问。

醫(yī)學(xué)影像的MLC思考

以前看醫(yī)學(xué)圖像分割的文章(DeepIGeoS)蜓耻，國泰對于醫(yī)學(xué)圖像的特殊點概括為：

1. 低對比度，高噪聲械巡，存在空腔
2. 患者間scale和feature差異巨大
3. 疾病間的不均勻表征
4. 醫(yī)生定義不同會造成ground-truth特征不一致

這主要針對與分割而言刹淌，因為一般分割任務(wù)的CT和MRI圖像是高Intensity的灰度圖像，感覺在MLC場景中1和2基本都不咋適用讥耗。

3在MLC中表現(xiàn)為不同類別的feature的不均勻有勾，例如有的疾病可能可觀測癥狀覆蓋很大區(qū)域，有的就只是很小的部分會出現(xiàn)可觀測的癥狀古程，感覺類似于FPN的multi-scale策略對于特征提取會有一些幫助蔼卡，不過這是一個很general的推測，具體效果需要在具體的場景下多做實驗挣磨。

4可以聯(lián)系上MLC中的partial label問題雇逞，如果對于疾病的判斷是不確定的，例如醫(yī)生對一個患者得出幾種可能病癥茁裙，此時又沒有進(jìn)一步檢查塘砸，那么也許可以設(shè)計一種方法預(yù)測各個label的置信度，哈哈哈感覺這是一個paper的idea了晤锥，可惜場景和數(shù)據(jù)的要求感覺有些苛刻掉蔬。

另外值得一提的就是類別不平衡，由于一些疾病的病例較少查近，可能收集到的data里只有個位數(shù)的正例眉踱，此時這個類別很可能根本學(xué)不到啥，目前想法不是很清晰霜威，過幾天有時間再專門調(diào)研一下這個問題谈喳。

最后就是醫(yī)學(xué)圖像喜聞樂見的半監(jiān)督，如果有部分沒有標(biāo)注的數(shù)據(jù)和一些標(biāo)注的數(shù)據(jù)戈泼，拿來做半監(jiān)督對性能也能提升一些婿禽，雖然不局限醫(yī)學(xué)圖像，但是由于醫(yī)學(xué)標(biāo)注獲取較難大猛，半監(jiān)督的應(yīng)用也特別廣扭倾，大有可為吧可以說。

參考文獻(xiàn)

1. W. Liu, X. Shen, H. Wang, and I. W. Tsang, “The Emerging Trends of Multi-Label Learning,” arXiv:2011.11197 [cs], Dec. 2020, Accessed: Jan. 08, 2021. [Online]. Available: http://arxiv.org/abs/2011.11197. ?

2. Z. Chen, X. Wei, P. Wang, and Y. Guo, “Multi-label image recognition with graph convolutional networks,” in CVPR, 2019, pp. 5177–5186. ?

3. T. Chen, M. Xu, X. Hui, H. Wu, and L. Lin, “Learning semanticspecific graph representation for multi-label image recognition,” in ICCV, 2019, pp. 522–531. ?

4. Y. Wang, D. He, F. Li, X. Long, Z. Zhou, J. Ma, and S. Wen, “Multilabel classification with label graph superimposing,” in AAAI, 2020, pp. 12 265–12 272. ?

5. P. Tang, M. Jiang, B. N. Xia, J. W. Pitera, J. Welser, and N. V. Chawla, “Multi-label patent categorization with non-local attention-based graph convolutional network,” in AAAI, 2020. ?

6. L. Yang, X. Wu, Y. Jiang, and Z. Zhou, “Multi-label learning with deep forest,” CoRR, vol. abs/1911.06557, 2019. ?