Learning Deep Features for Discriminative Localization
https://arxiv.org/abs/1512.04150
CAM類激活熱力圖:影響深度學(xué)習(xí)分類結(jié)果的原圖重點(diǎn)區(qū)域(可視化出模型的關(guān)注點(diǎn)在哪些區(qū)域)
CAM算法的精妙之處
1.對(duì)深度學(xué)習(xí)實(shí)現(xiàn)可解釋性分析档址、顯著性分析
2.可擴(kuò)展性強(qiáng)盹兢,后續(xù)衍生出各種基于CAM的算法
3.對(duì)于同一張圖像,可以產(chǎn)生不同類別的CAM熱力圖
4.隱式“注意力機(jī)制”
5.弱監(jiān)督定位:使用圖像分類模型解決定位問題守伸,將定位信息保留到模型的最后一層
6.按照權(quán)重排序可得到特征重要度绎秒,輔助Machine Teaching
CAM算法原理
每個(gè)feature map(channel)代表了一個(gè)卷積核從圖像中提取出的一類視覺特征,wi的權(quán)重值間接反映了特征對(duì)類別的重要程度尼摹,最后把加權(quán)得到的Mc縮放回原圖的尺寸
CAM熱力圖不使用帶池化的全卷積神經(jīng)網(wǎng)絡(luò)
池化層:把大的feature map變?yōu)樾〉膄eature map
1.減少計(jì)算量
2.防止過擬合
3.平移不變性-
全局平均池化GAP:取代全連接層见芹,減少參數(shù)量,提高計(jì)算效率蠢涝,防止過擬合玄呛,并且每個(gè)GAP平均值間接代表了卷積層最后一層輸出的每個(gè)Channel
GAP在關(guān)鍵區(qū)域內(nèi)的特征都有影響,GMP非最大值的特征怎么變化都沒用(兩者分類性能接近和二,但GMP定位性能差)
CAM算法的缺點(diǎn):
- 必須有GAP層徘铝,否則無(wú)法計(jì)算每個(gè)feature map的權(quán)重;如果沒有GAP層儿咱,需要把全連接層替換為GAP再重新訓(xùn)練模型(GradCAM:Gradient- weighted class activation mapping可以解決這個(gè)缺點(diǎn)庭砍,可以用全連接層,通過求導(dǎo))
3.僅限于圖像分類任務(wù)
實(shí)驗(yàn)
- 把GAP層換為全連接層怠缸,重新訓(xùn)練模型
- 下采樣次數(shù)越少,最后一層卷積層輸出的featuremap越大钳宪,空間信息丟失越少揭北,定位效果越好