卷積網(wǎng)絡(luò)的可視化解釋-類激活映射

本文首發(fā)于:行者AI

在整篇文章論述開始之前甸昏,我們先做一些概念性的講解鋪墊膀懈。卷積神經(jīng)網(wǎng)絡(luò)的各層卷積單元在模型網(wǎng)絡(luò)中實際上有充當了目標檢測器的作用,盡管沒有提供對目標位置的監(jiān)督漓踢。雖然其擁有在卷積層中定位對象的非凡能力,但當使用全連接層進行分類時,這種能力就會喪失午乓。基于此闸准,提出了CAM(類激活映射)的概念益愈,采用全局平均池化,以熱力圖的形式告訴我們,模型通過哪些像素點得知圖片屬于某個類別蒸其,使模型透明化和具有可解釋性敏释,如下圖所示:

1. Global Average Pooling的工作機制

這里我們假設(shè)最后的類別數(shù)為n,最后一層含有n個特征圖摸袁,求每張?zhí)卣鲌D所有像素的平均值钥顽,后接入一個有n個神經(jīng)元的全連接層。要有n個特征圖的原因在于靠汁,每個特征圖主要提取了某一類別相關(guān)的某些特征耳鸯。

2. 什么是CAM?

CNN最后一層特征圖富含有最為豐富類別語意信息(可以理解為高度抽象的類別特征)膀曾,因此CAM基于最后一層特征圖進行可視化县爬。CAM能讓我們對CNN網(wǎng)絡(luò)有很好的解釋作用,利用特征圖權(quán)重疊加的原理獲得熱圖添谊,詳細工作原理如下圖所示财喳。

設(shè)最后一層有n張?zhí)卣鲌D,記為A^1,A^2,...A^n斩狱,分類層中一個神經(jīng)元有n個權(quán)重耳高,一個神經(jīng)元對應一類,設(shè)第i個神經(jīng)元的權(quán)重為w^1所踊,w^2,...w^n泌枪,則第c類的CAM的生成方式為:

L_{CAM}^c = \sum_{i=1}^n w_i^cA^i (式1)

生成的CAM大小與最后一層特征圖的大小一致,接著進行上采樣即可得到與原圖大小一致的CAM秕岛。

2.1. 為什么如此計算可以得到類別相關(guān)區(qū)域

用GAP表示全局平均池化函數(shù)碌燕,沿用上述符號,第c類的分類得分為S_c继薛,GAP的權(quán)重為w_i^c修壕,特征圖大小為c_1*c_2,第i個特征圖第k行第j列的像素值為A_{kj}^i遏考,則有:

S_c = \sum_{i=1}^n w_i^c GAP(A_i)

= \sum_{i=1}^n w_i^c \frac 1Z \sum_{k=1}^{c_1} \sum_{j=1}^{c_2}A_{kj}^i

= \frac 1Z \sum_{i=1}^n \sum_{k=1}^{c_1} \sum_{j=1}^{c_2} w_i^c A_{kj}^i (式2)

特征圖中的一個像素對應原圖中的一個區(qū)域慈鸠,而像素值表示該區(qū)域提取到的特征,由上式可知S_c的大小由特征圖中像素值與權(quán)重決定灌具,特征圖中像素值與權(quán)重的乘積大于0青团,有利于將樣本分到該類,即CNN認為原圖中的該區(qū)域具有類別相關(guān)特征咖楣。式1就是計算特征圖中的每個像素值是否具有類別相關(guān)特征督笆,如果有,我們可以通過上采樣截歉,看看這個像素對應的是原圖中的哪一部分胖腾。GAP的出發(fā)點也是如此,即在訓練過程中讓網(wǎng)絡(luò)學會判斷原圖中哪個區(qū)域具有類別相關(guān)特征,由于GAP去除了多余的全連接層咸作,并且沒有引入?yún)?shù)锨阿,因此GAP可以降低過擬合的風險〖欠#可視化的結(jié)果也表明墅诡,CNN正確分類的確是因為注意到了原圖中正確的類別相關(guān)特征。

2.2. CAM缺陷

需要修改網(wǎng)絡(luò)結(jié)構(gòu)并重新訓練模型桐智,導致在實際應用中并不方便末早。

3. Grad-CAM

3.1. Grad-CAM結(jié)構(gòu)

Grad-CAM 和 CAM 基本思路一樣,區(qū)別就在于如何獲取每個特征圖的權(quán)重说庭,采用了梯度的全局平均來計算權(quán)重然磷。定義了Grad-CAM中第\kappa個特征圖對應類別c的權(quán)重:

\alpha_\kappa^c = \frac 1Z \sum_i \sum_j \frac {y^c}{\alpha A_{ij}^k} (式3)

其中,Z表示特征圖像素個數(shù)刊驴,y^c表示第c類得分梯度姿搜,A_{ij}^k表示第k個特征圖中,(i,j)位置處的像素值捆憎。然后再求得所有的特征圖對應的類別的權(quán)重后進行加權(quán)求和舅柜,這樣便可以得到最后的熱力圖,求和公式如下:

L_{Grad-CAM}^c = ReLU(\sum_k \alpha_k^c A^k)(式4)

3.2. Grad-CAM效果

4. 結(jié)論

可視化可以進一步區(qū)別分類躲惰,準確地更好地揭示分類器的可信賴性致份,并幫助識別數(shù)據(jù)集中的偏差。真正的AI應用础拨,也更應該讓人們信任和使用它的行為氮块。

5. 代碼實現(xiàn)

https://github.com/jacobgil/keras-cam

參考文獻

  • B. Zhou, A. Khosla, A. Lapedriza, A. Oliva, and A. Torralba. Object detectors emerge in deep scene cnns. International Conference on Learning Representations, 2015.
  • Computers - Computer Graphics; Investigators from Georgia Institute of Technology Have Reported New Data on Computer Graphics (Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization). 2020, :355-.
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市太伊,隨后出現(xiàn)的幾起案子雇锡,更是在濱河造成了極大的恐慌,老刑警劉巖僚焦,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異曙痘,居然都是意外死亡芳悲,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門边坤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來名扛,“玉大人,你說我怎么就攤上這事茧痒“谷停” “怎么了?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長弄企。 經(jīng)常有香客問我超燃,道長,這世上最難降的妖魔是什么拘领? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任意乓,我火速辦了婚禮,結(jié)果婚禮上约素,老公的妹妹穿的比我還像新娘届良。我一直安慰自己,他們只是感情好圣猎,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布士葫。 她就那樣靜靜地躺著,像睡著了一般送悔。 火紅的嫁衣襯著肌膚如雪慢显。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天放祟,我揣著相機與錄音鳍怨,去河邊找鬼。 笑死跪妥,一個胖子當著我的面吹牛鞋喇,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播眉撵,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼侦香,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了纽疟?” 一聲冷哼從身側(cè)響起罐韩,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎污朽,沒想到半個月后散吵,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡蟆肆,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年矾睦,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片炎功。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡枚冗,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蛇损,到底是詐尸還是另有隱情闷尿,我是刑警寧澤,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布申眼,位于F島的核電站,受9級特大地震影響袜匿,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜毁涉,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一沉帮、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧贫堰,春花似錦穆壕、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至偎行,卻和暖如春川背,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背蛤袒。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工熄云, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人妙真。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓缴允,卻偏偏與公主長得像,于是被迫代替她去往敵國和親珍德。 傳聞我的和親對象是個殘疾皇子练般,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容