下面的內容大多是結合其它的博客的內容和自己的理解進行整理，加深自己的理解和方便查詢龙优，沒有貼上原來博客的地址，如果有雷同事秀，我不是故意的彤断，希望見諒野舶！

細粒度圖像分類的難點包括兩個方面：準確定位到具有分辨力的關鍵區(qū)域，以及從檢測到的關鍵區(qū)域中提取有效特征進行分類宰衙。關于區(qū)域定位主要有兩種方法：監(jiān)督式和非監(jiān)督式平道，監(jiān)督式即對訓練數據標注bounding box信息，而非監(jiān)督式是通過網絡去學習這些區(qū)域的信息供炼，訓練數據沒有bounding box信息一屋。這里需要注意人為標定的區(qū)域不一定是最適合模型分類的區(qū)域。

1袋哼、Look Closer to See Better: Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition（RA-CNN）冀墨。

2017年CVPR的文章，本文提出的RA-CNN的網絡包含三個scale子網絡涛贯，每個scale子網絡的網絡結構都是一樣的诽嘉，只是網絡參數不一樣，每個scale子網絡又包含兩種類型的網絡：分類網絡和APN網絡弟翘。輸入圖像通過分類網絡進行特征提取并分類虫腋，然后APN網絡基于提取到的特征進行訓練得到attention區(qū)域信息，再將attention區(qū)域裁剪出來并放大衅胀，作為第二個scale網絡的輸入岔乔，重復進行三次就得到了三個scale網絡的輸出結果，最后將三個scale網絡的結果進行融合得到輸出滚躯。
亮點1：多scale網絡可以在訓練的過程中逐漸聚焦到關鍵區(qū)域；
亮點2：針對分類網絡和APN網絡設計兩個loss(softmax loss + ranking loss),通過固定一個網絡的參數訓練另一個網絡的參數達到交替訓練的目的嘿歌；
亮點3：不需要bounding box的標注信息掸掏。

RA-CNN網絡結構圖.png

2石抡、Residual Attention Network for Image Classification

具體理解可以參考下面這篇博文檐嚣，寫的特別詳細。
https://blog.csdn.net/wspba/article/details/73727469

3啰扛、CBAM: Convolutional Block Attention Module

具體理解可以參考下面這篇博文嚎京，寫的特別詳細，其他的博客也寫的都是大同小異隐解。
https://blog.csdn.net/u013738531/article/details/82731257

網絡可視化

1鞍帝、Visualizing and Understanding Convolutional Networks

綜述：這篇paper是CNN可視化的開山之作(由Lecun得意門生Matthew Zeiler發(fā)表于2013年)，主要解決了兩個問題：
∩访！１）why CNN perform so well?
∨劣俊２）how CNN might be improved?
背景介紹：CNN針對圖像分類問題有著令人驚嘆的效果，2012年的AlexNet(test error:15.3%)碾壓第二名(test error:26.2%),由此CNN如雨后春筍般瘋狂生長续徽，CNN之所以成功主要歸功于三個方面：①數以百萬計的帶標簽數據蚓曼，②強大的GPU計算能力，③更好的正則化處理 钦扭。
提出問題：訓練出來的CNN模型為什么能夠奏效纫版？怎么奏效？這些問題并沒有得到解決客情。論文介紹了CNN各層到底學到了原始圖像的什么特征以及這些特征對最終預測結果的影響力度其弊。
實現：論文以2013年的ZFNet=5層conv+3層FC 為基礎，在此基礎上進行了略微調整膀斋，并提升了效果梭伐。
　1）我們都知道ZFNet以conv+ReLU+Maxpooling為主要的實現方式，“看懂并理解”網絡就是這個過程的逆過程概页，即Unpooling+ReLU+反卷積籽御，下面我們分別進行介紹：
　2）Unpooling：毫無疑問，maxpooling是一個不可逆過程，例如在一個3*3的pool中技掏，我們選擇9個元素的最大值進而實現降采樣铃将，我們必然會損失其他8個元素的真實數據。實現過程中哑梳，我們需要記錄pool中最大值的位置信息劲阎，我們稱之為“Switches”表格，在unpooling過程中鸠真，我們將最大值直接放回該位置悯仙，將其他位置直接置0；
　3）ReLU：在CNN中吠卷，我們使用ReLU作為激活函數是為了修正feature map锡垄，使其恒不為負，為了重構每一層的輸出祭隔，這種約束依然成立货岭，我們繼續(xù)使用ReLU；
　4）反卷積：CNN中疾渴，上層的輸出與學習到的filters進行卷積千贯，得到本層的特征，逆過程的實現就是通過使用相同卷積核的轉置搞坝，與矯正之后的特征進行卷積搔谴，從而實現反卷積。

2桩撮、Learning Deep Features for Discriminative Localization

綜述：論文重新審視了global average pooling（GAP）敦第，并詳細闡述了這種pooling方式如何使得CNN具有優(yōu)異的目標定位能力
介紹：
　1）作者受到NIN、GoogLeNet的啟發(fā)距境，摒棄FC申尼，轉而使用GAP，在減少參數的同時對原本的分類效果影響不大垫桂；
　2）GAP實際上起到一定正則化的作用，paper在幾種經典的網絡結構中使用其卷積結構粟按，而后+GAP+FC诬滩，采用softmax直接預測輸出；
　3）論文中指出灭将，FC會導致feature map損失空間位置信息疼鸟，而GAP則不會（我的理解是如果在圖像的某一位置有高響應，則經過FC之后庙曙，根據整個feature并不能分辨出刺激源于左上角還是右下角還是什么其他的地方空镜，而通過GAP就可以，因為其保留了空間位置信息）
實現：
　1）論文使用的NIN和GoogLeNet類似的結構，保留卷積結構吴攒，接上GAP张抄，接上一層FC，直接作為分類預測結果洼怔，論文通過將輸出層的權重投影到feature map上來識別圖像區(qū)域的重要性署惯，由此將這種技術稱為class activation mapping（CAM）
　2）具體CAM如何實現？詳見如下圖：

image.png

image.png

3、Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

綜述：
　1）paper中提出了一種新的可視化CNN的方法 Gradient-weighted Class Activation Mapping (Grad-CAM)琉雳，是CAM的升級版样眠；
　2）Grad-CAM可適用于任何網絡結構，省去了修改網絡結構并訓練的煩惱翠肘，一定程度上是對CAM的泛化
　3）使用此種結構檐束，可以應用到以下幾個問題中：
　3.1）之前的CAM必須對包含多層的FC進行修改(使用GAP進行替換)，而Grad-CAM則不必修改網絡
　3.2）可用于結構化輸出
　3.3）可用于視覺問題解答或者增強學習中
　對于網絡可視化束倍，我們可以采用兩種方式：
　1）deconvnet(反卷積)
　2）guided-backpropagation(導向反向傳播)
　反向傳播(backpropagation)/反卷積(deconvnet)/導向反向傳播(guided-backpropagation)這三者究竟有什么區(qū)別被丧？反卷積和導向反向傳播的基礎是反向傳播，就是對梯度進行求導绪妹，然后更新我們的參數甥桂，就是學習的過程，下圖十分清楚的對比了正向傳播/反向傳播/反卷積/導向反向傳播邮旷，4者不同之處主要體現在經過ReLU時對梯度的選擇性：

image.png

image.png

image.png

4、Tell Me Where to Look: Guided Attention Inference Network（GAIN）

這篇文章里用到了Grad-CAM來得到Attention Map儡羔。Grad-CAM是CAM的進一步拓展宣羊。CAM假設分類網絡最后不是用FC而是Global Average Pooling，那么實際上對于每一類的響應都有一張對應的Feature Map汰蜘。Feature Map其實就包含了對不同位置的響應強度仇冯。所以給定圖片想要得到針對某類的Attention Map只要weighted average各個feature map即可。得到weight的方式很直觀族操，從最后分類的FC層的參數就可以得到對于某一類每個feature map的權重苛坚。CAM需要網絡最后有Global Average Pooling，Grad-CAM去掉了這個限制色难。

image.png

image.png

GAIN工作方式.png

image.png

image.png

image.png