綜述太長(zhǎng)考婴，分兩部分寫(xiě)。
文章第二部分介紹了Plug and Play Generative Networks這篇文章中提到了一個(gè)概率解釋公式憨琳，在這個(gè)公式下解釋其它的AM理論锰蓬，AM需要兩個(gè)（1）一個(gè)圖像先驗(yàn)，（2）一個(gè)我們想可視化的分類網(wǎng)絡(luò)
實(shí)際實(shí)驗(yàn)中我們常常只想激活一個(gè),但是經(jīng)常會(huì)同時(shí)讓其它地神經(jīng)元（同層其他的甚至深層的）也增大了（就是類別相通性赋咽，羚羊一型的神經(jīng)元被最大激活旧噪，羚羊二型也會(huì)被激活），因此無(wú)法保證目標(biāo)單元是這一層最高激活的單元脓匿，這樣淘钟，生成的圖片可能就失去了對(duì)目標(biāo)unit的獨(dú)一無(wú)二性。所以選擇性的激活是希望
最大
所以最后一層就表示一個(gè)分類模型米母，中間層就表示激活值，然后
表示的是圖像的先驗(yàn)信息
提到兩個(gè)數(shù)據(jù)集毡琉，一個(gè)是周博磊的Object detectors emerge
in deep scene cnns. In: International Conference on Learning Representations (ICLR)
(2015) pages 15? MIT Places dataset铁瞒，還一個(gè)是UCF-101
周博磊的文章是找到原始圖片中的區(qū)域，但是這個(gè)文章是重新生成圖片桅滋，這兩者有一個(gè)互補(bǔ)的證明
也可以激活一組神經(jīng)元來(lái)探討神經(jīng)元之間的關(guān)系慧耍，比如探討一個(gè)網(wǎng)絡(luò)是如何區(qū)分開(kāi)兩個(gè)相近的視覺(jué)類別，“黑斑羚”和“大嶺羊”，一個(gè)方法就是最大黑斑羚的神經(jīng)元蜂绎，但是同時(shí)最小大羚羊的神經(jīng)元? 栅表。Second, one may reveal different facets of a
neuron [29] by activating different pairs of units. That is, activating two units at
the same time e.g. (castle + candle); and (piano + candle) would produce two
distinct images of candles that activate the same “candle” unit
討論和結(jié)論：
1? ? 我們可能希望利用AM方法來(lái)對(duì)比不同網(wǎng)絡(luò)結(jié)構(gòu)所學(xué)到的特征，但是這 需要一個(gè)通用的AM方法能夠產(chǎn)生一致的师枣，可解釋的可視化對(duì)于不同數(shù)據(jù)集和不同網(wǎng)絡(luò)架構(gòu)所學(xué)到的特征怪瓶。這就很困難，因?yàn)椋?）不同數(shù)據(jù)集和不同網(wǎng)絡(luò)架構(gòu)的圖片先驗(yàn)可能很不一樣践美，（2）對(duì)不同的架構(gòu)甚至是同一架構(gòu)不同深度的神經(jīng)元洗贰，為了達(dá)到最好的表現(xiàn)，超參數(shù)都不一樣陨倡。
2? ? ?我們需要提出一種評(píng)估AM理論的嚴(yán)格辦法敛滋，尚未搞清楚生成的圖片是因?yàn)榧拥膹?qiáng)先驗(yàn)還是來(lái)自于訓(xùn)練的網(wǎng)絡(luò)
3? ? ?網(wǎng)絡(luò)的概念信息可能是分布式的，或者說(shuō)一個(gè)多個(gè)神經(jīng)元表示一個(gè)概念兴革。
4? ? ?將AM方法和其它可視化方法結(jié)合起來(lái)绎晃，或者將AM算法和診斷網(wǎng)絡(luò)解釋性的應(yīng)用聯(lián)系起來(lái)? ?Deepxplore: Automated whitebox testing?of deep learning systems.
