這些圖樣就像是作弊圖形筐乳，用現(xiàn)實生活中不存在的方式激活了神經(jīng)元隘马。如果優(yōu)化的步驟足夠多野宜，最終得到的東西是神經(jīng)元確實有響應扫步，但人眼看來全都是高頻圖樣的圖像。這種圖樣似乎和對抗性樣本的現(xiàn)象之間有緊密的關系匈子。（雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))?AI 科技評論編譯也有同感河胎，關于對抗性樣本的更早文章可以看這里）用softmax前的值，不用后面的值虎敦，因為增大softmax后的某一類類別概率的最簡單的辦法不是讓增加這一類的概率游岳，而是降低別的類的概率政敢。所以根據(jù)作者們的實驗，以softmax前的類別值作為優(yōu)化目標可以帶來更高的圖像質量胚迫。
多樣性方面的研究也揭露了另一個更基礎的問題：上方的結果中展示的都還算是總體上比較相關喷户、比較連續(xù)的，也有一些神經(jīng)元感興趣的特征是一組奇怪的組合访锻。比如下面圖中的情況褪尝，這個神經(jīng)元對兩種動物的面容感興趣，另外還有汽車車身期犬。神經(jīng)元感興趣的是一些組合
對于真實圖像來說河哑，多個不同的樣本都可以有很高的激活程度。
同時優(yōu)化神經(jīng)元的組合龟虎，也可以在神經(jīng)元之間取插值
這些圖樣就像是作弊圖形璃谨，用現(xiàn)實生活中不存在的方式激活了神經(jīng)元。如果優(yōu)化的步驟足夠多遣总，最終得到的東西是神經(jīng)元確實有響應睬罗，但人眼看來全都是高頻圖樣的圖像轨功。這種圖樣似乎和對抗性樣本的現(xiàn)象之間有緊密的關系旭斥。（雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))?AI 科技評論編譯也有同感，關于對抗性樣本的更早文章可以看這里）
這些高頻圖樣說明古涧，雖然基于優(yōu)化方法的可視化方法不再受限于真實樣本垂券，有著極高的自由性，它卻也是一把雙刃劍羡滑。如果不對圖像做任何限制菇爪，最后得到的就是對抗性樣本。這個現(xiàn)象確實很有意思柒昏，但是作者們?yōu)榱诉_到可視化的目標凳宙，就需要想辦法克服這個現(xiàn)象。
不同規(guī)范化方案的對比
在特征可視化的研究中职祷，高頻噪音一直以來都是主要的難點和重點攻關方向氏涩。如果想要得到有用的可視化結果，就需要通過某些先驗知識有梆、規(guī)范化或者添加限制來產(chǎn)生更自然的圖像結構是尖。
實際上，如果看看特征可視化方面最著名的論文泥耀，它們最主要的觀點之一通常都是使用某種規(guī)范化方法饺汹。不同的研究者們嘗試了許多不同的方法。
學習一個先驗知識痰催，用gan或者vae
