一住涉、Grad-CAM / Guided Propagation 類方法 （local explainable）
1. 原始方法
對圖像進行遮擋木人，查看該圖像的輸出信柿，輸出變化程度很大冀偶，說明該遮擋區(qū)域對最終結果的影響比較大。
以上是較原始的方法渔嚷，可以將以上方法改進為輸出對像素的求導进鸠，及guided propagation類的方法。
2. 缺點
在根據(jù)yk值對每個像素進行求導的過程中形病，如果該像素的變化(一階導數(shù))對yk值影響不大客年，但是該像素的數(shù)值很重要，會導致求出的導數(shù)很小漠吻，saliency map上不會突出該像素量瓜。
如下圖所示。
二. 生成式方法（Global explainable）
目標是獲得對于某一類別最符合的圖像途乃，即期望找到一張圖像绍傲，使y最大。但由于不加限制耍共，可能會導致圖像的全局表示并不符合對應的類別烫饼。所以應對其進行限制。
方法實現(xiàn)可以通過GAN或者VAE的模型试读，利用genetor生成圖像杠纵，discriminator判別圖像。
三鹏往、利用一個可解釋模型區(qū)模擬不可解釋的模型
1. 采用Linear Model模擬神經網絡
LIME淡诗，將一張圖片分為n份，隨機采樣m次伊履，采樣到取值1韩容，未采樣到取值0，將m張采樣后的圖像輸入神經網絡得到預測值唐瀑。之后對m個采樣記錄（m*n的規(guī)模群凶，one-hot的形式），利用線性擬合神經網絡的預測值哄辣，最后可以得到n份圖片區(qū)域的權重请梢，權重越大，代表對該類別的影響越大力穗。
2.如采用決策樹模擬神經網絡毅弧，使決策樹的輸出盡可能與神經網絡的模型近似。
問題：此時需要決策樹的復雜度盡可能的低
解決方式：在訓練階段對神經網絡添加懲罰項当窗，該懲罰項表示了神經網絡對應的決策樹的復雜度够坐。該懲罰項在某論文中用神經網絡進行預測。
