原文鏈接：https://arxiv.org/pdf/1912.08881v1.pdf? ?發(fā)表：
code：
編輯：Daniel
本文提出了一種新的剪枝標(biāo)準(zhǔn)豪嗽，將一種解釋圖像分類的方法LRP用于剪枝。
首先介紹一下LRP，通過定義每一層對上一層結(jié)果的貢獻和相關(guān)性册着，最后推導(dǎo)至原圖中的像素層面。
上圖左側(cè)為一般的圖片分類過程螃宙，右側(cè)為解釋過程雁社，從預(yù)測結(jié)果向前傳播，并將預(yù)測結(jié)果關(guān)聯(lián)到每一層的特征久脯，最終在輸入圖像的像素層面進行可視化纳胧，得出每個像素對于最終分類結(jié)果的貢獻。
對于LRP來說帘撰，每層的相關(guān)性是守恒的跑慕，即
對于一般的多層網(wǎng)絡(luò)，示意圖如下：
左側(cè)為一般的前向傳播骡和，右側(cè)為LRP分配示意圖相赁，為了滿足各層相關(guān)性守恒，有以下兩式：
再將權(quán)重考慮進來慰于，可得：
這個地方公式比較多钮科，看一下原文會更清楚。（原文鏈接：https://www.scienceopen.com/document?vid=09930944-7198-4cbd-840d-a8e5a7dc053b）
對于一般的多層網(wǎng)絡(luò)婆赠，前向傳播中有如下公式：
其中w為權(quán)重绵脯，b為偏置佳励，g為激活函數(shù)。
在經(jīng)過最后一個全連接層后蛆挫，f(x)被定義為：
因此兩個節(jié)點之間的關(guān)聯(lián)值被定義為：
將一層的節(jié)點相加可得：
為了避免由于z太小導(dǎo)致R取到無界值赃承，文中加入ε≥0：
然后文中又將正數(shù)和負(fù)數(shù)分開處理，得到
最終得到：（說實話這一步?jīng)]太懂）
介紹完了LRP悴侵，這篇剪枝論文和LRP這篇是同一群作者瞧剖，所以就把LRP直接用在了剪枝上。LRP通過類似后向傳播的方式可免，將預(yù)測結(jié)果分配到輸入圖像的每個像素點上抓于，以此來觀察每個像素點對于最終分類結(jié)果的貢獻。而在LRP傳播過程中浇借，網(wǎng)絡(luò)中每層的每個filter也都積累了相應(yīng)的貢獻值捉撮，作者將每層中貢獻值較小的filter刪除，來達到剪枝的目的妇垢，示意圖如下：
上圖左側(cè)為一般的前向傳播巾遭，中間為LRP傳播過程，右側(cè)為剪枝過程闯估。
