這篇是清華魯繼文組PAMI 2018年的文章响逢，是NIPS 2017年《Runtime neural pruning》的拓展版本
兩個(gè)版本有稍微的出入喊废，主要是加了“Multi-Path Network”的部分。不過(guò)這一部分看起來(lái)更像是ensemble多個(gè)模型追城，故此這部分不會(huì)細(xì)講汰现，主要討論“Runtime Neural Pruning”的實(shí)現(xiàn)細(xì)節(jié)。
這篇文章講了什么
dynamic channle pruning
Motivation
- selects an optimal path inside the network
- simple image doesn't need complicated network
怎么做
Condition computation：Runtime Nerual Pruning based on the input image and current feature map, that is to say, this is the instance pruning strategy
貢獻(xiàn)
提供了剪枝的新思路掏觉，不再探索靜態(tài)的剪枝策略，保留大網(wǎng)絡(luò)的全部表達(dá)能力
但這里會(huì)有另一個(gè)槽點(diǎn)：個(gè)人理解值漫，剪枝是為了可以用更少的參數(shù)澳腹，追求在廉價(jià)設(shè)備上保持性能，所以文章提出的保留全部參數(shù)杨何，動(dòng)態(tài)選擇(剪枝)路徑酱塔，是否違背了剪枝這個(gè)task的motivation
設(shè)計(jì)了怎樣的模型
- policy network(RNN)：決策保留的channel
- backbone
建立在怎樣的假設(shè)之上
剪枝策略十分粗糙，默認(rèn)選擇每層feature map前面的channel晚吞，更難的sample才會(huì)用到后面的channel
實(shí)現(xiàn)細(xì)節(jié)
主要是Policy Network部分
state
將上一層的Fi(feature map) [N, n1, H, W]通過(guò)global average pooling得到一個(gè)[N, n1]延旧，通過(guò)encoderi得到固定長(zhǎng)度的特征作為state[N, C]輸入到RNN中，RNN輸出hidden state[N, C]槽地，通過(guò)decoderi得到這個(gè)decision的Q-value
值得注意的是，對(duì)每一層都有獨(dú)立的encoderi跟decoderi。槽點(diǎn)：用大量(冗余)的policy network參數(shù)去對(duì)backbone剪枝(減少參數(shù))
action
ai表示選擇保留前i組的channel
reward
architecture
算法
十分粗略的解讀捌蚊，主要是方便自己以后查看集畅。
水平有限，希望沒有誤人子弟缅糟，有任何問(wèn)題歡迎留言或者私信討論(不定時(shí)查看……)
