- 目前深度學(xué)習(xí)模型壓縮方法主要分為更精細(xì)化模型設(shè)計(jì)对雪、模型裁剪河狐、核的稀疏化、量化、低秩分解馋艺、遷移學(xué)習(xí)等方法栅干，而這些方法又可分為前端壓縮和后端壓縮
27.1 前端壓縮和后端壓縮對(duì)比
| 對(duì)比項(xiàng)目 | 前端壓縮 | 后端壓縮 |
|---|---|---|
| 含義 | 不會(huì)改變?cè)季W(wǎng)絡(luò)結(jié)構(gòu)的壓縮技術(shù) | 會(huì)大程度上改變?cè)季W(wǎng)絡(luò)結(jié)構(gòu)的壓縮技術(shù) |
| 主要方法 | 知識(shí)蒸餾、緊湊的模型結(jié)構(gòu)設(shè)計(jì)捐祠、濾波器層面的剪枝 | 低秩近似碱鳞、未加限制的剪枝、參數(shù)量化踱蛀、二值網(wǎng)絡(luò) |
| 實(shí)現(xiàn)難度 | 較簡(jiǎn)單 | 較難 |
| 是否可逆 | 可逆 | 不可逆 |
| 成熟應(yīng)用 | 剪枝 | 低秩近似窿给、參數(shù)量化 |
| 待發(fā)展應(yīng)用 | 知識(shí)蒸餾 | 二值網(wǎng)絡(luò) |
27.2 網(wǎng)絡(luò)剪枝
深度學(xué)習(xí)模型因其稀疏性，可以被裁剪為結(jié)構(gòu)精簡(jiǎn)的網(wǎng)絡(luò)模型率拒，具體包括結(jié)構(gòu)性剪枝與非結(jié)構(gòu)性剪枝崩泡。
| 事項(xiàng) | 特點(diǎn) | 舉例 |
|---|---|---|
| 非結(jié)構(gòu)化剪枝 | 通常是連接級(jí)、細(xì)粒度的剪枝方法猬膨，精度相對(duì)較高角撞，但依賴于特定算法庫(kù)或硬件平臺(tái)的支持 | Deep Compression, Sparse-Winograd算法等； |
| 結(jié)構(gòu)化剪枝 | 是filter級(jí)或layer級(jí)寥掐、粗粒度的剪枝方法靴寂，精度相對(duì)較低，但剪枝策略更為有效召耘，不需要特定算法庫(kù)或硬件平臺(tái)的支持百炬，能夠直接在成熟深度學(xué)習(xí)框架上運(yùn)行。 | 如局部方式的污它、通過(guò)layer by layer方式的剖踊、最小化輸出FM重建誤差的Channel Pruning, ThiNet, Discrimination-aware Channel Pruning ；全局方式的衫贬、通過(guò)訓(xùn)練期間對(duì)BN層Gamma系數(shù)施加L1正則約束的Network Slimming德澈；全局方式的、按Taylor準(zhǔn)則對(duì)Filter作重要性排序的Neuron Pruning 固惯；全局方式的梆造、可動(dòng)態(tài)重新更新pruned filters參數(shù)的剪枝方法 |
-
如果按剪枝粒度分，從粗到細(xì)葬毫，可分為中間隱含層剪枝镇辉、通道剪枝、卷積核剪枝贴捡、核內(nèi)剪枝忽肛、單個(gè)權(quán)重剪枝。下面按照剪枝粒度的分類(lèi)從粗（左）到細(xì)（右）烂斋。
（a）層間剪枝 （b）特征圖剪枝 （c）k*k核剪枝 （d）核內(nèi)剪枝
| 事項(xiàng) | 特點(diǎn) |
|---|---|
| 單個(gè)權(quán)重粒度 | 早期 Le Cun[16]提出的 OBD(optimal brain damage)將網(wǎng)絡(luò)中的任意權(quán)重參數(shù)都看作單個(gè)參數(shù),能夠有效地提高預(yù)測(cè)準(zhǔn)確率,卻不能減小運(yùn)行時(shí)間;同時(shí),剪枝代價(jià)過(guò)高,只適用于小網(wǎng)絡(luò) |
| 核內(nèi)權(quán)重粒度 | 網(wǎng)絡(luò)中的任意權(quán)重被看作是單個(gè)參數(shù)并進(jìn)行隨機(jī)非結(jié)構(gòu)化剪枝,該粒度的剪枝導(dǎo)致網(wǎng)絡(luò)連接不規(guī)整,需要通過(guò)稀疏表達(dá)來(lái)減少內(nèi)存占用,進(jìn)而導(dǎo)致在前向傳播預(yù)測(cè)時(shí),需要大量的條件判斷和額外空間來(lái)標(biāo)明零或非零參數(shù)的位置,因此不適用于并行計(jì)算 |
| 卷積核粒度與通道粒度 | 卷積核粒度與通道粒度屬于粗粒度剪枝,不依賴任何稀疏卷積計(jì)算庫(kù)及專用硬件;同時(shí),能夠在獲得高壓縮率的同時(shí)大量減小測(cè)試階段的計(jì)算時(shí)間.由 |
- 從剪枝目標(biāo)上分類(lèi)屹逛，可分為減少參數(shù)/網(wǎng)絡(luò)復(fù)雜度础废、減少過(guò)擬合/增加泛化能力/提高準(zhǔn)確率、減小部署運(yùn)行時(shí)間/提高網(wǎng)絡(luò)效率及減小訓(xùn)練時(shí)間等罕模。
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競(jìng)賽實(shí)戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
ELK7 stack開(kāi)發(fā)運(yùn)維實(shí)戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門(mén)到精通
AIOps智能運(yùn)維實(shí)戰(zhàn)
騰訊課堂
大數(shù)據(jù)語(yǔ)音推薦：
ELK7 stack開(kāi)發(fā)運(yùn)維
企業(yè)級(jí)大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語(yǔ)言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門(mén)到精通
