28.1 典型剪枝方法對比
| 剪枝方法 | 修剪對象 | 修剪方式 | 效果 |
|---|---|---|---|
| Deep Compression | 權(quán)重 | 隨機(jī)修剪 | 50倍壓縮 |
| Structured Pruning | 權(quán)重 | 組稀疏+排他性稀疏 | 性能提升 |
| Network Slimming | 特征圖通道 | 根據(jù)尺度因子修剪 | 節(jié)省計算資源 |
| mProp | 梯度 | 修剪幅值小的梯度 | 加速 |
28.2 網(wǎng)絡(luò)蒸餾
- 網(wǎng)絡(luò)精餾是指利用大量未標(biāo)記的遷移數(shù)據(jù)(transfer data),讓小模型去擬合大模型,從而讓小模型學(xué)到與大模型相似的函數(shù)映射
-
網(wǎng)絡(luò)精餾可以看成在同一個域上遷移學(xué)習(xí)的一種特例,目的是獲得一個比原模型更為精簡的網(wǎng)絡(luò),整體的框架圖
-
28.3 前端壓縮
- 知識蒸餾
- 一個復(fù)雜模型可由多個簡單模型或者強(qiáng)約束條件訓(xùn)練得到
- 復(fù)雜模型特點(diǎn)是性能好抹竹，但其參數(shù)量大蕉拢，計算效率低
- 小模型特點(diǎn)是計算效率高，但是其性能較差
- 知識蒸餾是讓復(fù)雜模型學(xué)習(xí)到的知識遷移到小模型當(dāng)中,使其保持其快速的計算速度前提下匪煌，同時擁有復(fù)雜模型的性能，達(dá)到模型壓縮的目的
- 緊湊的模型結(jié)構(gòu)設(shè)計
- 緊湊的模型結(jié)構(gòu)設(shè)計主要是對神經(jīng)網(wǎng)絡(luò)卷積的方式進(jìn)行改進(jìn)，比如使用兩個3x3的卷積替換一個5x5的卷積、使用深度可分離卷積等等方式降低計算參數(shù)量
- 目前很多網(wǎng)絡(luò)基于模塊化設(shè)計思想呼渣，在深度和寬度兩個維度上都很大，導(dǎo)致參數(shù)冗余
- 因此有很多關(guān)于模型設(shè)計的研究寞埠，如SqueezeNet屁置、MobileNet等，使用更加細(xì)致仁连、高效的模型設(shè)計蓝角，能夠很大程度的減少模型尺寸阱穗，并且也具有不錯的性能
- 濾波器層面的剪枝
- 濾波器層面的剪枝屬于非結(jié)構(gòu)花剪枝，主要是對較小的權(quán)重矩陣整個剔除使鹅，然后對整個神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)
- 此方式由于剪枝過于粗放揪阶，容易導(dǎo)致精度損失較大，而且部分權(quán)重矩陣中會存留一些較小的權(quán)重造成冗余患朱，剪枝不徹底
- 具體操作是在訓(xùn)練時使用稀疏約束（加入權(quán)重的稀疏正則項鲁僚，引導(dǎo)模型的大部分權(quán)重趨向于0）
- 完成訓(xùn)練后，剪去濾波器上的這些 0
- 優(yōu)點(diǎn)是簡單裁厅，缺點(diǎn)是剪得不干凈冰沙，非結(jié)構(gòu)化剪枝會增加內(nèi)存訪問成本
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競賽實(shí)戰(zhàn)
AIops智能運(yùn)維機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
ELK7 stack開發(fā)運(yùn)維實(shí)戰(zhàn)
PySpark機(jī)器學(xué)習(xí)從入門到精通
AIOps智能運(yùn)維實(shí)戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦：
ELK7 stack開發(fā)運(yùn)維
企業(yè)級大數(shù)據(jù)技術(shù)應(yīng)用
大數(shù)據(jù)機(jī)器學(xué)習(xí)案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎(chǔ)
人工智能：深度學(xué)習(xí)入門到精通
