- 保證精度不損失的同時最岗，將原始AlexNet壓縮至原來的510倍
在網(wǎng)絡結構設計方面主要采取以下三種方式：
38.1 網(wǎng)絡結構設計
- 用1*1卷積核替換3*3卷積
- 理論上一個1*1卷積核的參數(shù)是一個3*3卷積核的1/9术瓮，可以將模型尺寸壓縮9倍。
- 減小3*3卷積的輸入通道數(shù)
- 根據(jù)上述公式捧灰，減少輸入通道數(shù)不僅可以減少卷積的運算量，而且輸入通道數(shù)與輸出通道數(shù)相同時還可以減少MAC。
- 延遲降采樣
- 分辨率越大的輸入能夠提供更多特征的信息闲擦，有利于網(wǎng)絡的訓練判斷焕济，延遲降采樣可以提高網(wǎng)絡精度纷妆。
38.2 網(wǎng)絡架構
- SqueezeNet提出一種多分支結構——fire model，其中是由Squeeze層和expand層構成
- Squeeze層是由s1個1*1卷積組成晴弃，主要是通過1*1的卷積降低expand層的輸入維度
- expand層利用e1個1*1和e3個3*3卷積構成多分支結構提取輸入特征掩幢，以此提高網(wǎng)絡的精度(其中e1=e3=4*s1)
-
SqueezeNet整體網(wǎng)絡結構：
38.3 實驗結果
-
不同壓縮方法在ImageNet上的對比實驗結果
- SqueezeNet不僅保證了精度，而且將原始AlexNet從240M壓縮至4.8M上鞠，壓縮50倍
大數(shù)據(jù)視頻推薦：
網(wǎng)易云課堂
CSDN
人工智能算法競賽實戰(zhàn)
AIops智能運維機器學習算法實戰(zhàn)
ELK7 stack開發(fā)運維實戰(zhàn)
PySpark機器學習從入門到精通
AIOps智能運維實戰(zhàn)
騰訊課堂
大數(shù)據(jù)語音推薦：
ELK7 stack開發(fā)運維
企業(yè)級大數(shù)據(jù)技術應用
大數(shù)據(jù)機器學習案例之推薦系統(tǒng)
自然語言處理
大數(shù)據(jù)基礎
人工智能：深度學習入門到精通
