模型壓縮大概分為以下幾個方向：
更精細(xì)模型的設(shè)計(jì)：
目前的很多網(wǎng)絡(luò)都具有模塊化的設(shè)計(jì)日杈，在深度和寬度上都很大点待，這也造成了參數(shù)的冗余很多搔耕，因此有很多關(guān)于模型設(shè)計(jì)的研究矮嫉，如SqueezeNet、MobileNet等蚪拦，使用更加細(xì)致杖剪、高效的模型設(shè)計(jì)，能夠很大程度的減少模型尺寸驰贷，并且也具有不錯的性能盛嘿。
模型裁剪：
結(jié)構(gòu)復(fù)雜的網(wǎng)絡(luò)具有非常好的性能，其參數(shù)也存在冗余括袒，因此對于已訓(xùn)練好的模型網(wǎng)絡(luò)次兆，可以尋找一種有效的評判手段，將不重要的connection或者filter進(jìn)行裁剪來減少模型的冗余锹锰。
核的稀疏化：
在訓(xùn)練過程中芥炭，對權(quán)重的更新進(jìn)行誘導(dǎo)，使其更加稀疏恃慧，對于稀疏矩陣蚤认，可以使用更加緊致的存儲方式，如CSC糕伐，但是使用稀疏矩陣操作在硬件平臺上運(yùn)算效率不高，容易受到帶寬的影響蘸嘶，因此加速并不明顯良瞧。
除此之外，量化训唱、Low-rank分解褥蚯、遷移學(xué)習(xí)等方法也有很多研究，并在模型壓縮中起到了非常好的效果况增。
2015年赞庶，Han發(fā)表的Deep Compression是一篇對于模型壓縮方法的綜述型文章，將裁剪、權(quán)值共享和量化歧强、編碼等方式運(yùn)用在模型壓縮上澜薄，取得了非常好的效果，作為ICLR2016的best paper摊册，也引起了模型壓縮方法研究的熱潮肤京。其實(shí)模型壓縮最早可以追溯到1989年，Lecun老爺子的那篇Optimal Brain Damage（OBD）就提出來茅特，可以將網(wǎng)絡(luò)中不重要的參數(shù)剔除忘分，達(dá)到壓縮尺寸的作用，想想就可怕白修，那時候連個深度網(wǎng)絡(luò)都訓(xùn)練不出來妒峦，更沒有現(xiàn)在這么發(fā)達(dá)的技術(shù)，Lecun就已經(jīng)想好怎么做裁剪了兵睛，真是有先見之明肯骇，目前很多裁剪方案，都是基于老爺子的OBD方法卤恳。
