對(duì)Inception系列的三篇論文公浪，5個(gè)模型進(jìn)行一個(gè)淺顯的總結(jié)對(duì)比恍飘。來看看系列之首的第一個(gè)參考文獻(xiàn)——we need to go deeper累榜， 這在這個(gè)系列中有兩個(gè)意思卿吐，從直接意義上把夸，GoogLeNet有22層參數(shù)層而线，從另一個(gè)維度上，Inception使用了分組卷積對(duì)模型進(jìn)行加寬恋日，用不同尺寸的核分路進(jìn)行卷積后拼接起來膀篮，這也是Inception系列最大的特色。
2014 Inception-v1：多支路卷積
而整個(gè)模型就是通過對(duì)這樣的基礎(chǔ)模塊進(jìn)行堆疊得到的筷屡，這一點(diǎn)和VGG類似。和其他深度神經(jīng)網(wǎng)絡(luò)一樣GoogLeNet面臨著梯度消亡問題簸喂，批量正則化是在V2才被引入的毙死，V1最終的結(jié)果由最終的分類器和兩個(gè)輔助分類器的結(jié)果加權(quán)求和得到，在原論文中賦予給了每個(gè)輔助分類器0.3的權(quán)重.
Inception模塊優(yōu)化時(shí)間/空間復(fù)雜度：https://zhuanlan.zhihu.com/p/31575074
2015 Inception-v2,v3：
Rethinking the Inception Architecture for Computer Vision：
分享了四項(xiàng)基本的設(shè)計(jì)原則：
- 避免representational bottlenecks 喻鳄，尤其是在淺層扼倘。
- 非線性可以加速訓(xùn)練，因?yàn)楦呔S的表征更容易被處理除呵。
- 在空間整合（卷積唉锌？）之前降維不會(huì)影像表現(xiàn)。
- 平衡寬度和深度竿奏。
引入Batch Normalization(BN)技術(shù)袄简，兩個(gè)分解 減少參數(shù)量：
- 把大卷積核分解為連續(xù)的小卷積
- 把對(duì)稱的卷積核分解為不對(duì)稱的卷積，但是這不宜在淺層使用泛啸，作者在實(shí)踐中發(fā)現(xiàn)特征圖尺寸在12和20之間時(shí)绿语，不對(duì)稱分解的表現(xiàn)很好
分解的目的是在提升表現(xiàn)的同時(shí)盡量降低計(jì)算量，V2對(duì)比V1加深到了42層候址，但是計(jì)算成本只提升為2.5倍吕粹。
V3：
對(duì)比V2應(yīng)用了這幾個(gè)改進(jìn)：
RMSProp 是一種優(yōu)化算法
Label Smoothing 正則化方法
V2對(duì)根莖部分的第一個(gè)7*7卷積層進(jìn)行分解，
在輔助分類器中使用了批量正則化岗仑，
2016 Inception-v4, Inception-ResNet：
Inception-v4：
Inception-ResNet：
