1. 前言
2. Inception V1
結(jié)構(gòu)如下：
v1
結(jié)構(gòu)的設(shè)計(jì)出自于一種考慮：隨著網(wǎng)絡(luò)結(jié)構(gòu)不斷變得更深，更寬笨枯，必然存在著許多的無效權(quán)重薪丁，也就是為0的參數(shù)。那么是否可以通過一種網(wǎng)絡(luò)節(jié)點(diǎn)之間的稀疏連接馅精，也就是sparsely connected network來減少這種情況呢严嗜。
因此，作者期望找的一個最優(yōu)的局部卷積結(jié)構(gòu)
上圖中洲敢，右圖主要比左圖多了維度下降的部分阻问。先通過1*1的卷積來降低維度，從而減少計(jì)算量沦疾。
整體結(jié)構(gòu)如圖：
v1
可以看到称近，就是通過幾個上述的block堆疊而成第队，同時會從不同深度的層提取特征，作為圖片不同尺度的特征刨秆。
Inception V2 : Batch normalization: Accelerating deep network training by reducing internal covariate shift
BN
Inception V3 : Rethinking the inception architecture for computer vision
作者提出了一些在模型設(shè)計(jì)中的經(jīng)驗(yàn)：
- 避免bottleneck凳谦，也就是避免在結(jié)構(gòu)中出現(xiàn)大的特征壓縮。
- 高維度特征更加容易訓(xùn)練衡未。
- 空間上的聚合在底層網(wǎng)絡(luò)進(jìn)行不會導(dǎo)致特征表達(dá)能力的損失尸执。
- 平衡網(wǎng)絡(luò)的寬度和深度。
分解大的卷機(jī)核：
如下圖是將一個5 * 5的卷積核分解成兩個3 * 3的核：
3*3
參數(shù)個數(shù)從9 * 9減少到了2 * 3 * 3
如下圖是將一個33的卷積核分解成一個13和一個3*1
3*3
如下圖是減少圖像大小的方法：
stride 2
通過stride 2來將圖片大小減少為1/4.
在這個版本的Inception使用了BN缓醋。
