01 Inception V1【1】
GoogLeNet首次出現(xiàn)在2014年ILSVRC 比賽中獲得冠軍塑悼。這次的版本通常稱其為Inception V1讥蔽。Inception V1有22層深疏咐，參數(shù)量為5M供炼。同一時(shí)期的VGGNet性能和Inception V1差不多兼蕊，但是參數(shù)量也是遠(yuǎn)大于Inception V1集侯。
Inception Module是GoogLeNet的核心組成單元养筒。結(jié)構(gòu)如下圖：
Inception Module基本組成結(jié)構(gòu)有四個(gè)成分砌函。1*1卷積斩披，3*3卷積，5*5卷積胸嘴，3*3最大池化雏掠。最后對四個(gè)成分運(yùn)算結(jié)果進(jìn)行通道上組合。這就是Inception Module的核心思想劣像。通過多個(gè)卷積核提取圖像不同尺度的信息乡话，最后進(jìn)行融合，可以得到圖像更好的表征耳奕。
如上圖所示绑青，假設(shè)我們要提取貓臉特征，而上面兩張圖的貓臉占比顯然不一樣屋群，那么我們就得用不同卷積核提取不同信息闸婴。信息分布比較全局性的圖像采用大卷積核，信息分布比較局部性的圖像采用小卷積核芍躏。
圖b是對圖a的改進(jìn)邪乍，即在3*3卷積，5*5卷積前加1*1卷積对竣，目的是為了先進(jìn)行降維庇楞，相比較于原來結(jié)構(gòu)減少了較多參數(shù)。而把1*1卷積放在3*3最大池化之后否纬，相比較放在前面吕晌，也是為了參數(shù)量的減少。
由Inception Module組成的GoogLeNet如下圖：
對上圖做如下說明：
1. 采用模塊化結(jié)構(gòu)临燃，方便增添和修改睛驳。其實(shí)網(wǎng)絡(luò)結(jié)構(gòu)就是疊加Inception Module烙心。
2.采用Network in Network中用Averagepool來代替全連接層的思想。實(shí)際在最后一層還是添加了一個(gè)全連接層乏沸，是為了大家做finetune淫茵。
3.依然使用Dropout層，防止過擬合屎蜓。
4.另外增加了兩個(gè)輔助的softmax分支痘昌，作用有兩點(diǎn)，一是為了避免梯度消失炬转，用于向前傳導(dǎo)梯度。反向傳播時(shí)如果有一層求導(dǎo)為0算灸，鏈?zhǔn)角髮?dǎo)結(jié)果則為0扼劈。二是將中間某一層輸出用作分類，起到模型融合作用菲驴。最后的loss=loss_2 + 0.3 * loss_1 + 0.3 * loss_0荐吵。實(shí)際測試時(shí)，這兩個(gè)輔助softmax分支會被去掉赊瞬。
02 Inception V2【2】
1.學(xué)習(xí)VGGNet的特點(diǎn)先煎，用兩個(gè)3*3卷積代替5*5卷積，可以降低參數(shù)量巧涧。
2.提出BN算法薯蝎。BN算法是一個(gè)正則化方法，可以提高大網(wǎng)絡(luò)的收斂速度谤绳。簡單介紹一下BN算法占锯。就是對輸入層信息分布標(biāo)準(zhǔn)化處理，使得規(guī)范化為N(0,1)的高斯分布缩筛，收斂速度大大提高消略。
03 Inception V3【3】
學(xué)習(xí)Factorization into small convolutions的思想，將一個(gè)二維卷積拆分成兩個(gè)較小卷積瞎抛，例如將7*7卷積拆成1*7卷積和7*1卷積艺演。這樣做的好處是降低參數(shù)量。paper中指出桐臊，通過這種非對稱的卷積拆分胎撤，比對稱的拆分為幾個(gè)相同的卷積效果更好，可以處理更多豪硅，更豐富的空間特征哩照。
本來還有Inception V4【4】的，考慮到借鑒了微軟的ResNet網(wǎng)絡(luò)結(jié)構(gòu)思想懒浮，在后面介紹Resnet中的殘差結(jié)構(gòu)時(shí)再做介紹飘弧。
參考文獻(xiàn)
【1】Szegedy C, Liu W, Jia Y, et al. Going deeper withconvolutions[C]// IEEE Conference on Computer Vision andPattern Recognition. IEEE, 2015:1-9.
Ioffe S, Szegedy C.
【2】Batch Normalization: Accelerating Deep Network Trainingby Reducing Internal Covariate Shift[J]. 2015:448-456.
【3】Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking theInception Architecture for Computer Vision[J]. 2015:2818-2826.
【4】Szegedy C, Ioffe S, Vanhoucke V, et al. Inception-v4,Inception-ResNet and the Impact of Residual Connections onLearning[J]. 2016.
作者：言有三
鏈接：http://www.reibang.com/p/d0a3b560a5ca
來源：簡書
簡書著作權(quán)歸作者所有识藤，任何形式的轉(zhuǎn)載都請聯(lián)系作者獲得授權(quán)并注明出處。
