Google Research的Inception模型和Microsoft Research的Residual Net模型兩大圖像識別殺器結(jié)合效果如何队寇？在這篇2月23日公布在arxiv上的文章“Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”給出了實驗上的結(jié)論跪另。
在該論文中，姑且將ResNet的核心模塊稱為residual connections免绿，實驗結(jié)果表明，residual connections可以提高Inception網(wǎng)絡(luò)的準(zhǔn)確率擦盾，并且不會提高計算量。這似乎是理所當(dāng)然的迹卢。采用3個帶有residual connection的Inception模型和1個Inception v4模型，ImageNet上的top 5錯誤率已經(jīng)可以刷到3.08%啦腐碱。也就是說，錯誤率2.x%的時代已經(jīng)指日可待了症见。
關(guān)于深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展以及在各種視覺任務(wù)上的優(yōu)異表現(xiàn)就不用贅述了喂走。在討論related work中谋作，本文認為residual connection并不是訓(xùn)練very deep network的必要條件芋肠，但可以顯著的加快訓(xùn)練的速度遵蚜。同時业栅，本文回顧了Inception模型的發(fā)展歷程谬晕，原始的Inception模型碘裕，也就是GoogLeNet被稱為Inception-v1攒钳，加入batch normalization之后被稱為Inception-v2帮孔，加入factorization的idea之后，改進為Inception-v3文兢。
Google Research從DistBelief過渡到TensorFlow之后，不用再顧慮分布式訓(xùn)練時要做模型的分割姆坚。Inception-v4模型設(shè)計的可以更簡潔，計算量也更小兼呵。具體的模型如下圖：
其中的Inception-A模塊是這樣的：
接下來將介紹重頭戲，Inception-ResNet击喂，其中的一個典型模塊是這樣的：
其中的+就是residual connection了。通過20個類似的模塊組合懂昂，Inception-ResNet構(gòu)建如下：
基于Inception-v3和Inception-v4，文中分別得到了Inception-ResNet-v1和Inception-ResNet-v2兩個模型凌彬。另外沸柔，文中還提到當(dāng)卷積核超過1000個的大網(wǎng)絡(luò)訓(xùn)練時铲敛，將殘差（residuals）縮小有助于訓(xùn)練的穩(wěn)定性。這個做法同原始ResNet論文中的two-phase training的效果類似原探。
果然如winsty所講乱凿，現(xiàn)在論文的公式越來越少了咽弦，網(wǎng)絡(luò)框圖開始越來越多了徒蟆。本文行文并不足夠規(guī)范型型，更像一個report段审。接下就是報各種很牛的實驗結(jié)果了闹蒜。
總結(jié)來講筐喳，Google Research團隊在這篇report中介紹了新的Inception-v4網(wǎng)絡(luò)，并結(jié)合最新的residual connection技術(shù)避归，將ImageNet上圖像分類的結(jié)果刷到了3.08%了。
[1] Christian Szegedy,Sergey Ioffe,Vincent Vanhoucke. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. arXiv:1602.07261[cs.CV]
