一 為什么讀這篇
Inception系列的官方最后一篇瓤的，讀完這篇涵卵，才能說對整個Inception體系有個初步的了解。
二 截止閱讀時這篇論文的引用次數(shù)
2018.12.31 1610次硝桩。引用越來越少了成福。
三 相關(guān)背景介紹
2016年2月刊發(fā)于arXiv，不得不佩服作者的高效灵再，v3發(fā)表才過了2個多月肋层，v4就出來了亿笤。另外從題目上也可以看出來，有不少借鑒ResNet的地方栋猖，問題是ResNet也就出來2個多月净薛。。掂铐。作者還是Christian Szegedy和Sergey Ioffe分別以一二作合作完成的罕拂。最后投在2017年的AAAI。
四 關(guān)鍵詞
Inception v4
Inception-ResNet
五 論文的主要貢獻
似乎是首次將Inception和ResNet聯(lián)合起來一起用
六 詳細解讀
1 介紹
本文的主要研究就是將ResNet和Inception-v3連接起來全陨。除了直接集成爆班，本文也研究了僅僅讓Inception變寬變深能否更有效，因此設(shè)計了新版本Inception-v4辱姨。Inception-v3由于歷史原因有很多包袱（DistBelief的鍋柿菩。。）
2 相關(guān)工作
He認為殘差連接是訓(xùn)練非常深的卷積網(wǎng)絡(luò)的必要條件雨涛，而本文的發(fā)現(xiàn)不支持這個觀點枢舶，至少在圖像識別領(lǐng)域。在實驗部分本文證明了不使用殘差連接也可以訓(xùn)練很深的網(wǎng)絡(luò)替久，但是用殘差連接似乎能明顯的加速訓(xùn)練凉泄。這里對之前的Inception系列代號重新定義，v1也就是GoogLeNet蚯根，v2是BN-Inception后众，v3就是rethinking那篇分解卷積。
3 架構(gòu)選擇
3.1 純Inception塊
圖9是Inception-v4的整體架構(gòu)颅拦，圖3,4,5,6,7,8分別是不同結(jié)構(gòu)的Inception塊蒂誉。卷積層有V符號的表示valid padding，沒有V符號的表示same padding距帅。
3.2 殘差I(lǐng)nception塊
對于殘差版本的Inception網(wǎng)絡(luò)右锨，使用更cheap的Inception塊，而不是原始Inception塊碌秸。
作者們試驗了幾種殘差版本的Inception绍移。本文只介紹兩種："Inception-ResNet-v1"和"Inception-ResNet-v2"，其中v1的計算量和Inception-v3差不多讥电，而v2和這次提出的Inception-v4差不多登夫。
圖15是這兩個網(wǎng)絡(luò)的整體架構(gòu)。
3.3 殘差縮放
實驗中發(fā)現(xiàn)當filter的個數(shù)超過1000時殘差的變種就開始明顯的不穩(wěn)定允趟，同時網(wǎng)絡(luò)也死了。鸦致。
另外發(fā)現(xiàn)在加殘差之前縮小它似乎可以使訓(xùn)練穩(wěn)定潮剪。通常在加法操作前涣楷，乘個0.1到0.3的縮放因子給殘差。如圖20抗碰。
當層非常深的時候同時filter很多時狮斗，即使用『warm-up』策略訓(xùn)練也還是不穩(wěn)定，不過縮放殘差有用弧蝇。（把ResNet批判一番碳褒。。看疗。）
4 訓(xùn)練方法
起初用帶動量的SGD訓(xùn)練沙峻，不過效果不如RMSProp。初始lr為0.045两芳，每2個epoch使用0.94的系數(shù)指數(shù)衰減lr摔寨。
5 實驗結(jié)果
6 總結(jié)
- Inception-ResNet-v1：計算代價和Inception-v3差不多
- Inception-ResNet-v2：更大的計算代價，識別效果明顯提升
- Inception-v4：沒有殘差連接的純Inception版本怖辆，識別效果和Inception-ResNet-v2差不多是复，但是沒它閉合的快
七 讀后感
這是近期所看論文中圖最多的一篇，占了一大半的篇幅竖螃，文字描述沒多少淑廊，理論公式更是沒有，所以讀起來比較輕松特咆。讀完后感覺就是一篇灌水文季惩，最大的創(chuàng)新點也許就是聯(lián)合Inception和ResNet一起用，還有可能是首次坚弱∈癖福看著那些網(wǎng)絡(luò)結(jié)構(gòu)，實在是太復(fù)雜了荒叶，不知道作者是怎么搞出來的碾阁，那些魔數(shù)，感覺就是一堆魔改些楣，沒啥理論脂凶，試就完了。讀完本文后覺得AutoML確實很有必要愁茁，因為Inception-v4的這些結(jié)構(gòu)設(shè)計似乎都不靠什么先驗知識了蚕钦，調(diào)就是了，如果純調(diào)的話人怎么能調(diào)的過機器鹅很。
