這里不再講特別多的基礎(chǔ)知識，也基本不會放圖片翻斟，其實抑片，到了2019年并且做深度學(xué)習(xí)的人，真的有誰不知道或者沒看過ResNet的文章杨赤、或者博文嗎敞斋。
ResNet剛剛提出來的時候，想法就是很簡單疾牲，就是%3DF(x)%2Bx)
植捎，原因也很直白，層數(shù)太多會有
的情況阳柔，那么不如把前邊的給它直接懟過去焰枢？作者一開始說了那么多話，也掩飾不住這個連接是拍腦袋搞出來的舌剂，或者說是最簡單的試試就work了济锄，所以開始的比較也并沒有比如為參數(shù)是1不是0.5之類的問題（這些都在v2中給了實驗）。而另一個比較神奇的地方就是
霍转，作者敢在16年就這么大規(guī)模的用荐绝，確實很有勇氣。后來的注解也說明了避消，普通的
也是OK的低滩，這么用就是為了省點參數(shù)，梯度的問題也完全沒有被
所解決岩喷，而這樣的結(jié)構(gòu)就如此廣泛地被所有后續(xù)paper所接受恕沫，感覺還是有一些改進(jìn)的空間。
不得不說纱意，ResNet這篇paper寫的是真的好婶溯，娓娓道來，實驗充分偷霉，圖表充足迄委，這樣的paper不得best還有誰能得呢？
后續(xù)給出了ResNet-v2腾它，這個paper作者確實是用力了跑筝，把之前沒討論的形式基本都討論了一遍，比如為啥
這一部分的系數(shù)是1而不是0.5：
第L層可以被表示為：
)
那么Loss對第l層的偏導(dǎo)就是：
))
因此瞒滴，如果第i層
項有個系數(shù)
曲梗，第L層就會被表示為：
x_i%2B%5Csum%5E%7BL-1%7D_%7Bi%3Dl%7D%5Chat%7BF%7D(x_i%2CW_i))
（
代表省略后續(xù)累加項的常數(shù)參數(shù)）
則第l層對Loss的偏導(dǎo)就變成了：
%2B%5Cfrac%7B%5Cpartial%7D%7B%5Cpartial%20x_l%7D(%5Chat%7BF%7D(x_i%2CW_i)))
所以你看，前邊的系數(shù)就參與了BP妓忍，大了吧梯度爆炸虏两，小了吧梯度消失。
還有很多實驗分析這里不一一介紹世剖，但是結(jié)論還是要知道的：
（1）直接累加就挺好
（2）當(dāng))
項的順序是
時是最好的定罢。
然后一個有意思但是至今一個意見不太統(tǒng)一的地方就是，
的時候究竟要不要一個旁瘫。v1說要祖凫，v2說不要琼蚯，不過很多后續(xù)paper或者工程其實還是要了的，不過作者也說了惠况，層數(shù)少可以搞一個遭庶，層數(shù)多了就算了，這也是蠻神奇的地方稠屠，我覺得思路可能和ResNet本身要解決的問題倒有一點相似峦睡，層數(shù)變多、結(jié)構(gòu)復(fù)雜未必好权埠，或者說榨了，未必好訓(xùn)。一般來講攘蔽，ResNet-50差不多可以用龙屉，我明天試試。之所以單獨提50秩彤，就是因為這基本上是個工業(yè)界非常喜歡的結(jié)構(gòu)叔扼，用的非常非常多。
然后時過境遷漫雷，就到了ResNeXt瓜富，這個工作作者說直接motivation是Inception，恩降盹，看起來也很沒有創(chuàng)意的樣子与柑。作者吭哧吭哧畫了3個圖，然后就說蓄坏，我們使用
的版本實現(xiàn)了下价捧，它們其實差不多等價！我去涡戳，這也太不嚴(yán)謹(jǐn)了吧结蟋，好歹在cifar上驗證下也行啊。打算閑下來了也同樣做個實驗渔彰。這里有個需要注意的就是嵌屎，參數(shù)量差不多的時候ResNeXt的（輸入）channel可以更多一點（畢竟每個conv的數(shù)量減少了嘛），這樣就可以把模型搞得寬恍涂，效果也好一點宝惰。
然后就很有意思了，既然有了再沧，那為啥不把它搞到
呢尼夺，于是就將其命名為
，（注：這里我沒有完全按照時間線來分析，只是這個思路確實比較好懂淤堵，有利于大腦理解）寝衫，也就有了mobile net。
然后就向2條不同的路延伸了粘勒，一條在優(yōu)化
的路上一路向前竞端，有了v2，v3庙睡，shuffle net，順便說下v2技俐，它的改進(jìn)好像只有2個乘陪，1.
，2.最后一個
換了個)
作為激活雕擂，這不就是把原來ResNet的抄了過來嘛（當(dāng)然維度變化情況是不一樣的）啡邑；是另一條在“如何創(chuàng)建更好的shortcut”上一路向前，有了densenet井赌，甚至還有了“是不是shortcut點別的東西也會有奇效”的路谤逼，比如residual-attention net，senet仇穗，cbam流部。其實最后者一般被稱為attention，不過圖像attention這個東西吧纹坐，本來就不算特別讓人信服枝冀，它的實現(xiàn)機制簡直就是一個并聯(lián)的conv。要是說senet真的讀取了channel attention的信息耘子，那么它根本不應(yīng)該gap之后去做fc果漾，畢竟fc也實現(xiàn)了每個channel信息的交互啊谷誓！作者要么應(yīng)該gap后之間連绒障，要么用去做一點處理，總的來說捍歪，不應(yīng)該有信息的交互户辱。這也是一個我打算嘗試下的點。倒不是說這幾個點有什么用费封，只是為了解疑答惑焕妙，讓自己信服。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
