去年的時(shí)候颅筋，微軟一幫子人搞了個(gè)152層的神經(jīng)網(wǎng)絡(luò)！WTF输枯！詳情見(jiàn)論文议泵！
論文太長(zhǎng)了，今天只分析一下ResNet的核心內(nèi)容之一桃熄，即“Deeper Bottleneck Architectures”（以下簡(jiǎn)稱DBA）先口，論文里的原圖是這樣的：
說(shuō)實(shí)話，畫(huà)的不怎么樣瞳收，右邊的網(wǎng)絡(luò)結(jié)構(gòu)就是DBA啦碉京！關(guān)于這張圖，論文的作者是這么說(shuō)的
Because of concerns on the training time that we can afford, we modify the building block as a bottleneck design.
就是說(shuō)螟深，作者考慮到自己GPU的計(jì)算能力有限谐宙，所以才采用了bottleneck design！說(shuō)到底還是沒(méi)錢(qián)上1080唄界弧！不過(guò)2015年的時(shí)候1080還沒(méi)出來(lái)凡蜻，那他為什么不上TITAN搭综，還是沒(méi)錢(qián)唄！
言歸正傳划栓，換成bottleneck design以后兑巾，網(wǎng)絡(luò)的參數(shù)減少了很多，訓(xùn)練也就相對(duì)容易一些忠荞。然后我們?cè)倏匆幌略髦械腞esNet全貌蒋歌！
來(lái)看50-layer那一欄，在進(jìn)入到DBA層之前的網(wǎng)絡(luò)比較簡(jiǎn)單委煤，分別是：①卷積層"7×7, 64, stride 2"堂油、②BN層、③ReLU層碧绞、④池化層"3×3 max pool, stride 2"称诗，最終的輸出結(jié)果是一個(gè)大小為 [batch_size, height, width, kernels] 矩陣，很簡(jiǎn)單头遭，不再贅述寓免，關(guān)于BN可以參考這里。
我們深入一下计维，再看第一個(gè)DBA內(nèi)部袜香，如下圖
很顯然，總共3×3=9層鲫惶，可是原作畢竟篇幅有限蜈首，網(wǎng)絡(luò)實(shí)現(xiàn)的細(xì)節(jié)不是很清楚，于是我就參考了Ryan Dahl的tensorflow-resnet程序源碼欠母，按照Ryan Dahl實(shí)現(xiàn)的ResNet欢策，畫(huà)出了DBA內(nèi)部網(wǎng)絡(luò)的具體實(shí)現(xiàn)，這個(gè)DBA是全網(wǎng)絡(luò)中第一個(gè)DBA的前三層赏淌，輸入的image大小為[batch_size,56,56,64]踩寇，輸出大小為[batch_size,56,56,256]，如下圖
圖已經(jīng)說(shuō)的很清楚啦六水！之后的網(wǎng)路就是N個(gè)上圖的結(jié)構(gòu)疊加俺孙！我不太想做過(guò)多的說(shuō)明了，一切盡在圖中Ｖ兰帧睛榄！
