1拙友、ResNet 出現(xiàn)解決的問題
上文中，說到VggNet優(yōu)秀的成績背苦，證明了更深的網(wǎng)絡(luò)互捌，能更好的提取特征。但當(dāng)模型深度達(dá)到某個(gè)程度后繼續(xù)加深會(huì)導(dǎo)致訓(xùn)練集準(zhǔn)確率下降行剂。
該如何解呢秕噪？可以從一個(gè)假設(shè)入手，假設(shè)是因?yàn)榫W(wǎng)絡(luò)過深而無法優(yōu)化硼讽。何凱明和他的團(tuán)隊(duì)巢价，就這個(gè)問題做了優(yōu)化，引入了跳連的結(jié)構(gòu)來防止梯度消失的問題固阁，進(jìn)而可以進(jìn)一步加大網(wǎng)絡(luò)深度壤躲。
2、ResNet 介紹
先看看什么叫跳連备燃，如下圖所示：
跳連
如上圖碉克，跳連是輸入x后，有兩條分支來處理x并齐，其中一條分支是x經(jīng)過兩層3 * 3卷積漏麦，另一條線是將x和經(jīng)過卷積后結(jié)果相加在一起。從數(shù)學(xué)公式可以推出：H(x)=F(x)+x况褪。F(x)是卷積過程撕贞，H(x)是跳連的過程，又稱作為殘差學(xué)習(xí)测垛。為什么生效呢捏膨？ 如果出現(xiàn)梯度消失，這時(shí)F(x)學(xué)不到東西食侮，但加上x效果至少能保證和淺層的網(wǎng)絡(luò)持平号涯。
ResNet 網(wǎng)絡(luò)結(jié)構(gòu)
從網(wǎng)絡(luò)結(jié)構(gòu)中，可以看出核心單元--殘差學(xué)習(xí)塊（跳連塊）簡單堆疊锯七。結(jié)構(gòu)清晰明了链快。卷積后，沒有全連接層眉尸，經(jīng)過Average Pooling層代替全連接層域蜗。解決了梯度消失的問題巨双，可以加大網(wǎng)絡(luò)深度，提高模型的特征抽取能力地消。
