持續(xù)更新
global average pooling
https://stats.stackexchange.com/questions/257321/what-is-global-max-pooling-layer-and-what-is-its-advantage-over-maxpooling-layer殘差結(jié)構(gòu)
來(lái)源于 Deep Residual Learning for Image Recognition
image.png
左邊的是基本殘差結(jié)構(gòu)拱她，右邊的是帶bottle neck 的殘差結(jié)構(gòu)错邦。
左邊F(x)直接和輸出連接惕虑，在反向傳播的時(shí)候揍堰，可以得到更多的梯度更新，有利于避免深度網(wǎng)絡(luò)中梯度消失的問(wèn)題苍姜，有利于訓(xùn)練更深的網(wǎng)絡(luò)。
右邊輸入在經(jīng)過(guò)這一層卷積的時(shí)候先通過(guò)11 bottle neck減少特征的層數(shù)，之后再通過(guò)33有利于減少計(jì)算量彩掐，最后再通過(guò)1*1恢復(fù)。
- 完全預(yù)激活殘差單元(full pre-activation Residual Unit)
來(lái)源于 Identity Mappings in Deep Residual Networks
image.png
和原始的殘差單元相比灰追，RELU和BN的放置順序發(fā)生變換堵幽，準(zhǔn)確度更好狗超。
