1. 前言
這是一篇CVPR2018的論文
2. 介紹
隨著神經(jīng)網(wǎng)絡(luò)的不斷加深箭窜，不斷加寬彩郊，作者提出了一種更加有效的方式來(lái)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)的搭建讥耗，而不是單純的stack起來(lái)毒坛。
首先望伦，從之前的研究得出林说，更加深層的網(wǎng)絡(luò)能夠提取出語(yǔ)意特征，以及全局特征屯伞，語(yǔ)意特征就是指一些概念腿箩，高級(jí)特征。
作者引入了兩種深層網(wǎng)絡(luò)結(jié)構(gòu)劣摇，一是IDA珠移，iterative deep aggregation，一是HDA末融，hierarchical deep aggregation钧惧。前者主要進(jìn)行不同scale，resolution的層的信息混合勾习，也就是不同深度的層浓瞪，后者通過(guò)進(jìn)行不同通道和module之間的信息混合，例如shuffle net巧婶，或者resnet中不同block進(jìn)行混合乾颁。
3. IDA
我們知道現(xiàn)在很多的網(wǎng)絡(luò)結(jié)構(gòu)都是由一個(gè)一個(gè)小的block堆疊成的。作者將這些堆疊起來(lái)的block分成不同的stage艺栈，深的stage有更加豐富的語(yǔ)意信息英岭，但是它的顆粒度比較粗糙，也就是每一個(gè)特征對(duì)應(yīng)的感受野很大眼滤，不是很精細(xì)巴席。skip connection將不同stage的信息進(jìn)行了聚集。
作者提出了如下的連接方式：
信息從底層不斷聚集诅需，并且不斷refine（就是指通過(guò)了可訓(xùn)練的層）漾唉。
公式如下：
4. HDA
HDA是將不同block和stage聚集來(lái)保留和整合通道信息。
一種deep, branchiing結(jié)構(gòu)如下圖：
作者提出了如下的結(jié)構(gòu)堰塌，將聚集處的輸出作為某一層的輸入赵刑。
為了提高效率，作者又提出了下面的結(jié)構(gòu)：
公式如下：
整體結(jié)構(gòu)如下：
