要解決的問題:
xcetion深刻研究了inception的思想宣肚,指出inception網(wǎng)絡(luò)的實質(zhì)就是將空間的相關(guān)性與通道的相關(guān)性進行解耦,但解耦的并不完全拜姿,所以論文要解決的問題就是怎么將空間的相關(guān)性與通道的相關(guān)性進行完全的解耦朽砰。
相關(guān)信息:
1捺萌、inception網(wǎng)絡(luò)如下所示:
其中,1*1卷積所作的操作即是將輸入進行降維處理新博,減少通道數(shù)以便后面的卷積操作薪夕,這其實也就證明了空間相關(guān)性與通道相關(guān)性可以進行解耦分別處理。
2赫悄、深度可分離卷積原献,其進行的操作是首先對每一個通道的特征圖進行標準的卷積操作,再利用1*1的卷積融合這些通道的信息埂淮,可以減小運算量姑隅。
網(wǎng)絡(luò)設(shè)計
1、明確前提假設(shè):由inception網(wǎng)絡(luò)的啟發(fā)倔撞,空間相關(guān)性與通道相關(guān)性可以完全解耦合讲仰。
首先將inception網(wǎng)絡(luò)簡化:
可以看出,首先對通道進行處理再進行卷積操作痪蝇,其等價于:
即將通道分組鄙陡,每組進行不同的卷積操作,最后融合結(jié)果霹俺∪岷穑考慮一種極端情況,即分的組數(shù)等于通道數(shù)丙唧,即:
這就與深度可分離卷積很類似愈魏,但又有一些不同:第一個不同,深度可分離卷積1*1的卷積操作是在后面想际,而inception網(wǎng)絡(luò)的1*1卷積是在前面培漏;第二個不同,深度可分離卷積中間層沒有非線性激活胡本,而inception當中有牌柄。論文當中論證第一點其實不太重要,第二點不加非線性激活的效果要好一些侧甫。
2珊佣、論文中使用了殘差網(wǎng)絡(luò)設(shè)計了xception蹋宦,將其中的卷積層換成了深度可分離卷積。最終結(jié)構(gòu)如下: