引用來源:知乎-一文讀懂卷積神經(jīng)網(wǎng)絡(luò)中的1x1卷積核
* 注:本篇文章只是對(duì)自己知識(shí)的總結(jié),大部分內(nèi)容來自上面原文.
卷積核作用和定義:?
1. 卷積核(convolutional kernel ), 可以看作對(duì)某個(gè)局部的加權(quán)求和撼玄;它是對(duì)應(yīng)局部感知夺姑,它的原理是在觀察某個(gè)物體時(shí)我們既不能觀察每個(gè)像素也不能一次觀察整體,而是先從局部開始認(rèn)識(shí)掌猛,這就對(duì)應(yīng)了卷積盏浙。
2. 卷積核的個(gè)數(shù)就對(duì)應(yīng)輸出的通道數(shù)(channels).?這里需要說明的是對(duì)于輸入的每個(gè)通道,輸出每個(gè)通道上的卷積核是不一樣的。比如輸入是28x28x192(WxDxK,K代表通道數(shù))废膘,然后在3x3的卷積核竹海,卷積通道數(shù)為128,那么卷積的參數(shù)有3x3x192x128丐黄,其中前兩個(gè)對(duì)應(yīng)的每個(gè)卷積里面的參數(shù)斋配,后兩個(gè)對(duì)應(yīng)的卷積總的個(gè)數(shù)(一般理解為,卷積核的權(quán)值共享只在每個(gè)單獨(dú)通道上有效灌闺,至于通道與通道間的對(duì)應(yīng)的卷積核是獨(dú)立不共享的艰争,所以這里是192x128)。
1x1卷積核的作用和定義:
1. 降維/升維 : 當(dāng)輸入為6x6x32時(shí)桂对,1x1卷積的形式是1x1x32甩卓,當(dāng)只有一個(gè)1x1卷積核的時(shí)候,此時(shí)輸出為6x6x1接校。此時(shí)便可以體會(huì)到1x1卷積的實(shí)質(zhì)作用:降維猛频。當(dāng)1x1卷積核的個(gè)數(shù)小于輸入channels數(shù)量時(shí)狮崩,即降維.
注:1x1卷積一般只改變輸出通道數(shù)(channels)蛛勉,而不改變輸出的寬度和高度
由于 1×1 并不會(huì)改變 height 和 width,改變通道的第一個(gè)最直觀的結(jié)果睦柴,就是可以將原本的數(shù)據(jù)量進(jìn)行增加或者減少诽凌。這里看其他文章或者博客中都稱之為升維、降維坦敌。但我覺得維度并沒有改變侣诵,改變的只是 height × width × channels 中的 channels 這一個(gè)維度的大小而已
2. 增加非線性:? 1*1卷積核,可以在保持feature map尺度不變的(即不損失分辨率)的前提下大幅增加非線性特性(利用后接的非線性激活函數(shù))狱窘,把網(wǎng)絡(luò)做的很deep
3.?跨通道信息交互(channal 的變換):使用1x1卷積核杜顺,實(shí)現(xiàn)降維和升維的操作其實(shí)就是channel間信息的線性組合變化,3x3蘸炸,64channels的卷積核后面添加一個(gè)1x1躬络,28channels的卷積核,就變成了3x3搭儒,28channels的卷積核穷当,原來的64個(gè)channels就可以理解為跨通道線性組合變成了28channels,這就是通道間的信息交互
1x1卷積核的實(shí)際應(yīng)用:
1.? GoogleNet Inception
2. ResNet