之前在文章《<模型匯總_1>牛逼的深度卷積神經(jīng)網(wǎng)絡(luò)CNN》詳細(xì)介紹了卷積神經(jīng)網(wǎng)絡(luò)的基本原理掌呜，以及常見(jiàn)的基本模型，如LeNet搭综，VGGNet垢箕，AlexNet，ReseNet兑巾，Inception Net的基本結(jié)構(gòu)和原理条获。今天主要總結(jié)一下，卷積神經(jīng)網(wǎng)絡(luò)家族中蒋歌，不同類型的卷積方式以及它們各自的優(yōu)點(diǎn)帅掘。為了簡(jiǎn)單起見(jiàn)，我們僅從2維的角度介紹堂油。

文末提供相關(guān)資料下載地址

卷積基本概念

首先修档，我們首先回顧一下卷積相關(guān)的基本概念，定義一個(gè)卷積層需要的幾個(gè)參數(shù)府框。

2維卷積使用卷積核大小為3吱窝，步長(zhǎng)為1和Padding

卷積核大小（Kernel Size）：卷積核大小定義了卷積的視野。2維中的常見(jiàn)選擇是3 - 即3x3像素矩陣院峡。

步長(zhǎng)（Stride）：步長(zhǎng)定義遍歷圖像時(shí)卷積核的移動(dòng)的步長(zhǎng)兴使。雖然它的默認(rèn)值通常為1，但我們可以使用值為2的步長(zhǎng)來(lái)對(duì)類似于MaxPooling的圖像進(jìn)行下采樣照激。

填充（Padding）：填充定義如何處理樣本的邊界发魄。Padding的目的是保持卷積操作的輸出尺寸等于輸入尺寸，因?yàn)槿绻矸e核大于1俩垃，則不加Padding會(huì)導(dǎo)致卷積操作的輸出尺寸小于輸入尺寸励幼。

輸入和輸出通道（Channels）：卷積層通常需要一定數(shù)量的輸入通道（I），并計(jì)算一定數(shù)量的輸出通道（O）口柳∑凰冢可以通過(guò)I * O * K來(lái)計(jì)算所需的參數(shù)，其中K等于卷積核中參數(shù)的數(shù)量啄清，即卷積核大小六水。

下面介紹幾種常見(jiàn)的卷積方式。

擴(kuò)張卷積（Dilated Convolution）

（又稱Atrous Convolution）

2維卷積辣卒，卷積核大小為3掷贾，擴(kuò)張率（dilation rate）為2，無(wú)Padding

擴(kuò)張卷積在進(jìn)行卷積操作時(shí)引入了另一個(gè)參數(shù)荣茫，即擴(kuò)張率想帅，用以捕捉像素之間的long dependency。擴(kuò)張率定義了卷積核中的值與值之間的間隔啡莉。擴(kuò)張率為2的3x3卷積核將具有與與5x5卷積核相同的視野港准，而只使用9個(gè)參數(shù)。想象一下咧欣，使用一個(gè)5x5卷積核并刪除第二行和列浅缸。

這樣操作，使得在相同的計(jì)算成本下魄咕，卷積計(jì)算具有更寬的視野衩椒，可以捕捉更長(zhǎng)的依賴關(guān)系。擴(kuò)張卷積在實(shí)時(shí)圖像分割領(lǐng)域特別受歡迎哮兰。適用于需要更加寬泛的視野并且不用多個(gè)卷積或更大的卷積核情況毛萌。

典型的網(wǎng)絡(luò)如WaveNet，論文下載地址：https://arxiv.org/abs/1609.03499

Fully Convoluted Network喝滞，論文下載地址https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf

可變形（Deformable）卷積

我們常見(jiàn)的卷積核（filter）一般都是呈長(zhǎng)方形或正方形的阁将，規(guī)則的卷積核往往會(huì)限制特征抽取的有效性，更為有效的做法是讓卷積和具有任意的形狀右遭，那么卷積核是否可以呈圓形或者隨意的形狀呢做盅？答案是可行的缤削，如下圖所示，典型的代表就是Deformable Convolution Network吹榴。

對(duì)比上圖所示的a僻他、b兩圖可以發(fā)現(xiàn)，任意形狀的的卷積核使得網(wǎng)絡(luò)可以重點(diǎn)關(guān)注一些重要的區(qū)域腊尚，更能有效且準(zhǔn)確的抽取輸入圖像的特征。

怎么樣來(lái)實(shí)現(xiàn)呢满哪？

如上圖所示婿斥，網(wǎng)絡(luò)會(huì)根據(jù)原始的卷積，如圖a所示哨鸭，學(xué)習(xí)一個(gè)offset偏量民宿，通過(guò)一些列的旋轉(zhuǎn)、尺度變換像鸡、縮放等Transform變換活鹰，改變成成任意形狀的卷積核，如b只估、c志群、d圖所示。

Offet代表的Transform怎么實(shí)現(xiàn)呢蛔钙？

在deformable convolution中锌云，會(huì)進(jìn)行兩次卷積，第一次卷積計(jì)算得到offset的卷積核吁脱，第二次是利用第一步得到的offset卷積核進(jìn)行常規(guī)的卷積得到最終輸出桑涎。重點(diǎn)是第一步中獲得offset卷積核。先從input feature map中通過(guò)卷積（conv）計(jì)算得到offset field兼贡，在基于offset field得到最終的offset攻冷。注意，offset得到的輸出通道數(shù)是input feature map的兩倍遍希，因?yàn)閛ffset包含了在x和y兩個(gè)方向上的偏置項(xiàng)等曼。

具體細(xì)節(jié)可以看考Deformable convolution Network的論文：https://arxiv.org/abs/1703.06211

深度可分離（Depth Separable）卷積

在可分離的卷積中，我們可以將卷積核操作拆分成多個(gè)步驟孵班。我們用y = conv（x涉兽，k）表示卷積，其中y是輸出圖像篙程，x是輸入圖像枷畏，k是卷積核。接下來(lái)虱饿，假設(shè)k由公式：k = k1.dot（k2）計(jì)算拥诡。這就是一個(gè)可分離的卷積触趴，因?yàn)槲覀兛梢允褂么笮》謩e為k1和k2兩個(gè)卷積核進(jìn)行2個(gè)1D卷積來(lái)取得相同的結(jié)果，而不是用一個(gè)大小k進(jìn)行二維卷積渴肉。

Sobel X和Y卷積核

以Sobel卷積核為例冗懦，通常用于圖像處理。我們可以通過(guò)向量[1仇祭，0披蕉，-1]乘以向量[1,2,1] 來(lái)獲得相同的卷積核。執(zhí)行相同的操作乌奇，只需要6而不是9個(gè)參數(shù)没讲。

上面的例子就是所謂的空間可分離卷積，但在深度學(xué)習(xí)中并不是這樣做的礁苗。這樣介紹主要是舉個(gè)例子爬凑，不至于使人迷惑。在神經(jīng)網(wǎng)絡(luò)中试伙，通常使用稱為深度可分離卷積的網(wǎng)絡(luò)嘁信，典型的網(wǎng)絡(luò)Xception Net，示意圖如下圖所示疏叨。

深度可分離卷積在執(zhí)行空間卷積的同時(shí)潘靖，保持通道（Channels）之間分離，然后按照深度方向（depth）進(jìn)行卷積考廉。用一個(gè)例子來(lái)說(shuō)明秘豹。

假設(shè)在16個(gè)輸入通道和32個(gè)輸出通道上，采用3x3卷積核進(jìn)行卷積計(jì)算昌粤，16個(gè)通道上采用3x3卷積核既绕，進(jìn)行32次重復(fù)操作，產(chǎn)生512（16x32）個(gè)特征圖（feature map）涮坐。然后凄贩，把這些特征圖合并得到一個(gè)輸出通道。重復(fù)執(zhí)行32次袱讹，最終得到了32個(gè)輸出通道疲扎。

對(duì)于同一個(gè)例子，采用深度可分離方式進(jìn)行卷積捷雕，采用3x3卷積核分別遍歷16個(gè)通道椒丧，最終得到16個(gè)特征圖。現(xiàn)在救巷，在進(jìn)行合并操作之前壶熏，先采用32個(gè)1x1卷積個(gè)來(lái)遍歷這16個(gè)特征圖，然后再把它們合并到一起浦译。采用可分離卷積棒假，有656（16x3x3 + 16x32x1x1）參數(shù)溯职，相反，傳統(tǒng)卷積操作有4608（16x32x3x3）參數(shù)帽哑，大大減少了參數(shù)的數(shù)目谜酒。

該例子是一個(gè)典型的深度可分離卷積的例子，其中采用的深度乘數(shù)（Depth ?Multiplier）為1妻枕，也是一種最常見(jiàn)的設(shè)置僻族。

這樣做是基于一個(gè)假設(shè)，即平面和深度方向信息可以解耦屡谐。Xception網(wǎng)絡(luò)證明了這個(gè)假設(shè)是有效的鹰贵。因?yàn)榭梢杂行У厥褂媚Ｐ偷膮?shù)，所以深度可分離的卷積可以用于可移動(dòng)設(shè)備上康嘉。

典型的模型如Xception Net，細(xì)節(jié)可閱讀論文：https://arxiv.org/abs/1610.02357

Squeeze-and-Excitation Convolution

Squeeze-and-Excitation 來(lái)源于ImageNet2017年的冠軍網(wǎng)絡(luò)SEnet籽前。在傳統(tǒng)的LeNet亭珍、Inception、ReseNet枝哄、DenseNet中肄梨，我們認(rèn)為所有的特征通道（Channel）都是同等重要的，那是否可以給每個(gè)通道賦予一個(gè)權(quán)重呢挠锥？SEnet就通過(guò)Squeeze-and-Excitation block來(lái)實(shí)現(xiàn)了這一想法众羡，當(dāng)然CNN的網(wǎng)絡(luò)結(jié)構(gòu)十分靈活，還有很多其他簡(jiǎn)單的實(shí)現(xiàn)方式蓖租，這里就不一一列舉粱侣。Squeeze-and-Excitation block（簡(jiǎn)稱SES 模塊）如下圖所示。

以圖中為例蓖宦，輸入X具有C1數(shù)目的通道齐婴，經(jīng)過(guò)一系列變換得到通道數(shù)為C2的SES模塊的輸入。數(shù)據(jù)進(jìn)入SES模塊分成兩路稠茂，如圖中柠偶，上面一路進(jìn)行squeeze-excitation，Scale操作睬关，下面一路進(jìn)行傳統(tǒng)的卷積操作诱担。在上面一路中，首先是Squeeze操作电爹，沿著通道C2方向蔫仙，采用Global Average pooling操作，把尺寸c2 X h X W的輸入pooling成一個(gè)c2 X 1 X 1的輸出藐不，即把每一個(gè)二維的特征圖轉(zhuǎn)換成一維的實(shí)數(shù)匀哄。Global Average pooling相當(dāng)于一個(gè)全局的感受野秦效，可以獲取h X W整張圖片信息，對(duì)應(yīng)的標(biāo)量輸出可以代表整張圖全局分布涎嚼。然后進(jìn)行Excitation操作阱州，借鑒RNN中的Gate機(jī)制，為每一個(gè)通道賦予一個(gè)可訓(xùn)練的權(quán)重W法梯，通過(guò)W的學(xué)習(xí)苔货，來(lái)建模通道間的重要性。最后是一個(gè)Sacle操作立哑，通過(guò)Reweight操作把學(xué)習(xí)的到權(quán)重得到傳統(tǒng)的卷積得到的通道輸出上夜惭，得到通道的輸出特征的重標(biāo)定操作。

這里只是對(duì)SES原理簡(jiǎn)單介紹铛绰，深入了解可以參考SEnet的論文：https://arxiv.org/abs/1709.01507

轉(zhuǎn)置（Transposed）卷積

（也稱為deconvolutions 或 fractionally stride卷積）

有些場(chǎng)景下使用deconvolution诈茧，這中說(shuō)法其實(shí)不太合適，因?yàn)樗皇且粋€(gè)deconvolution捂掰，真正的deconvolution應(yīng)該是卷積操作的逆過(guò)程敢会。雖然deconvolution確實(shí)存在，但它們?cè)谏疃葘W(xué)習(xí)領(lǐng)域并不常見(jiàn)这嚣。想象一下鸥昏，將圖像輸入到單個(gè)卷積層。現(xiàn)在獲得輸出姐帚，把輸出扔到一個(gè)黑盒子里吏垮，再恢復(fù)成的原始輸入圖像。這個(gè)黑盒子才叫做deconvolution罐旗。Deconvolution是卷積計(jì)算過(guò)程的逆計(jì)算過(guò)程膳汪。

轉(zhuǎn)置卷積則比較貼切，因?yàn)檗D(zhuǎn)置會(huì)產(chǎn)生相同的空間分辨率九秀。然而旅敷，真實(shí)執(zhí)行的數(shù)學(xué)運(yùn)算則稍有不同的。轉(zhuǎn)置卷積層一方面會(huì)執(zhí)行常規(guī)卷積颤霎，同時(shí)也會(huì)恢復(fù)其空間變換媳谁。

2維卷積無(wú)填充，步長(zhǎng)為2和卷積核為3

這一點(diǎn)可能會(huì)讓人覺(jué)得有點(diǎn)難以理解友酱，所以我們來(lái)看一個(gè)具體的例子晴音，如上圖。5x5的圖像被送入一個(gè)卷積層進(jìn)行卷及計(jì)算缔杉。步長(zhǎng)設(shè)置為2锤躁，沒(méi)有填充，卷積核為3x3或详。輸出為一個(gè)2x2圖像系羞。

如果我們想反轉(zhuǎn)這個(gè)過(guò)程郭计，我們需要進(jìn)行數(shù)學(xué)逆運(yùn)算，這樣每一個(gè)輸入的像素會(huì)產(chǎn)生9個(gè)輸出值椒振。之后昭伸，我們以步長(zhǎng)為2的速度遍歷輸出圖像。這將是一個(gè)deconvolution操作澎迎，如下圖所示庐杨。

沒(méi)有填充的2維卷積，步長(zhǎng)為2和卷積核為3

轉(zhuǎn)置卷積并不是這樣做的夹供。與上述操作相比灵份，唯一的共同之處在于，它保證輸出也將是5x5圖像哮洽，同時(shí)仍然執(zhí)行正常的卷積運(yùn)算填渠。為了實(shí)現(xiàn)這一點(diǎn)，我們需要在輸入圖像上進(jìn)行一些漂亮的填充鸟辅。

你可以想象揭蜒，這一步不會(huì)重復(fù)上面的過(guò)程。至少剔桨，數(shù)值上不會(huì)宏粤。它只是通過(guò)一個(gè)卷積操作來(lái)重構(gòu)卷積操作的輸入诽凌。這并不是數(shù)學(xué)上的逆操作，只是一種Encoder-Decoder架構(gòu)具垫，但仍然非常有用欺冀。通過(guò)這種方式树绩，我們可以通過(guò)一個(gè)卷積來(lái)放大一張圖片，而不需要進(jìn)行兩個(gè)單獨(dú)的操作隐轩。