1迁匠、深度可分離卷積

標(biāo)準(zhǔn)卷積在卷積時(shí)剩瓶，同時(shí)考慮了圖像的區(qū)域與通道信息，那么為什么不能分開(kāi)考慮區(qū)域與通道呢城丧？

基于此想法延曙，誕生了深度可分離卷積（Depthwise Separable Convolution），將卷積的過(guò)程分為逐通道卷積與逐點(diǎn)1×1卷積兩步亡哄。

1.1 逐通道卷積

• 卷積核參數(shù)量少枝缔。卷積核參數(shù)量為Ci×3×3，遠(yuǎn)少于標(biāo)準(zhǔn)卷積Ci×3×3×Co的數(shù)量蚊惯；

• 通道之間相互獨(dú)立魂仍，沒(méi)有各通道間的特征融合拐辽，這也是逐通道卷積的核心思想，輸出特征的每一個(gè)點(diǎn)只對(duì)應(yīng)輸入特征一個(gè)通道上的3×3大小的特征擦酌，而不是標(biāo)準(zhǔn)卷積中Ci×3×3大小菠劝；

• 由于只在通道間進(jìn)行卷積赊舶，導(dǎo)致輸入與輸出特征圖的通道數(shù)相同，無(wú)法改變通道數(shù)赶诊。

1.2 1x1卷積

由于逐通道卷積通道間缺少特征的融合笼平，并且通道數(shù)無(wú)法改變，因此后續(xù)還需要繼續(xù)連接一個(gè)逐點(diǎn)的1×1的卷積舔痪，有兩個(gè)作用：

• 一方面可以融合不同通道間的特征寓调；
• 同時(shí)也可以改變特征圖的通道數(shù)。

1.3 參數(shù)量計(jì)算

圖a的標(biāo)準(zhǔn)卷積锄码，使用一個(gè)和輸入數(shù)據(jù)通道數(shù)相同的卷積核執(zhí)行逐個(gè)通道卷積后求和獲得一個(gè)通道的輸出夺英，計(jì)算量為，其中代表輸入的通道數(shù)滋捶，為卷積核的寬和高痛悯，一個(gè)卷積核處理輸入數(shù)據(jù)時(shí)的計(jì)算量為： ，其中為輸入的寬和高重窟，如果在某一個(gè)卷積層使用個(gè)卷積核载萌，那么這一卷積層的計(jì)算量為： 。

圖b巡扇、c是深度可分離卷積扭仁，首先使用一組通道數(shù)為1的卷積核，每次只處理一個(gè)輸入通道厅翔，并且這一組卷積核的個(gè)數(shù)是和輸入通道數(shù)相同的乖坠。執(zhí)行完上面的深度卷積后，再使用通道數(shù)為輸入數(shù)據(jù)通道數(shù)的大小為1x1的卷積來(lái)組合之前輸出的特征圖知给，將最終輸出通道數(shù)變?yōu)橐粋€(gè)指定的數(shù)量瓤帚。

• 理論計(jì)算

一組和輸入通道數(shù)相同的2D卷積核（通道數(shù)為1，即深度卷積或者說(shuō)分組卷積）的運(yùn)算量為： 涩赢；

而3D（標(biāo)準(zhǔn)卷積）的卷積核1x1的運(yùn)算量為： 戈次，因此這種組合方式的總計(jì)算量為：

;

因此，深度可分離卷積相比于標(biāo)準(zhǔn)卷積計(jì)算量的比例為：

• 舉例計(jì)算

假設(shè)輸入特征圖尺寸為112x112筒扒，輸入通道數(shù)64怯邪，卷積核大小3x3，卷積核個(gè)數(shù)128花墩。

標(biāo)準(zhǔn)卷積計(jì)算：3 * 3 * 64 * 112 * 112 * 128 = 924844032

深度可分離卷積計(jì)算：3 * 3 * 64 * 112 * 112 + 1 * 1 * 64 * 112 * 112 * 128 = 109985792

二者的比例為：

可以看到將一個(gè)標(biāo)準(zhǔn)卷積換成深度可分離卷積之后模型的計(jì)算量減少了9倍悬秉。

2澄步、網(wǎng)絡(luò)結(jié)構(gòu)

特點(diǎn)：

• 除了第一層為標(biāo)準(zhǔn)卷積外都采用深度可分離卷積；
• 最后一層全連接沒(méi)有激活函數(shù)直接送入到 Softmax 層和泌，其他的標(biāo)準(zhǔn)卷積和深度可分離卷積都接入BN和ReLU村缸；
• 在深度可分離卷積的兩層后面都要引入 BN 和 ReLU，

• 第一層標(biāo)準(zhǔn)卷積和深度可分離卷積通過(guò)stride=2的卷積實(shí)現(xiàn)下采樣武氓；
• 最后一個(gè)平均池化層將空間分辨率減小為1梯皿；
• 如果將Depthwise卷積層和Pointwise卷積層算成不同層的話(huà)，MobileNet V1一共有28層县恕。

MobileNet網(wǎng)絡(luò)的有效性：

• 僅僅通過(guò)上文中減少網(wǎng)絡(luò)乘加操作對(duì)于網(wǎng)絡(luò)加速是不夠的东羹，同時(shí)要確保這些乘加操作能夠高效實(shí)現(xiàn)也很重要。例如忠烛，非結(jié)構(gòu)化的稀疏矩陣操作通常不比密集矩陣運(yùn)算快属提，除非是非常稀疏的矩陣。

• MobileNet V1的模型結(jié)構(gòu)幾乎將全部的計(jì)算復(fù)雜度放到了1x1卷積中美尸。

可以看到冤议，95% 的計(jì)算時(shí)間都花費(fèi)在 1×1 卷積上，75% 的參數(shù)量也都集中在 1×1 卷積層火惊，其余的參數(shù)則主要來(lái)自全連接層求类。

• 1 x 1卷積 、3 x 3卷積屹耐、5 x 5卷積都可以通過(guò)高度優(yōu)化的通用矩陣乘法（GEMM）來(lái)實(shí)現(xiàn)尸疆，但是3x3卷積和5x5卷積等需要使用im2col在內(nèi)存中對(duì)數(shù)據(jù)進(jìn)行重排，以將其映射到GEMM可以使用的方式惶岭。而1x1卷積不需要在內(nèi)存中重排就可以直接被GEMM（最優(yōu)化的數(shù)值線(xiàn)性代數(shù)算法之一）實(shí)現(xiàn)寿弱。MobileNet絕大部分使用1x1卷積，因此可以充分利用GEMM算法按灶，來(lái)實(shí)現(xiàn)高效計(jì)算症革，加速網(wǎng)絡(luò)。

3鸯旁、寬度乘子：更瘦的模型

盡管基本的 MobileNet 結(jié)構(gòu)已經(jīng)非常小噪矛、時(shí)延很低，但具體的使用場(chǎng)景可能需要模型更小更快铺罢。為了構(gòu)建這些計(jì)算量更少更小的模型艇挨，作者引入了一個(gè)簡(jiǎn)單的參數(shù)，稱(chēng)之為寬度乘子（width multiplier）韭赘，它的作用是統(tǒng)一讓網(wǎng)絡(luò)中的每一層都更瘦缩滨。

針對(duì)某一層網(wǎng)絡(luò)和，輸入通道數(shù)從變成，輸出通道數(shù)從變成脉漏，這樣這一層的計(jì)算代價(jià)就變?yōu)椋?br>

寬度乘子可以以大致的速率減少計(jì)算代價(jià)和參數(shù)量苞冯，可以用來(lái)設(shè)計(jì)一個(gè)更小的網(wǎng)絡(luò)來(lái)平衡準(zhǔn)確率、時(shí)延和模型大小這三者侧巨。

4舅锄、分辨率乘子：減弱表示能力

另一個(gè)減少計(jì)算代價(jià)的超參數(shù)是分辨率乘子（resolution multiplier）
將它應(yīng)用在輸入圖像上，然后每一層的表示能力都相應(yīng)減少刃泡。實(shí)際中巧娱，作者是通過(guò)設(shè)置輸入分辨率來(lái)確定這個(gè)參數(shù)的。

寬度乘子和分辨率乘子結(jié)合在一起烘贴，某一層網(wǎng)絡(luò)的計(jì)算代價(jià)就變?yōu)榱耍?br>

分辨率乘子可以以的速率減少計(jì)算代價(jià)。下面的例子可以很好地展示深度可分離卷積以及兩個(gè)超參數(shù)是怎么減少網(wǎng)絡(luò)的計(jì)算代價(jià)和參數(shù)量的撮胧。

5桨踪、實(shí)驗(yàn)結(jié)果

采用深度卷積的網(wǎng)絡(luò)相對(duì)于標(biāo)準(zhǔn)卷積節(jié)省了巨大的計(jì)算代價(jià)和參數(shù)量，但準(zhǔn)確率卻僅僅降低了 1%芹啥。

相較于移除表一中特征圖大小為 14×14×512 的五層網(wǎng)絡(luò)锻离，寬度因子的更瘦網(wǎng)絡(luò)比更淺的網(wǎng)絡(luò)準(zhǔn)確率高出 3 個(gè)百分點(diǎn)。

隨著寬度因子的降低墓怀，模型的準(zhǔn)確率平滑降低汽纠，直到值太小 時(shí)才有顯著下降。

隨著分辨率因子的降低傀履，模型的準(zhǔn)確率始終保持平滑降低虱朵。

相較于 GoogleNet 和 VGG，MobileNet 的準(zhǔn)確率接近于 VGG 钓账，超越了 GoogleNet碴犬，但模型大小的計(jì)算代價(jià)都小了很多。

可以使用PyTorch來(lái)搭建一個(gè)MobileNet V1網(wǎng)絡(luò)梆暮。

6服协、代碼

class MobileNetV1(nn.Module):
    def __init__(self):
        super(MobileNet, self).__init__()

        def conv_bn(dim_in, dim_out, stride):
            return nn.Sequential(
                nn.Conv2d(dim_in, dim_out, 3, stride, 1, bias=False),
                nn.BatchNorm2d(dim_out),
                nn.ReLU(inplace=True)
            )

        def conv_dw(dim_in, dim_out, stride):
            return nn.Sequential(
                nn.Conv2d(dim_in, dim_in, 3, stride, 1,
                             groups= dim_in, bias=False),
                nn.BatchNorm2d(dim_in),
                nn.ReLU(inplace=True),
                nn.Conv2d(dim_in, dim_out, 1, 1, 0, bias=False),
                nn.BatchNorm2d(dim_out),
                nn.ReLU(inplace=True),
            )
        self.model = nn.Sequential(
            conv_bn(  3,  32, 2),
            conv_dw( 32,  64, 1),
            conv_dw( 64, 128, 2),
            conv_dw(128, 128, 1),
            conv_dw(128, 256, 2),
            conv_dw(256, 256, 1),
            conv_dw(256, 512, 2),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 512, 1),
            conv_dw(512, 1024, 2),
            conv_dw(1024, 1024, 1),
            nn.AvgPool2d(7),
        )
        self.fc = nn.Linear(1024, 1000)

    def forward(self, x):
        x = self.model(x)
        x = x.view(-1, 1024)
        x = self.fc(x)
        return x

總體上，MobileNet v1利用深度可分離的結(jié)構(gòu)犧牲了較小的精度啦粹，帶來(lái)了計(jì)算量與網(wǎng)絡(luò)層參數(shù)的大幅降低偿荷，從而也減小了模型的大小，方便應(yīng)用于移動(dòng)端唠椭。

但MobileNet v1也有其自身結(jié)構(gòu)帶來(lái)的缺陷跳纳，主要有以下兩點(diǎn)：

1. 模型結(jié)構(gòu)較為復(fù)古，采用了與VGGNet類(lèi)似的卷積簡(jiǎn)單堆疊泪蔫，沒(méi)有采用殘差棒旗、特征融合等先進(jìn)的結(jié)構(gòu)。

2. 深度分解卷積中各通道相互獨(dú)立，卷積核維度較小铣揉，輸出特征中只有較少的輸入特征饶深，再加上ReLU激活函數(shù)，使得輸出很容易變?yōu)?逛拱，難以恢復(fù)正常訓(xùn)練敌厘，因此在訓(xùn)練時(shí)部分卷積核容易被訓(xùn)練廢掉。