- 論文地址：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
- 論文代碼： [github-Tensorflow]
(https://github.com/tensorflow/models/tree/master/research/deeplab)
概述
在語(yǔ)義分割任務(wù)中谊娇，spatial pyramid pooling module（SPP）可以捕獲更多尺度信息忌卤，encoder-decoder結(jié)構(gòu)可以更好恢復(fù)物體的邊緣信息韩脑。
作者主要工作：
- 原DeepLabv3當(dāng)作
encoder衩藤，添加decoder得到新的模型（DeepLabv3+）熙掺。
如下圖所示喧枷，作者把spatial pyramid pooling module和Encoder-Decoder融合成一體：
- 把
Xception和Depthwise separable convolution應(yīng)用到Atrous Spatial Pyramid Pooling和decoder中诗鸭。
膨脹卷積
v1、v2中已詳細(xì)說(shuō)明对室，略....
深度可分離卷積（Depthwise separable convolution）
depthwise separable convolution=depthwise convolution+pointwise convolution
- depthwise convolution是在每個(gè)通道上獨(dú)自的進(jìn)行空間卷積
- pointwise convolution是利用1x1卷積核組合前面depthwise convolution得到的特征
- tensorflow支持atrous版的depthwise convolution
如下圖所示：
為什么說(shuō)要用它呢模燥？
因?yàn)樗軌?code>保持性能的同時(shí)大大減少計(jì)算量，舉個(gè)例子：
假若輸入2通道的特征掩宜，輸出3通道特征蔫骂，卷積核大小為3x3
正常版卷積：
參數(shù)量=2x(3x3)x3=54
深度可分離卷積：
參數(shù)量=2x3x3+2x1x1x3=24
注意：第一部分為depthwise convolution（2x3x3）,第二部分為
pointwise convolution（2x1x1x3）
網(wǎng)絡(luò)整體結(jié)構(gòu)
- Encoder
Encoder就是原來(lái)的DeepLabv3，注意點(diǎn)有2點(diǎn)：
- 輸入尺寸與輸出尺寸比（output stride = 16）牺汤，最后一個(gè)stage的膨脹率rate為2
- Atrous Spatial Pyramid Pooling module（ASPP）有四個(gè)不同的rate辽旋，額外一個(gè)全局平均池化
- Decoder
明顯看到先把encoder的結(jié)果上采樣4倍，然后與resnet中下采樣前的Conv2特征concat一起檐迟，再進(jìn)行3x3的卷積补胚，最后上采樣4倍得到最終結(jié)果
需要注意點(diǎn)：
- 融合低層次信息前，先進(jìn)行1x1的卷積锅减，目的是降通道（例如有512個(gè)通道糖儡，而encoder結(jié)果只有256個(gè)通道）
主干網(wǎng)絡(luò)
作者在MSRA基礎(chǔ)上作了些修改:
- 更深的Xception結(jié)構(gòu)，并不修改entry flow network結(jié)構(gòu)
- 所有的max pooling結(jié)構(gòu)被stride=2的深度可分離卷積代替
-
每個(gè)3x3的depthwise convolution都跟BN和Relu
改進(jìn)后的結(jié)構(gòu)如下：
實(shí)驗(yàn)
- decoder結(jié)構(gòu)上的探索
- 訓(xùn)練時(shí)
上采樣輸出結(jié)果比下采樣真值提升1.2% -
低層次信息通道數(shù)多少個(gè)比較合適（1x1卷積的通道數(shù)）
-
哪個(gè)底層的細(xì)節(jié)信息較好&3x3的卷積如何構(gòu)成
- 作者驗(yàn)證了U-Net和SegNet類似的解碼結(jié)構(gòu)在此網(wǎng)絡(luò)上并沒有多少提升
-
Backbone為Resnet101的結(jié)果
-
Backbone為Xception的結(jié)果
-
在Cityscapes數(shù)據(jù)集上
