論文中提出了一個(gè)新穎的網(wǎng)絡(luò)Spatial CNN，該網(wǎng)絡(luò)在圖片的行和列上做信息傳遞排苍，可以有效的識(shí)別強(qiáng)先驗(yàn)結(jié)構(gòu)的目標(biāo)沦寂。同時(shí)論文提出了一個(gè)大型的車(chē)道檢測(cè)數(shù)據(jù)集UCLane，用于進(jìn)一步推動(dòng)自動(dòng)駕駛發(fā)展淘衙。
offical github：https://github.com/XingangPan/SCNN
paper：Spatial As Deep: Spatial CNN for Traffic Scene Understanding
模型
本文提出的SCNN算法將傳統(tǒng)的卷積層接層(layer-by-layer)的連接形式的轉(zhuǎn)為feature map中片連片卷積(slice-by-slice)的形式传藏，使得圖中像素行和列之間能夠傳遞信息。這特別適用于檢測(cè)長(zhǎng)距離連續(xù)形狀的目標(biāo)或大型目標(biāo)，有著極強(qiáng)的空間關(guān)系但是外觀(guān)線(xiàn)索較差的目標(biāo)毯侦，例如交通線(xiàn)西壮，電線(xiàn)桿和墻。
傳統(tǒng)的CNN不能有效處理具有長(zhǎng)距離連續(xù)的形狀(尤其是在遮擋的情況下)叫惊。MRF/CRF+CNN的結(jié)構(gòu)使用一個(gè)大卷積核來(lái)進(jìn)行信息傳遞，但是會(huì)導(dǎo)致計(jì)算效率低下做修，并且大卷積核很難訓(xùn)練霍狰，如下圖(a)所示；而SCNN分別在列方向與行方向使用寬卷積做了循環(huán)的信息傳遞饰及，這樣就增強(qiáng)了空間信息進(jìn)而對(duì)于識(shí)別結(jié)構(gòu)化對(duì)象特別有效蔗坯，如下圖(b)所示。
D燎含、U宾濒、R、L是四個(gè)信息傳遞模塊屏箍。D绘梦、U沿著H方向做了從上到下和從下到上的信息傳遞；R赴魁、L沿著W方向做了從左到右和從右到左的信息傳遞卸奉。信息傳遞的公式如下所示，f是relu函數(shù)颖御，每一個(gè)模塊的卷積函數(shù)都共享同一個(gè)卷積核榄棵。
簡(jiǎn)單的舉一個(gè)例子，假設(shè)x0為h方向上的第一片特征潘拱，x1為第二片疹鳄，那么x0到x1的信息傳遞過(guò)程就是x1=x1+relu(conv2D(x0))，后面的操作就可以這樣循環(huán)下去芦岂。這個(gè)操作類(lèi)似于循環(huán)的殘差操作瘪弓，既能夠加快計(jì)算效率又能傳遞長(zhǎng)信息。
在信息傳遞(Message Pass)過(guò)程中盔腔，MRF/CRF中每個(gè)像素點(diǎn)會(huì)直接接收其他所有像素點(diǎn)的信息(大卷積核實(shí)現(xiàn))杠茬，這其中有許多冗余計(jì)算；而SCNN在信息傳遞的時(shí)候并不是獲取全局元素弛随，而是順序傳遞瓢喉，由此簡(jiǎn)化了信息傳遞的結(jié)構(gòu)加快了模型的運(yùn)算效率，如下圖所示：
在進(jìn)行車(chē)道檢測(cè)時(shí)舀透，在上述模型的基礎(chǔ)上栓票，在輸出結(jié)果上添加了一個(gè)分支網(wǎng)絡(luò)。這個(gè)分支網(wǎng)絡(luò)能夠直接區(qū)分不同車(chē)道標(biāo)記，這樣魯棒性更好走贪。共有4中類(lèi)型的車(chē)道線(xiàn)佛猛。輸出的概率圖經(jīng)過(guò)這個(gè)分支網(wǎng)絡(luò)預(yù)測(cè)車(chē)道標(biāo)記是否存在。
對(duì)于存在值大于0.5的車(chē)道標(biāo)記，在對(duì)應(yīng)的概率圖每20行搜索以獲得最高的響應(yīng)位置，然后通過(guò)三次樣條函數(shù)連接這些點(diǎn)(cubic splines)郭赐，就得到了最終的預(yù)測(cè)鳞陨。
這是該算法在車(chē)道分割上達(dá)成的效果，使用了UCLane數(shù)據(jù)庫(kù)：
這是該算法在交通場(chǎng)景分割上達(dá)成的效果，使用了cityscapes數(shù)據(jù)庫(kù)：
模型實(shí)現(xiàn)
這個(gè)實(shí)現(xiàn)與官方實(shí)現(xiàn)并不是完全一致，僅用來(lái)理解SCNN的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)由于數(shù)據(jù)集較大也沒(méi)有進(jìn)行訓(xùn)練測(cè)試边臼。想要訓(xùn)練使用這個(gè)模型可以下載官方的torch版本或者tf版本。
首先我們將信息傳遞的過(guò)程封裝成一個(gè)keras層假消，每個(gè)MessagePass層沿一個(gè)軸做兩個(gè)方向的信息傳遞柠并，如下所示：
class MessagePass(Layer):
def __init__(self, output_dim,
axis,
**kwargs):
if 'input_shape' not in kwargs and 'input_dim' in kwargs:
kwargs['input_shape'] = (kwargs.pop('input_dim'),)
super(MessagePass, self).__init__(**kwargs)
self.output_dim = output_dim
self.axis = axis
def build(self, input_shape):
assert self.axis in [1, 2]
assert input_shape[-1] == self.output_dim
if self.axis == 1:
kernel_shape = [1, 9, input_shape[-1], self.output_dim]
if self.axis == 2:
kernel_shape = [9, 1, input_shape[-1], self.output_dim]
self.w1 = self.add_weight(name='one',
shape=kernel_shape,
initializer='glorot_uniform',
trainable=True)
self.w2 = self.add_weight(name='two',
shape=kernel_shape,
initializer='glorot_uniform',
trainable=True)
super(MessagePass, self).build(input_shape)
def call(self, inputs, **kwargs):
h, w = int(inputs.shape[1]), int(inputs.shape[2])
if self.axis == 1:
n = h
if self.axis == 2:
n = w
feature_slice_old = []
feature_slice_new = []
for i in range(n):
if self.axis == 1:
cur_slice = K.expand_dims(inputs[:, i, :, :], axis=1)
else:
cur_slice = K.expand_dims(inputs[:, :, i, :], axis=2)
feature_slice_old.append(cur_slice)
if i == 0:
feature_slice_new.append(cur_slice)
else:
tmp = K.relu(K.conv2d(feature_slice_old[i - 1], self.w1, padding='same'))
tmp = tmp + feature_slice_old[i]
feature_slice_new.append(tmp)
feature_slice_old = feature_slice_new
feature_slice_new = []
for i in reversed(range(n)):
if self.axis == 1:
cur_slice = K.expand_dims(inputs[:, i, :, :], axis=1)
else:
cur_slice = K.expand_dims(inputs[:, :, i, :], axis=2)
feature_slice_old.append(cur_slice)
if i == (n - 1):
feature_slice_new.append(cur_slice)
else:
tmp = K.relu(K.conv2d(feature_slice_old[i - 1], self.w2, padding='same'))
tmp = tmp + feature_slice_old[i]
feature_slice_new.append(tmp)
output = K.stack(feature_slice_new, axis=self.axis)
output = K.squeeze(output, axis=self.axis + 1)
return output
def compute_output_shape(self, input_shape):
return (input_shape[0], input_shape[1], input_shape[2], self.output_dim)
我們選擇DenseNet 121作為backbone網(wǎng)絡(luò)，選取8倍縮小的那一個(gè)特征圖作為輸出特征富拗，然后為這個(gè)特征接上信息傳遞層臼予，如下所示：
class SCNN:
def __init__(self, height, width, classes=5):
self.classes = classes
self.height = height
self.width = width
def backbone(self):
model = DenseNet121(
input_shape=(self.height, self.width, 3),
weights=None,
include_top=False)
out_conv = model.get_layer('pool3_conv').output
return model.input, out_conv
def build(self):
inputs, conv_out = self.backbone()
conv_out = Conv2D(128, (1, 1), padding='same')(conv_out)
conv_out = BatchNormalization()(conv_out)
conv_out = Activation('relu')(conv_out)
conv_out = MessagePass(128, 1)(conv_out)
conv_out = MessagePass(128, 2)(conv_out)
conv_out = Conv2D(self.classes, (1, 1), activation='softmax', padding='same')(conv_out)
prob_output = UpSampling2D((8, 8))(conv_out)
# add lane existence prediction branch
x = AveragePooling2D(strides=2)(conv_out)
x = Flatten()(x)
x = Dense(128, activation='relu')(x)
existence_output = Dense(4, activation='sigmoid')(x)
model = Model(inputs=inputs, outputs=[prob_output, existence_output])
opt = SGD(lr=0.01, momentum=0.9, decay=0.0001)
model.compile(
optimizer=opt,
loss=['categorical_crossentropy', 'binary_crossentropy'])
return model
if __name__ == '__main__':
model = SCNN(288, 800).build()
print(model.summary())
