深度殘差網(wǎng)絡(luò)（Deep Residual Network夸溶，ResNet）的提出是CNN圖像史上的里程碑事件顽频。ResNet在ILSVRC和COCO 2015上的取得了五項(xiàng)第一毙沾，ResNet的作者何凱明也因此摘得CVPR2016最佳論文獎(jiǎng)（鏈接：https://arxiv.org/pdf/1512.03385.pdf）

1-ImageNet分類Top5誤差

1 深度網(wǎng)絡(luò)的退化問(wèn)題

2-20層與56層網(wǎng)絡(luò)在CIFAR-10上的誤差

2 殘差學(xué)習(xí)

2.1 殘差塊
深度網(wǎng)絡(luò)的退化問(wèn)題至少說(shuō)明深度網(wǎng)絡(luò)不容易訓(xùn)練罩扇。但是我們考慮這樣一個(gè)事實(shí)：現(xiàn)在你有一個(gè)淺層網(wǎng)絡(luò)，你想通過(guò)向上堆積新層來(lái)建立深層網(wǎng)絡(luò)，一個(gè)極端情況是這些增加的層什么也不學(xué)習(xí)喂饥，僅僅復(fù)制淺層網(wǎng)絡(luò)的特征消约，即這樣新層是恒等映射（Identity mapping）。在這種情況下员帮，深層網(wǎng)絡(luò)應(yīng)該至少和淺層網(wǎng)絡(luò)性能一樣或粮，也不應(yīng)該出現(xiàn)退化現(xiàn)象。好吧捞高，你不得不承認(rèn)肯定是目前的訓(xùn)練方法有問(wèn)題氯材，才使得深層網(wǎng)絡(luò)很難去找到一個(gè)好的參數(shù)。
這個(gè)有趣的假設(shè)讓何博士靈感爆發(fā)硝岗，他提出了殘差學(xué)習(xí)來(lái)解決退化問(wèn)題氢哮。對(duì)于一個(gè)堆積層結(jié)構(gòu)（幾層堆積而成）當(dāng)輸入為x時(shí)其學(xué)習(xí)到的特征記為H(x)，現(xiàn)在我們希望其可以學(xué)習(xí)到殘差F(x) = H(x) - x型檀，這樣其實(shí)原始的學(xué)習(xí)特征是F(x) + x冗尤。之所以這樣是因?yàn)闅埐顚W(xué)習(xí)相比原始特征直接學(xué)習(xí)更容易。當(dāng)殘差為0時(shí)贱除，此時(shí)堆積層在輸入特征基礎(chǔ)上學(xué)習(xí)到新的特征生闲，從而擁有更好的性能媳溺。殘差學(xué)習(xí)的結(jié)構(gòu)如圖三所示月幌，這有點(diǎn)類似于電路中的“短路”，所以是一種短路連接（shortcut connection）悬蔽。

3-殘差學(xué)習(xí)單元

4-殘差塊

殘差塊數(shù)學(xué)表示

2.2 殘差網(wǎng)絡(luò)
殘差網(wǎng)絡(luò)的搭建分為兩步
1：使用VGG公式搭建Plain VGG
2：在Plain VGG的卷積網(wǎng)絡(luò)之前插入Identity Mapping祥国，注意需要升維或者降維的時(shí)候加入1*1卷積
在實(shí)現(xiàn)過(guò)程中，一般是直接stack殘差塊的方式晾腔。

def resnet_v1(x):
    x = Conv2D(kernel_size=(3,3), filters=16, strides=1, padding='same', activation='relu')(x)
    x = res_block_v1(x, 16, 16)
    x = res_block_v1(x, 16, 32)
    x = Flatten()(x)
    outputs = Dense(10, activation='softmax', kernel_initializer='he_normal')(x)
    return outputs

2.3 為什么叫殘差網(wǎng)絡(luò)
在統(tǒng)計(jì)學(xué)中舌稀，殘差和誤差是兩個(gè)很容易混淆的概念啊犬。誤差是衡量觀測(cè)值（模型的輸入）和真實(shí)值之間的差距，殘差是指預(yù)測(cè)值（模型的輸出）和觀測(cè)值之間的差距壁查。對(duì)于殘差網(wǎng)絡(luò)的命名原因椒惨，作者給出的解釋是，網(wǎng)絡(luò)的一層通吵弊铮可以看做 y=H(x) 康谆，而殘差網(wǎng)絡(luò)的一個(gè)殘差塊可以表示為 H(x) = F(x) + x，也就是 F(x) = H(x) -x嫉到，在單位映射中沃暗，y = x 便是觀測(cè)值，而 H(x) 是預(yù)測(cè)值何恶，所以 F(x) 便對(duì)應(yīng)著殘差孽锥，因此叫做殘差網(wǎng)絡(luò)。

3 殘差網(wǎng)絡(luò)的背后原理

殘差塊一個(gè)更通用的表示方式是

激活函數(shù)在殘差網(wǎng)絡(luò)中的應(yīng)用

def res_block_v2(x, input_filter, output_filter):
    res_x = BatchNormalization()(x)
    res_x = Activation('relu')(res_x)
    res_x = Conv2D(kernel_size=(3,3), filters=output_filter, strides=1, padding='same')(res_x)
    res_x = BatchNormalization()(res_x)
    res_x = Activation('relu')(res_x)
    res_x = Conv2D(kernel_size=(3,3), filters=output_filter, strides=1, padding='same')(res_x)
    if input_filter == output_filter:
        identity = x
    else: #需要升維或者降維
        identity = Conv2D(kernel_size=(1,1), filters=output_filter, strides=1, padding='same')(x)
    output= keras.layers.add([identity, res_x])
    return output

def resnet_v2(x):
    x = Conv2D(kernel_size=(3,3), filters=16 , strides=1, padding='same', activation='relu')(x)
    x = res_block_v2(x, 16, 16)
    x = res_block_v2(x, 16, 32)
    x = BatchNormalization()(x)
    y = Flatten()(x)
    outputs = Dense(10, activation='softmax', kernel_initializer='he_normal')(y)
    return outputs

4 殘差網(wǎng)絡(luò)與模型集成

殘差網(wǎng)絡(luò)展開成二叉樹