殘差

殘差在數(shù)理統(tǒng)計(jì)中是指實(shí)際觀察值與估計(jì)值（擬合值）之間的差跪妥。在集成學(xué)習(xí)中可以通過基模型擬合殘差，使得集成的模型變得更精確；在深度學(xué)習(xí)中也有人利用layer去擬合殘差將深度神經(jīng)網(wǎng)絡(luò)的性能提高變強(qiáng)。這里筆者選了Gradient Boosting和Resnet兩個(gè)算法試圖讓大家更感性的認(rèn)識到擬合殘差的作用機(jī)理瘫辩。

Gradient Boosting

下面的式子時(shí)Gradient Boosting的損失函數(shù)，其中赡矢。

這里的意味著最后通過 Gradient Boosting學(xué)習(xí)出來的模型杭朱，而這個(gè)最終的模型怎么來呢，參照下方代碼大致可以總結(jié)為三部：

• 訓(xùn)練一個(gè)基學(xué)習(xí)器Tree_1（這里采用的是決策樹）去擬合data和label吹散。
• 接著訓(xùn)練一個(gè)基學(xué)習(xí)器Tree_2弧械，輸入時(shí)data，輸出是label和上一個(gè)基學(xué)習(xí)器Tree_1的預(yù)測值的差值(殘差)空民，這一步總結(jié)下來就是使用一個(gè)基學(xué)習(xí)器學(xué)習(xí)殘差刃唐。
• 最后把所有的基學(xué)習(xí)器的結(jié)果相加，做最終決策界轩。
  下方代碼僅僅做了3步的殘差擬合画饥，最后一步就是體現(xiàn)出集成學(xué)習(xí)的特征，將多個(gè)基學(xué)習(xí)器組合成一個(gè)組合模型浊猾。

from sklearn.tree import DecisionTreeRegressor
tree_reg1 = DecisionTreeRegressor(max_depth=2)
tree_reg1.fit(X, y)

y2 = y - tree_reg1.predict(X)
tree_reg2 = DecisionTreeRegressor(max_depth=2)
tree_reg2.fit(X, y2)

y3 = y2 - tree_reg2.predict(X)
tree_reg3 = DecisionTreeRegressor(max_depth=2)
tree_reg3.fit(X, y3)

y_pred = sum(tree.predict(X_new) for tree in (tree_reg1, tree_reg2, tree_reg3))

其實(shí)上方代碼就等價(jià)于調(diào)用sklearn中的GradientBoostingRegressor這個(gè)集成學(xué)習(xí)API,同時(shí)將基學(xué)習(xí)器的個(gè)數(shù)n_estimators設(shè)為3抖甘。

from sklearn.ensemble import GradientBoostingRegressor
gbrt = GradientBoostingRegressor(max_depth=2, n_estimators=3, learning_rate=1.0)
gbrt.fit(X, y)

形象的理解Gradient Boosting，其的過程就像射箭多次射向同一個(gè)箭靶葫慎，上一次射的偏右衔彻，下一箭就會盡量偏左一點(diǎn)薇宠，就這樣慢慢調(diào)整射箭的位置，使得箭的位置和靶心的偏差變小艰额，最終射到靶心澄港。這也是boosting的集成方式會減小模型bias的原因。
接下來我們再來了解一下最近在深度學(xué)習(xí)領(lǐng)域中的比較火的Residual Block柄沮。

Resnet

Resnet是2015年何凱明大神提出來的一個(gè)深度CNN模型回梧，主要解決了隨著神經(jīng)網(wǎng)絡(luò)層數(shù)變多，擬合效果反而變差的問題祖搓。而Residual Block是Resnet中一個(gè)最重要的模塊狱意，Residual Block的做法是在一些網(wǎng)絡(luò)層的輸入和輸出之間添加了一個(gè)快捷連接，這里的快捷連接默認(rèn)為恒等映射（indentity）棕硫，說白了就是直接將原始輸入不做任何改變和輸出做加和髓涯，其公式如下：

如下圖所示，x 表示residual block的輸入哈扮， H(x)表示residual block的輸出，而F(x)代表著殘差蚓再，把公式簡單變換一下：

就變成了通過神經(jīng)網(wǎng)絡(luò)去擬合輸入與輸出之間的殘差F(x)滑肉。加了這個(gè)模塊之后，神經(jīng)網(wǎng)絡(luò)的層數(shù)可以構(gòu)建得越來越深摘仅，而且不會出現(xiàn)效果變差的現(xiàn)象靶庙，反之該模型在imagenet這個(gè)任務(wù)上再進(jìn)一步，拿下了2015年的冠軍娃属。這充分說明使用residual block擬合殘差使得深度學(xué)習(xí)模型變得更加強(qiáng)大六荒。

residual_block

• 輸入x，
• 將x通過三層convolutiaon層之后得到輸出m矾端，
• 將原始輸入x和輸出m加和掏击。

就得到了residual block的總輸出，整個(gè)過程就是通過三層convolutiaon層去擬合residual block輸出與輸出的殘差m秩铆。

from keras.layers import Conv2D
from keras.layers import  add
def residual_block(x, f=32, r=4):
    """
    residual block
    :param x: the input tensor
    :param f: the filter numbers
    :param r:
    :return:
    """
    m = conv2d(x, f // r, k=1)
    m = conv2d(m, f // r, k=3)
    m = conv2d(m, f, k=1)
    return add([x, m])

在resnet中殘差的思想就是去掉相同的主體部分砚亭，從而突出微小的變化，讓模型集中注意去學(xué)習(xí)一些這些微小的變化部分殴玛。這和我們之前討論的Gradient Boosting中使用一個(gè)基學(xué)習(xí)器去學(xué)習(xí)殘差思想幾乎一樣捅膘。

結(jié)語

至此，我們了解到了集成學(xué)習(xí)和深度學(xué)習(xí)中如何使用模型擬合殘差去加強(qiáng)模型的性能滚粟。使用模型擬合殘差的過程寻仗，還可以理解成模型在 Loss 函數(shù)上沿著梯度下降的方向前進(jìn)，每增加一個(gè)基學(xué)習(xí)器就對應(yīng)著梯度下降的一次更新凡壤。如下圖中署尤，每一個(gè)紅點(diǎn)就代表著一個(gè)當(dāng)前時(shí)刻的集成模型蔬咬，最終的模型對應(yīng)于loss函數(shù)圖像中最低的那個(gè)點(diǎn)。

Loss

參考：
https://blog.csdn.net/u014665013/article/details/81985082
https://mp.weixin.qq.com/s/Dhp3FbbK5yPYRwJTKjGZSQ
Deep Residual Learning for Image Recognition