????? 在筆記 4 中敢茁，詳細(xì)闡述了機(jī)器學(xué)習(xí)中利用正則化防止過擬合的基本方法格遭，對 L1 和 L2 范數(shù)進(jìn)行了通俗的解釋。為了防止深度神經(jīng)網(wǎng)絡(luò)出現(xiàn)過擬合夺饲，除了給損失函數(shù)加上 L2 正則化項(xiàng)之外健芭，還有一個很著名的方法——dropout.

????? 廢話少說县钥，咱們單刀直入正題。究竟啥是 dropout ? dropout 是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中慈迈，對所有神經(jīng)元按照一定的概率進(jìn)行消除的處理方式魁蒜。在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時，dropout 能夠在很大程度上簡化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)吩翻，防止神經(jīng)網(wǎng)絡(luò)過擬合兜看。所以，從本質(zhì)上而言狭瞎，dropout 也是一種神經(jīng)網(wǎng)絡(luò)的正則化方法细移。

????? 假設(shè)我們要訓(xùn)練了一個 4 層（3個隱層）的神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)存在著過擬合熊锭。于是我們決定使用 dropout 方法來處理弧轧，dropout 為該網(wǎng)絡(luò)每一層的神經(jīng)元設(shè)定一個失活（drop）概率雪侥，在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，我們會丟棄一些神經(jīng)元節(jié)點(diǎn)精绎，在網(wǎng)絡(luò)圖上則表示為該神經(jīng)元節(jié)點(diǎn)的進(jìn)出連線被刪除速缨。最后我們會得到一個神經(jīng)元更少、模型相對簡單的神經(jīng)網(wǎng)絡(luò)代乃，這樣一來原先的過擬合情況就會大大的得到緩解旬牲。這樣說似乎并沒有將 dropout 正則化原理解釋清楚，我們繼續(xù)深究一下：為什么 dropout 可以可以通過正則化發(fā)揮防止過擬合的功能搁吓？

????? 因?yàn)?dropout 可以隨時隨機(jī)的丟棄任何一個神經(jīng)元原茅，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果不會依賴于任何一個輸入特征，每一個神經(jīng)元都以這種方式進(jìn)行傳播堕仔，并為神經(jīng)元的所有輸入增加一點(diǎn)權(quán)重擂橘，dropout 通過傳播所有權(quán)重產(chǎn)生類似于 L2 正則化收縮權(quán)重的平方范數(shù)的效果，這樣的權(quán)重壓縮類似于 L2 正則化的權(quán)值衰減摩骨，這種外層的正則化起到了防止過擬合的作用通贞。

????? 所以說，總體而言恼五，dropout 的功能類似于 L2 正則化昌罩，但又有所區(qū)別。另外需要注意的一點(diǎn)是唤冈，對于一個多層的神經(jīng)網(wǎng)絡(luò)，我們的 dropout 某層神經(jīng)元的概率并不是一刀切的银伟。對于不同神經(jīng)元個數(shù)的神經(jīng)網(wǎng)絡(luò)層你虹，我們可以設(shè)置不同的失活或者保留概率，對于含有較多權(quán)值的層彤避，我們可以選擇設(shè)置較大的失活概率（即較小的保留概率）傅物。所以，總結(jié)來說就是如果你擔(dān)心某些層所含神經(jīng)元較多或者比其他層更容易發(fā)生過擬合琉预，我們可以將該層的失活概率設(shè)置的更高一些董饰。

????? 說了這么多，總算大致把 dropout 說明白了圆米。那 dropout 這種操作在實(shí)際的 python 編程中該如何實(shí)現(xiàn)呢卒暂？以一個三層的神經(jīng)網(wǎng)絡(luò)為例，首先我們需要定義一個 3 層的 dropout 向量娄帖，然后將其與保留概率 keep-prob 進(jìn)行比較生成一個布爾值向量也祠，再將其與該層的神經(jīng)元激活輸出值進(jìn)行乘積運(yùn)算，最后擴(kuò)展上一步的計算結(jié)果近速，將其除以 keep-prob 即可诈嘿。但在實(shí)際編程中就沒說的這么容易了堪旧，我們需要對整個神經(jīng)網(wǎng)絡(luò)的計算過程進(jìn)行重新定義，包括前向傳播和反向傳播的計算定義奖亚。

????? 含 dropout 的前向計算定義如下：

defforward_propagation_with_dropout(X, parameters, keep_prob =0.5): ? ?np.random.seed(1)# retrieve parameters

W1 = parameters["W1"] ? ?

b1 = parameters["b1"] ? ?

W2 = parameters["W2"] ? ?

b2 = parameters["b2"] ? ?

W3 = parameters["W3"] ? ?

b3 = parameters["b3"]# LINEAR -> RELU -> LINEAR -> RELU -> LINEAR -> SIGMOID

Z1 = np.dot(W1, X) + b1 ? ?

A1 = relu(Z1) ? ?

D1 = np.random.rand(A1.shape[0], A1.shape[1]) ? ? ? ?

D1 = D1 < keep_prob ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?

A1 = np.multiply(D1, A1) ? ? ? ? ? ? ? ? ? ? ? ?? ? ?

A1 = A1 / keep_prob ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?

Z2 = np.dot(W2, A1) + b2 ? ?

A2 = relu(Z2) ? ?

D2 = np.random.rand(A2.shape[0], A2.shape[1]) ? ?? ? ?

D2 = D2 < keep_prob ? ? ? ? ? ? ? ? ? ? ? ? ? ?? ??

?A2 = np.multiply(D2, A2) ? ? ? ? ? ? ? ? ? ? ?? ? ?

A2 = A2 / keep_prob ? ? ? ? ? ? ? ? ? ? ? ? ?? ? ?

Z3 = np.dot(W3, A2) + b3 ? ?

A3 = sigmoid(Z3) ? ?

cache = (Z1, D1, A1, W1, b1, Z2, D2, A2, W2, b2, Z3, A3, W3, b3)

returnA3, cache

????? 以上代碼基本體現(xiàn)了 dropout 的實(shí)現(xiàn)的四步流程淳梦。

????? 含 dropout 的反向傳播計算定義如下：

def backward_propagation_with_dropout(X, Y, cache, keep_prob):

? ?m = X.shape[1]

? ?(Z1, D1, A1, W1, b1, Z2, D2, A2, W2, b2, Z3, A3, W3, b3) = cache

? ?dZ3 = A3 - Y

? ?dW3 = 1./m * np.dot(dZ3, A2.T)

? ?db3 = 1./m * np.sum(dZ3, axis=1, keepdims = True)

? ?dA2 = np.dot(W3.T, dZ3)

? ?dA2 = np.multiply(dA2, D2) ?

? ?dA2 = dA2 / keep_prob ? ? ? ?

? ?dZ2 = np.multiply(dA2, np.int64(A2 > 0))

? ?dW2 = 1./m * np.dot(dZ2, A1.T)

? ?db2 = 1./m * np.sum(dZ2, axis=1, keepdims = True)

? ?dA1 = np.dot(W2.T, dZ2)

? ?dA1 = np.multiply(dA1, D1) ?

? ?dA1 = dA1 / keep_prob ? ? ? ? ?

? ?dZ1 = np.multiply(dA1, np.int64(A1 > 0))

? ?dW1 = 1./m * np.dot(dZ1, X.T)

? ?db1 = 1./m * np.sum(dZ1, axis=1, keepdims = True)

? ?gradients = {"dZ3": dZ3, "dW3": dW3, "db3": db3,"dA2": dA2, ? ? ? ? ? ? ? ? "dZ2": dZ2, "dW2": dW2, "db2": db2, "dA1": dA1,

? ? ? ? ? ? ? ? "dZ1": dZ1, "dW1": dW1, "db1": db1} ? ?

? ?return gradients

在定義反向傳播計算函數(shù)時，我們必須丟棄和執(zhí)行前向傳播時一樣的神經(jīng)元昔字。

最后帶有 dropout 的分類效果如下所示：

????? 所以爆袍，總結(jié)而言，dropout 就是在正常的神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上給每一層的每一個神經(jīng)元加了一道概率流程來隨機(jī)丟棄某些神經(jīng)元以達(dá)到防止過擬合的目的李滴。