后記

優(yōu)化算法這一部分如果沒有實(shí)際操作的話非常的抽象，建議結(jié)合代碼進(jìn)行理解枝恋。作為一個(gè)合格的寫作者练链，我首先推薦大家看比我寫的更好的材料，比如 這個(gè) 和 這個(gè) 瘩扼。

樣本的小批量 Mini-Batch 計(jì)算

盡管通過向量化輸入可以使得算法計(jì)算的速度大幅提升谆甜，但如果輸入樣本量非常大的情況下依然會(huì)拖慢算法迭代的速度。所以聰明的計(jì)算機(jī)科學(xué)家們又想到可以將樣本集分成小的批量 mini-batch集绰，例如假設(shè)我們有 5,000,000 個(gè)樣本规辱，那么可以將每 1,000 個(gè)樣本劃分為一組，對(duì)于整個(gè)樣本集采用分組計(jì)算的方式來加快計(jì)算速度栽燕。為了描述方便罕袋，mini-batch 計(jì)算中每一組數(shù)據(jù)集用 X^{{ t }} 表示，t 表示整個(gè)樣本集中的第 t 個(gè)小批次碍岔。假設(shè)測(cè)試集中有 m 個(gè)樣本：

• 如果每一個(gè)批次的樣本量定為 m , 則這就是我們之前討論的遍歷整個(gè)樣本集的計(jì)算方式浴讯。依然以前面的 5,000,000 個(gè)樣本的數(shù)據(jù)集為例，算法計(jì)算時(shí)會(huì)一次性完成 5,000,000 個(gè)樣本的前向傳播計(jì)算蔼啦，再反向傳播更新一次權(quán)重榆纽，再開始下一個(gè)周期

• 如果每一個(gè)批次的樣本量定為 1 , 則這種計(jì)算方法稱為隨機(jī)梯度下降 Stochastic Gradient Descent，實(shí)際計(jì)算中會(huì)采用第一個(gè)樣本進(jìn)行前向傳播計(jì)算捏肢，然后反向更新權(quán)重奈籽；再用更新過的權(quán)重去結(jié)合第二個(gè)樣本進(jìn)行前向傳播計(jì)算，再反向更新權(quán)重...此時(shí)如果繪制成本函數(shù)和迭代次數(shù)的關(guān)系圖像就會(huì)發(fā)現(xiàn)成本函數(shù)不總是下降的鸵赫，會(huì)隨著輸入的波動(dòng)產(chǎn)生一定的隨機(jī)性衣屏，這就是前面這個(gè)名字的由來。在實(shí)際應(yīng)用中辩棒，隨機(jī)梯度下降會(huì)使得向量化失去意義狼忱，并且成本函數(shù)最終無法完全收斂，最理想的情況也是在一個(gè)范圍內(nèi)震蕩一睁，因此一般會(huì)選擇一個(gè)居間的數(shù)值作為批量中的樣本量

• mini-batch 的具體計(jì)算過程類似于隨機(jī)梯度下降藕赞，只不過每一次計(jì)算一個(gè)批次的樣本，然后利用更新的權(quán)重來結(jié)合下一個(gè)批次進(jìn)行下一循環(huán)的計(jì)算卖局。這樣既可以充分利用到向量化帶來的好處斧蜕，又可以無需等待全部的樣本集計(jì)算結(jié)束才能看到算法的進(jìn)展情況

mini-batch 每一個(gè)批次的容量選擇：

• 一般當(dāng) m ≤ 2000 時(shí)，應(yīng)該考慮一次性批量處理掉全部樣本

• 如果樣本量較大砚偶，則一般 mini-batch 批次的容量在 64批销，128洒闸，256，512 之間選擇均芽，之所以采用 2 的乘方數(shù)丘逸，是因?yàn)榭紤]到了內(nèi)存的物理設(shè)置和讀寫特性，因此實(shí)際應(yīng)用中需要結(jié)合 GPU 和 CPU 的內(nèi)存設(shè)置來決定選擇哪一個(gè)數(shù)值

指數(shù)加權(quán)平均及其偏差校正

為了引入后續(xù)的動(dòng)量梯度下降法掀宋，這里需要先講一下指數(shù)加權(quán)平均 Exponentially weighted moving average深纲，這是對(duì)數(shù)據(jù)的一個(gè)平滑處理，其數(shù)學(xué)表達(dá)式為：

• v_t = βv_t-1 + (1 - β)θ_t 劲妙，其中 v_t 為平均后的當(dāng)前時(shí)間值湃鹊，v_t-1 為平均后的歷史時(shí)間值，而 θ_t 為未經(jīng)處理過的當(dāng)前值

之所以這樣稱呼是因?yàn)椴捎眠@個(gè)公式對(duì)數(shù)據(jù)進(jìn)行處理的時(shí)候當(dāng)前數(shù)據(jù) v_t 會(huì)被展開成歷史數(shù)據(jù)和 β 的指數(shù)的加權(quán)平均值镣奋。 課堂中 Andrew 舉了一個(gè)不同時(shí)間的氣溫?cái)?shù)據(jù)平滑的例子币呵，對(duì)應(yīng)不同的 β 值，平滑后的曲線波動(dòng)狀況不同侨颈，β 值越高余赢，曲線越平滑。

在應(yīng)用中可以將 v_t 近似的看作對(duì)于過去 1 / (1 - β) 時(shí)間內(nèi)的一個(gè)平均值哈垢，其對(duì)應(yīng)的數(shù)學(xué)原理是如果令 ε = 1 - β 則 (1 - ε) ^{1 / ε} 近似等于 0.35 也近似等于 1 / e 這個(gè)神奇的數(shù)字妻柒。（這里我還需要進(jìn)一步理解）

• 當(dāng) β = 0.9 時(shí)，可以理解為對(duì)于過去10天的平均

• 當(dāng) β = 0.98 時(shí)耘分，可以理解為對(duì)于過去50天的平均

Exponentially weighted averages

在實(shí)際代碼實(shí)現(xiàn)中举塔，可以先令v = 0，之后隨著時(shí)間的推移只需要一行代碼就可以不斷的更新v 的值： v += beta * v + (1 - beta) * theta陶贼。與此同時(shí)，可以看到如僅簡(jiǎn)單的令 v = 0待秃，則在初期的一段時(shí)間數(shù)據(jù)會(huì)被較大程度的拉低拜秧，因此可以在前述計(jì)算的基礎(chǔ)上進(jìn)一步令 v = v / (1 - β^t) 來校正這個(gè)偏差。

動(dòng)量 Momentum 梯度下降

動(dòng)量梯度下降算法的基本思想通過指數(shù)加權(quán)平均來處理得到的梯度值章郁，再用這個(gè)梯度值來更新參數(shù)枉氮。直觀的理解動(dòng)量梯度下降就是我們不僅要使用當(dāng)前次計(jì)算得到的梯度值，也要充分利用之前得到的梯度值對(duì)這個(gè)數(shù)值做一個(gè)校正暖庄，使得參數(shù)的更新過程更加具有參照性聊替。相當(dāng)于利用歷史數(shù)據(jù)對(duì)于當(dāng)前的梯度之提供一個(gè)動(dòng)量，是的其可以越過局部最小值培廓。

具體來說就是在第 t 次迭代中：

1. 通過 vdw = βvdw + (1 - β)dw 以及 vdb = βvdb + (1 - β)db 對(duì) dw, db 做指數(shù)加權(quán)平均

2. 參數(shù)的更新過程為： w = w - αvdw 和 b = b - αvdb

這個(gè)方法實(shí)際上又在算法中引入了一個(gè)超參數(shù)惹悄，實(shí)際應(yīng)用中一般令 β = 0.9 ，即加權(quán)平均前 10 次迭代得到的梯度值即可肩钠，并且一般無需再做偏差校正泣港。

RMSprop 算法

全稱是 Root Mean Square Propagation暂殖，算法實(shí)現(xiàn)過程是在第 t 次迭代中：

1. 先計(jì)算 dw, db，再通過 sdw = β₂sdw + (1 - β₂)dw² 和 sdb = β₂sdb + (1 - β₂)db² 來指數(shù)加權(quán)平均 dw, db 的平方当纱，一般令 β₂ = 0.999

2. 參數(shù)的更新過程為：w = w - αdw / sqrt(sdw + ε) 和 b = b - αdb / sqrt(sdb + ε) 呛每，分母中的 ε 是為了防止出現(xiàn)除 0 的情況，一般令 ε = 10^-8 即可坡氯，并且這個(gè)計(jì)算過程也解釋了 Root mean square 是何意

在實(shí)際計(jì)算中晨横，在數(shù)量上 sdw 會(huì)相對(duì)較小，而 sdb 則會(huì)相對(duì)較大箫柳，這使得成本函數(shù)在迭代過程中減少震蕩的同時(shí)又不降低收斂的速度手形。

Adam 優(yōu)化算法

Adam 這個(gè)詞是 Adaptive momentum estimation 的縮寫，其結(jié)合了動(dòng)量梯度下降和 RMSprop 兩種算法滞时，在具體實(shí)現(xiàn)中首先初始化 vdw = 0, sdw = 0, vdb = 0, sdb = 0叁幢，然后在第 t 次迭代中：

1. 先用當(dāng)前 mini-batch 的樣本計(jì)算 dw, db

2. 根據(jù)動(dòng)量梯度計(jì)算 vdw = β₁vdw + (1 - β₁)dw 和 vdb = β₁vdb + (1 - β₁)db

3. 再根據(jù) RMSprop 計(jì)算 sdw = β₂sdw + (1 - β₂)dw² 和 sdb = β₂sdb + (1 - β₂)db²

4. 通常在 Adam 優(yōu)化算法中要對(duì)上述兩組數(shù)值做偏差校正，即：

   • vdw^corrected = vdw / (1 - β₁^t), vdb^corrected = vdb / (1 - β₁^t)
   • sdw^corrected = sdw / (1 - β₂^t), sdb^corrected = sdb / (1 - β₂^t)

5. 參數(shù)更新過程為： w = w - αvdw^corrected / sqrt(sdw^corrected + ε) 和 b = b - αvdb^corrected / sqrt(sdb^corrected + ε)

Adam 優(yōu)化算法中涉及多個(gè)超參數(shù)坪稽，其各自的取值情況如下：

• α: 永恒重要曼玩，是訓(xùn)練中重點(diǎn)調(diào)整的對(duì)象之一

• 一般令 β₁ = 0.9 ，β₂ = 0.999窒百，ε = 10^-8

一個(gè)非常好的介紹 Adam 優(yōu)化算法的文章在 這里 黍判。

學(xué)習(xí)速率衰減 Learning rate decay

訓(xùn)練的初期較大的 α 有利于快速迭代，但隨著迭代次數(shù)的增加篙梢，逐漸減小 α 有利于加速收斂顷帖，因此這種有意為之的隨時(shí)間推移逐漸減小學(xué)習(xí)率被稱為 Learning rate decay。具體實(shí)施中一般令 α = α₀ / ( 1 + decay rate * epoch number)渤滞，其中：

• decay rate, α₀ 都是超參數(shù)

• 一個(gè) epoch 代表算法完全遍歷一次全部數(shù)據(jù)集贬墩，epoch number 代表第幾次遍歷數(shù)據(jù)集，這樣做的意義就是我們一般完全遍歷過一次全部數(shù)據(jù)集之后再更新學(xué)習(xí)速率

學(xué)習(xí)速率衰減還有其他幾個(gè)可行的方法或計(jì)算公式妄呕，這里就不一一列舉了陶舞，可以參考視頻中的講解。

參考閱讀