超參數(shù)調(diào)整
前面已經(jīng)看到在神經(jīng)網(wǎng)絡(luò)調(diào)試過程中需要涉及很多的超參數(shù)，那么如何系統(tǒng)性的調(diào)整這些參數(shù)以快速的達(dá)到更好的學(xué)習(xí)效果癌别？Andrew 的建議是按照以下的優(yōu)先級：
α: 永恒重要木人，是訓(xùn)練中重點調(diào)整的對象之一
隱藏單元的數(shù)量勺爱、 mini-batch 的容量大小税课，如果采用動量梯度撬即，那么 β 也是可以考慮的參數(shù)（一般取 0.9）
層數(shù)宰缤、學(xué)習(xí)率下降相關(guān)參數(shù)颂翼，同時如果采用 Adam，默認(rèn)選擇 β1 = 0.9 慨灭，β2 = 0.999疚鲤，ε = 10-8 即可
實際的參數(shù)選擇過程可以先在預(yù)計有效的取值范圍內(nèi)采取隨機測試的方式，再集中在表現(xiàn)較好的參數(shù)附近進(jìn)一步細(xì)化選仍堤簟：
對于單元數(shù)量和層數(shù)這類整數(shù)值的選取可采用隨機均勻取值
對于學(xué)習(xí)率這類小數(shù)如果可能取值在 0.0001 - 1 之間則一般推薦按照 10 倍數(shù)量級的方式隨機選取集歇，例如可以令
r = -4 * np.random.rand()，再令 α = 10 r對于 β 如果取值在 0.9 - 0.999 之間則可以令 1 - β = 10r 语淘，再參照 α 的計算方式進(jìn)行選擇
輸出的批量標(biāo)準(zhǔn)化 Batch Normalization
正如前面標(biāo)準(zhǔn)化輸入可以改善學(xué)習(xí)速度一樣诲宇，我們在使用 mini-batch 進(jìn)行訓(xùn)練的時候同樣可以通過標(biāo)準(zhǔn)化每一層的輸出來進(jìn)一步提高學(xué)習(xí)效率际歼。這里的輸出可以指應(yīng)用了激活函數(shù)后的輸出值 a[ l ]，也可以指未應(yīng)用激活函數(shù)的 z[ l ]姑蓝，在本課中 Andrew 使用的是對于 z[ l ] 的標(biāo)準(zhǔn)化鹅心，對于任意一層：
先對每一個 z( i ) 做標(biāo)準(zhǔn)化 znorm( i ) = (z( i ) - μ) / sqrt(σ2 + ε)，ε 是為了防止除 0 而做的一個安全設(shè)置纺荧，同時這個參數(shù)還可以起到放大樣本方差的作用旭愧。公式中的 μ 和 σ 是訓(xùn)練時的一個 mini-batch 的輸出在激活前的 μ 和 σ
因為這一處理的結(jié)果會使得 z( i ) 呈（0, 1）分布，如果其取值嚴(yán)格遵循隨機分布宙暇，在使用 ReLU 作為激活函數(shù)的時候會導(dǎo)致一半左右的 ReLU 失活输枯，因此實際應(yīng)用中需要代替 z( i ) 的是 z( i ) = γznorm( i ) + β，這里的 γ, β 是需要通過學(xué)習(xí)獲得的參數(shù)占贫，其作用同 w 和 b 類似都是實現(xiàn)了對輸入的縮放
在應(yīng)用中可以采用梯度下降法桃熄，通過 γ = γ - αγ, β = β - αβ 的方式更新這兩個參數(shù)，并且 Batch Normalization 可以結(jié)合動量梯度下降型奥、RMSprop 瞳收、Adam 等優(yōu)化方法來加速學(xué)習(xí)。
另外一點需要注意的是厢汹，對 z( i ) 的標(biāo)準(zhǔn)化過程實際上會消除掉 b 這個參數(shù)的影響螟深，因此在采用 Batch Normalization 的時候，可以省去 b 這個參數(shù)烫葬。
經(jīng)過 Batch Normalization 的處理血崭，使得每一個隱藏層的輸出的分布情況得到了控制，后續(xù)層的學(xué)習(xí)就建立在更加堅實的基礎(chǔ)上厘灼，因此使得學(xué)習(xí)得到的參數(shù)對于輸入的波動耐受程度更高夹纫，使得整個網(wǎng)絡(luò)更加穩(wěn)健。
測試時的 Batch Normalization
由于在測試的時候樣本的輸入很可能是一個樣本一個樣本的方式進(jìn)行的设凹，而對于單一樣本來說算法中的標(biāo)準(zhǔn)化處理部分求均值舰讹，方差，再做標(biāo)準(zhǔn)化并沒有意義闪朱。因此在實際測試中是將前面采用 mini-batch 進(jìn)行訓(xùn)練的到的每一個小批量的 μ 和 σ 做指數(shù)加權(quán)平均得到總體的 μ 和 σ月匣，再用這兩個參數(shù)對于測試樣本進(jìn)行標(biāo)準(zhǔn)化計算 znorm( i ) = (z( i ) - μ) / sqrt(σ2 + ε) 和 z( i ) = γznorm( i ) + β。
關(guān)于 Batch Normalization奋姿，更詳細(xì)的解釋可以參考 R2RT 的博客 和 Udacity 的這個練習(xí)锄开。
Softmax 回歸
前面學(xué)習(xí)的 Logistic 回歸只能處理二元分類問題，實際應(yīng)用中很多時候輸出值可以有多個不同的分類称诗，這個時候就要采用 Softmax 回歸萍悴。
Softmax 回歸最顯著的特征就是輸出層不再是一個單元，而是一個列向量，其維數(shù)為對應(yīng)的分類種類癣诱，且每一個數(shù)值代表其取相應(yīng)分類的概率计维，其計算過程如下：
在輸出層首先計算 z[ L ] = w[ L ]a[ L-1 ] + b[ L ]，這里依據(jù)之前的約定 L 大寫代表輸出層
之后在該層應(yīng)用 softmax 激活函數(shù)：先對 z[ L ] 做基于元素的冪運算撕予，即 t = ez[L]鲫惶，再將這個向量求和，然后取得每一個元素與求和的比值实抡。
Softmax 函數(shù)之所以如此命名是對應(yīng)的有一個叫 Hardmax 的函數(shù)欠母，會將上述的輸出結(jié)果中最大值轉(zhuǎn)化為 1，其他值均轉(zhuǎn)化為 0吆寨，而 Softmax 則會保留各個計算值赏淌。
Softmax 回歸可以視作 Logistic 回歸的一個泛化，當(dāng)最終的分類為二元分類的時候鸟废，可以通過數(shù)學(xué)證明其等同于 Logistic 回歸。由于最終的輸出值不再是單一的一個值姑荷，因此 softmax 回歸有單獨的損失函數(shù)定義：
L(?, y) = - ∑yj log?j 盒延，其中 j = 1, ... ,C，C 為最終的分類數(shù)
對應(yīng)的成本函數(shù)為：
J = ∑L(?(i), y(i)) / m鼠冕，其中 i = 1, ... ,m添寺，m 為樣本的數(shù)量
在 python 中 softmax 函數(shù)的實現(xiàn)方式如下：
import numpy as np
def softmax(z):
exp_z = np.exp(z)
sum_of_z = np.sum(exp_z)
return exp_z / sum_of_z
神經(jīng)網(wǎng)絡(luò)的應(yīng)用框架
神經(jīng)網(wǎng)絡(luò)的應(yīng)用框架使得大家可以無需每做一個項目都從頭開始，節(jié)省了大量的工作時間懈费。同時需要注意到不同的框架都有其擅長處理的領(lǐng)域计露，所以在選擇框架的時候 Andrew 建議大家注意以下幾點：
是否易于開發(fā)和部署
運行速度是否夠快
是否真正的開源
