吳恩達(dá):Batch Normalization
簡(jiǎn)介
我們常常會(huì)對(duì)輸入進(jìn)行歸一化(normalization 而不是 被用來(lái)防止過(guò)擬合的正規(guī)化 regularization)非竿，那么試想如果對(duì)每一層神經(jīng)網(wǎng)絡(luò)都進(jìn)行歸一化枢贿，結(jié)果也許會(huì)有進(jìn)一步提升仔粥，這就是Batch Normalization威鹿。
那么這樣又會(huì)遇到一個(gè)問(wèn)題，是對(duì)每一個(gè)未激活單元應(yīng)用還是對(duì)激活后單元
運(yùn)用，沒(méi)有理論性的指導(dǎo)，只是默認(rèn)一般對(duì)
進(jìn)行。
計(jì)算式子:
對(duì)于某一層未激活值（忽略層信息）：
到這里阀蒂，就將未激活隱藏層正規(guī)化為均值為0，方差為1的分布弟蚀。不過(guò)有時(shí)候其他分布也有存在的意義蚤霞，所以將進(jìn)行如下處理
其中 和
是可學(xué)習(xí)參數(shù)，使得該隱藏層分布可以是其他分布义钉。
注意：
- 當(dāng)
且
時(shí),
,在運(yùn)用sigmoid激活函數(shù)時(shí)昧绣，若分布為N~(0,1),則會(huì)無(wú)法發(fā)揮激活函數(shù)的非線性功能。
- 在運(yùn)用batch normalization時(shí), bias其實(shí)是無(wú)效的捶闸，因?yàn)闊o(wú)路bias是多少都會(huì)被算到均值中夜畴，然后被減去，所以運(yùn)用batch normalization時(shí)可以舍棄bias删壮，或者干脆設(shè)置為0贪绘。而后面的可學(xué)習(xí)參數(shù)\gamma實(shí)際上承擔(dān)了bias的角色。
具體實(shí)現(xiàn)
scale = tf.Variable(tf.ones([out_size]))
shift = tf.Variable(tf.zeros([out_size]))
從上面可以看出央碟，和
并不是每一層的單一可學(xué)習(xí)值税灌，參數(shù)數(shù)量等于下一層神經(jīng)元數(shù)量。
Batch Normalization有效的深層次原因
當(dāng)訓(xùn)練一個(gè)深層次網(wǎng)絡(luò)時(shí)亿虽，歸一化可以讓每一層在學(xué)習(xí)過(guò)程中菱涤，波動(dòng)都比較小（甚至可以強(qiáng)制讓上層分布為N~(0,1)）洛勉，如果低層學(xué)習(xí)過(guò)程中如果改變太大粘秆，會(huì)導(dǎo)致高層也必須作出相應(yīng)的改變，因此很難收斂收毫。所以Batch normalization某種程度上可以制約層之間相互影響的關(guān)系翻擒，讓層與層相對(duì)獨(dú)立。進(jìn)而達(dá)到獨(dú)立學(xué)習(xí)牛哺，加快收斂的目的。
此外劳吠，Batch normalization 的scale可能是0引润，某種程度和dropout一樣引入了噪聲。
但是正規(guī)化只是batch normalization過(guò)程中帶來(lái)的副作用痒玩，最好別把它當(dāng)成有效的正規(guī)化措施淳附，而可以和dropout一起運(yùn)用议慰。
Test過(guò)程
Batch normalization測(cè)試過(guò)程中可能不存在minibatch，那么均值和方差怎么計(jì)算呢奴曙？最直接的方法是直接對(duì)訓(xùn)練集所有數(shù)據(jù)計(jì)算均值和方差别凹，但是在實(shí)際運(yùn)用中，往往對(duì)訓(xùn)練過(guò)程中的每個(gè)mini batch進(jìn)行指數(shù)平均洽糟。
