- 問(wèn)題: 即使使用He initialization和ELU, 也不能保證在訓(xùn)練過(guò)程中, 出現(xiàn)梯度消失/爆炸
- 原因: 在訓(xùn)練過(guò)程中, 隨著上層的參數(shù)發(fā)生改變, 每層輸入的分布也會(huì)隨之改變 (內(nèi)部協(xié)變量偏移問(wèn)題)
- 解決方法: 在訓(xùn)練過(guò)程中, 對(duì)每層輸入激活函數(shù)前加入一個(gè)運(yùn)算, 用來(lái)對(duì)輸入進(jìn)行標(biāo)準(zhǔn)化(均值(shifting), 方差(scaling))
- 因此, 每層會(huì)多兩個(gè)參數(shù), 這兩個(gè)參數(shù)通過(guò)訓(xùn)練時(shí)的小批量樣本進(jìn)行計(jì)算
- 預(yù)測(cè): 在測(cè)試過(guò)程中, 使用全部的訓(xùn)練樣本計(jì)算出經(jīng)驗(yàn)均值和方差, 然后對(duì)測(cè)試數(shù)據(jù)歸一化
- 因此, BN層一共有四個(gè)參數(shù), 訓(xùn)練過(guò)程的(scale, offset), 測(cè)試過(guò)程的(mean, std)
- 非常有效的解決梯度消失問(wèn)題, 對(duì)初始化方法不敏感, 明顯的提高訓(xùn)練時(shí)間
- BN也有正則化效果, 使得不用依賴其他的正則化方法(Dropout)
- 不足: 訓(xùn)練和測(cè)試時(shí)的計(jì)算量增大, 因此對(duì)于預(yù)測(cè)時(shí)間有要求的時(shí)候需要考慮
- 訓(xùn)練時(shí)要計(jì)算小批量訓(xùn)練樣本的offset和scale
- 測(cè)試時(shí)要計(jì)算經(jīng)驗(yàn)均值和方差, 并對(duì)測(cè)試數(shù)據(jù)標(biāo)準(zhǔn)化
- 其他
- 簡(jiǎn)單點(diǎn)說(shuō): BN就是對(duì)每層的輸入進(jìn)行中心化和標(biāo)準(zhǔn)化
- BN會(huì)加大訓(xùn)練時(shí)的計(jì)算量, 但是收斂過(guò)程會(huì)更快(迭代的次數(shù)更少)
- BN相當(dāng)于在兩層網(wǎng)絡(luò)的中間加入一個(gè)標(biāo)準(zhǔn)化處理層, 用來(lái)解決輸入與輸出方差的差異
- ReLU和None activity function不需要scale(下層權(quán)重會(huì)受影響)
BN 小結(jié)
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)这难，“玉大人舟误，你說(shuō)我怎么就攤上這事∫雠遥” “怎么了嵌溢？”我有些...
- 文/不壞的土叔 我叫張陵眯牧，是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我赖草，道長(zhǎng)学少，這世上最難降的妖魔是什么？ 我笑而不...
- 正文 為了忘掉前任秧骑，我火速辦了婚禮版确，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘乎折。我一直安慰自己绒疗，他們只是感情好，可當(dāng)我...
- 文/花漫 我一把揭開白布骂澄。 她就那樣靜靜地躺著吓蘑，像睡著了一般。 火紅的嫁衣襯著肌膚如雪坟冲。 梳的紋絲不亂的頭發(fā)上磨镶，一...
- 那天，我揣著相機(jī)與錄音健提，去河邊找鬼琳猫。 笑死，一個(gè)胖子當(dāng)著我的面吹牛私痹，可吹牛的內(nèi)容都是我干的脐嫂。 我是一名探鬼主播，決...
- 文/蒼蘭香墨 我猛地睜開眼侄榴，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼雹锣！你這毒婦竟也來(lái)了网沾？” 一聲冷哼從身側(cè)響起癞蚕，我...
- 序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎辉哥，沒(méi)想到半個(gè)月后桦山，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡醋旦，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年恒水，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片饲齐。...
- 正文 年R本政府宣布，位于F島的核電站酸纲，受9級(jí)特大地震影響捣鲸，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜闽坡，卻給世界環(huán)境...
- 文/蒙蒙 一栽惶、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧疾嗅，春花似錦外厂、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至次泽，卻和暖如春穿仪，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背意荤。 一陣腳步聲響...
- 正文 我出身青樓紫谷，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親捐寥。 傳聞我的和親對(duì)象是個(gè)殘疾皇子笤昨，可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 文章作者：Tyan博客：noahsnail.com | CSDN | 簡(jiǎn)書 聲明：作者翻譯論文僅為學(xué)習(xí)，如有侵權(quán)請(qǐng)...
- 文章作者：Tyan博客：noahsnail.com[http://noahsnail.com] | CSDN[...
- cite from: http://blog.csdn.net/myarrow/article/details/5...
- Batch Normalization作為最近一年來(lái)DL的重要成果握恳，已經(jīng)廣泛被證明其有效性和重要性瞒窒。目前幾乎已經(jīng)成...
- 世界頂級(jí)創(chuàng)新設(shè)計(jì)事務(wù)所IDEO的聯(lián)合創(chuàng)始人Tom Kelley崇裁，最近帶著新書《Creative Confidenc...
