Neil Zhu吴攒，簡(jiǎn)書(shū)ID Not_GOD，University AI 創(chuàng)始人 & Chief Scientist徽千，致力于推進(jìn)世界人工智能化進(jìn)程缸匪。制定并實(shí)施 UAI 中長(zhǎng)期增長(zhǎng)戰(zhàn)略和目標(biāo)，帶領(lǐng)團(tuán)隊(duì)快速成長(zhǎng)為人工智能領(lǐng)域最專(zhuān)業(yè)的力量准夷。
作為行業(yè)領(lǐng)導(dǎo)者钥飞，他和UAI一起在2014年創(chuàng)建了TASA（中國(guó)最早的人工智能社團(tuán)）, DL Center（深度學(xué)習(xí)知識(shí)中心全球價(jià)值網(wǎng)絡(luò)），AI growth（行業(yè)智庫(kù)培訓(xùn)）等衫嵌，為中國(guó)的人工智能人才建設(shè)輸送了大量的血液和養(yǎng)分读宙。此外，他還參與或者舉辦過(guò)各類(lèi)國(guó)際性的人工智能峰會(huì)和活動(dòng)渐扮，產(chǎn)生了巨大的影響力论悴，書(shū)寫(xiě)了60萬(wàn)字的人工智能精品技術(shù)內(nèi)容，生產(chǎn)翻譯了全球第一本深度學(xué)習(xí)入門(mén)書(shū)《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》墓律，生產(chǎn)的內(nèi)容被大量的專(zhuān)業(yè)垂直公眾號(hào)和媒體轉(zhuǎn)載與連載膀估。曾經(jīng)受邀為國(guó)內(nèi)頂尖大學(xué)制定人工智能學(xué)習(xí)規(guī)劃和教授人工智能前沿課程，均受學(xué)生和老師好評(píng)耻讽。
https://arxiv.org/abs/1607.06450
作者
Jimmy Lei Ba, Jamie Ryan Kiros, University of Toronto
Geoffrey E. Hinton, University of Toronto & Google
摘要
訓(xùn)練目前性能最好的深度神經(jīng)網(wǎng)絡(luò)計(jì)算代價(jià)高昂. 一種減少訓(xùn)練時(shí)間的方法是規(guī)范化神經(jīng)元的激活值. 近期引入的批規(guī)范化（batch normalisation）技術(shù)對(duì)一個(gè)訓(xùn)練樣本批量集使用了求和的輸入分布來(lái)計(jì)算均值和方差察纯，然后用這兩個(gè)來(lái)規(guī)范化那個(gè)神經(jīng)元在每個(gè)訓(xùn)練樣本的求和輸入. 這個(gè)方法顯著減少了前驅(qū)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間. 然而，批規(guī)范化的效果依賴(lài)于 minibatch 的大小针肥，而且對(duì)于循環(huán)神經(jīng)網(wǎng)絡(luò) RNN 無(wú)法下手. 本文將批規(guī)范化轉(zhuǎn)換成層規(guī)范化——通過(guò)計(jì)算在一個(gè)訓(xùn)練樣本上的一層上的神經(jīng)元的求和輸入的均值和方差.
像批規(guī)范化那樣饼记，我們同樣也給每個(gè)神經(jīng)元自身的適應(yīng)偏差 bias 和增益 gain，這兩個(gè)東西在規(guī)范化后非線性變換前使用. 和批規(guī)范化不同的是慰枕，層規(guī)范化在訓(xùn)練和測(cè)試時(shí)執(zhí)行同樣的計(jì)算. 另外也能夠通過(guò)在每個(gè)時(shí)間步分別計(jì)算規(guī)范化統(tǒng)計(jì)信息從而直接應(yīng)用在循環(huán)神經(jīng)網(wǎng)絡(luò)上. 實(shí)驗(yàn)結(jié)果表明具则，層規(guī)范化和之前的技術(shù)相比可以顯著降低訓(xùn)練時(shí)間.
1 引言
主要介紹了一下歷史，以及層規(guī)范化在 RNN 上的表現(xiàn)好過(guò)其他技術(shù)具帮。
2 背景
這里雖然看起來(lái)嚇人博肋，但使用的時(shí)候用的卻是從當(dāng)前的 mini-batch 中采樣出來(lái)的實(shí)驗(yàn)樣本.
3 層規(guī)范化
(2) 和 (3) 中的不同很容易看出低斋，在層規(guī)范化中，所有的隱藏元共享同樣的規(guī)范化項(xiàng) μ 和 σ匪凡，不同的訓(xùn)練樣本就會(huì)有不同的規(guī)范化項(xiàng).
3.1 層規(guī)范化的循環(huán)神經(jīng)網(wǎng)絡(luò)
標(biāo)準(zhǔn)的 RNN 中膊畴，求和輸入的平均量度在每個(gè)時(shí)間步會(huì)增長(zhǎng)或者縮小，從而產(chǎn)生爆炸或者消逝的梯度現(xiàn)象. 在層規(guī)范化 RNN 中病游，規(guī)范化項(xiàng)會(huì)使得模型對(duì)所有求和輸入的重整化操作保持不變唇跨，這可以得到更加穩(wěn)定的隱藏層之間的動(dòng)力特性.
4 相關(guān)工作
批規(guī)范化技術(shù)此前已經(jīng)被擴(kuò)展到了 RNN 上 [Laurent et al., 2015,Amodei et al., 2015, Cooijmans et al., 2016]. [Cooijmans et al., 2016] 的工作說(shuō)明循環(huán)批規(guī)范化的最佳表現(xiàn)是通過(guò)保持每個(gè)時(shí)間步的獨(dú)立規(guī)范化統(tǒng)計(jì)量達(dá)成的. 作者展示了初始化循環(huán)批規(guī)范化層中增益 gain 參數(shù)為 0.1 在模型最終的性能上起到了重要的作用. 我們的工作也和權(quán)重規(guī)范化關(guān)系緊密[Salimans and Kingma, 2016]. 在權(quán)重規(guī)范化中，并沒(méi)有使用方差衬衬，而是采用了輸入權(quán)重的 L2 范數(shù)來(lái)對(duì)求和輸入進(jìn)行規(guī)范化進(jìn)入神經(jīng)元. 使用期望統(tǒng)計(jì)量應(yīng)用權(quán)重規(guī)范化或者批規(guī)范化都等價(jià)于對(duì)原始前驅(qū)神經(jīng)網(wǎng)絡(luò)進(jìn)行了一個(gè)不同的參數(shù)化. 在 ReLU 網(wǎng)絡(luò)中的重參數(shù)化技術(shù)在路徑規(guī)范化 SGD [Neyshabur et al., 2015] 有了探討. 我們的層規(guī)范化技術(shù)不是一個(gè)重參數(shù)化方法. 所以它和其他方法相比有著獨(dú)特的不變性买猖，這個(gè)在后面再詳解.
5 分析
這里是對(duì)不同規(guī)范化方法的不變形的比對(duì).
5.1 權(quán)重和數(shù)據(jù)變換的不變性
層規(guī)范化和批規(guī)范化技術(shù)及權(quán)重規(guī)范化技術(shù)相關(guān). 盡管他們的規(guī)范化使用的標(biāo)量計(jì)算方式不同，但是這些方法可以歸類(lèi)成規(guī)范化求和輸入 ai 通過(guò)兩個(gè)標(biāo)量 μ 和 σ. 同樣還要在規(guī)范化之后對(duì)每個(gè)神經(jīng)元學(xué)習(xí)適應(yīng)偏差 b 和增益 g
注意佣耐，對(duì)層規(guī)范化和批規(guī)范化政勃，μ 和 σ 通過(guò)方程 (2) 和 (3) 計(jì)算得出. 在權(quán)重規(guī)范化中， μ 為 0 和 σ = ||w||2.
從上表 1 中我們可以看到不同的規(guī)范化方法的不變性情況.
5.2 學(xué)習(xí)中的參數(shù)空間幾何特性
前面講完了模型預(yù)測(cè)在重中心定位和重比例下的不變性. 然而兼砖，學(xué)習(xí)在不同的參數(shù)化下表現(xiàn)差別很大奸远，甚至是那些有著相同基本函數(shù)的模型. 本節(jié)通過(guò)參數(shù)空間的幾何和流形來(lái)分析學(xué)習(xí)行為. 我們說(shuō)明規(guī)范化標(biāo)量 σ 可以隱式地降低學(xué)習(xí)率，讓學(xué)習(xí)更加穩(wěn)定.
5.2.1 黎曼度量
在統(tǒng)計(jì)模型中可學(xué)習(xí)的參數(shù)會(huì)形成一個(gè)平滑的流形讽挟，包含了模型所有可能的輸入-輸出關(guān)系. 對(duì)于輸出是一個(gè)概率分布的模型來(lái)說(shuō)懒叛，一種自然度量?jī)蓚€(gè)點(diǎn)在流形上分隔(seperation) 的方法就是他們模型輸出分布的 Kullback-Leibler 散度. 在 KL 散度度量下，參數(shù)空間就是一個(gè)黎曼流形.
黎曼流形的曲率由黎曼度量完全刻畫(huà)耽梅，其二次形式表示為 ds2. 這是在參數(shù)空間的點(diǎn)處切線空間的無(wú)窮小距離. 直覺(jué)上說(shuō)薛窥，它衡量了在參數(shù)空間中模型輸出沿著一個(gè)切線方向的變動(dòng). KL 下黎曼度量此前有過(guò)研究[Amari,1998]，并證明可以在二階泰勒展開(kāi)下使用 Fisher 信息矩陣很好地近似：
實(shí)驗(yàn)部分沒(méi)有加上眼姐，主要是各種 RNN 上超過(guò)之前的方法.
可能有用的參考：
https://www.wikiwand.com/en/Fisher_information
實(shí)現(xiàn)參考：
https://github.com/LeavesBreathe/tensorflow_with_latest_papers/blob/master/normalization_ops_modern.py
