Layers ? 標(biāo)準(zhǔn)化層 Normalization


[source]

BatchNormalization

keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001, center=True, scale=True, beta_initializer='zeros', gamma_initializer='ones', moving_mean_initializer='zeros', moving_variance_initializer='ones', beta_regularizer=None, gamma_regularizer=None, beta_constraint=None, gamma_constraint=None)

批量標(biāo)準(zhǔn)化層 (Ioffe and Szegedy, 2014)被环。

在每一個批次的數(shù)據(jù)中標(biāo)準(zhǔn)化前一層的激活項巍虫, 即,應(yīng)用一個維持激活項平均值接近 0琅攘,標(biāo)準(zhǔn)差接近 1 的轉(zhuǎn)換代虾。

參數(shù)

  • axis: 整數(shù),需要標(biāo)準(zhǔn)化的軸 (通常是特征軸)。 例如华糖,在 data_format="channels_first"Conv2D 層之后, 在 BatchNormalization 中設(shè)置 axis=1瘟裸。
  • momentum: 移動均值和移動方差的動量客叉。
  • epsilon: 增加到方差的小的浮點(diǎn)數(shù),以避免除以零话告。
  • center: 如果為 True兼搏,把 beta 的偏移量加到標(biāo)準(zhǔn)化的張量上。 如果為 False沙郭, beta 被忽略佛呻。
  • scale: 如果為 True,乘以 gamma病线。 如果為 False吓著,gamma 不使用。 當(dāng)下一層為線性層(或者例如 nn.relu)送挑, 這可以被禁用绑莺,因?yàn)榭s放將由下一層完成。
  • beta_initializer: beta 權(quán)重的初始化方法惕耕。
  • gamma_initializer: gamma 權(quán)重的初始化方法纺裁。
  • moving_mean_initializer: 移動均值的初始化方法。
  • moving_variance_initializer: 移動方差的初始化方法司澎。
  • beta_regularizer: 可選的 beta 權(quán)重的正則化方法欺缘。
  • gamma_regularizer: 可選的 gamma 權(quán)重的正則化方法。
  • beta_constraint: 可選的 beta 權(quán)重的約束方法惭缰。
  • gamma_constraint: 可選的 gamma 權(quán)重的約束方法浪南。

輸入尺寸

可以是任意的。如果將這一層作為模型的第一層漱受, 則需要指定 input_shape 參數(shù) (整數(shù)元組络凿,不包含樣本數(shù)量的維度)。

輸出尺寸

與輸入相同昂羡。

參考文獻(xiàn)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末絮记,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子虐先,更是在濱河造成了極大的恐慌怨愤,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,383評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件蛹批,死亡現(xiàn)場離奇詭異撰洗,居然都是意外死亡篮愉,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評論 3 385
  • 文/潘曉璐 我一進(jìn)店門差导,熙熙樓的掌柜王于貴愁眉苦臉地迎上來试躏,“玉大人,你說我怎么就攤上這事设褐〉咴蹋” “怎么了?”我有些...
    開封第一講書人閱讀 157,852評論 0 348
  • 文/不壞的土叔 我叫張陵助析,是天一觀的道長犀被。 經(jīng)常有香客問我,道長外冀,這世上最難降的妖魔是什么寡键? 我笑而不...
    開封第一講書人閱讀 56,621評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮锥惋,結(jié)果婚禮上昌腰,老公的妹妹穿的比我還像新娘。我一直安慰自己膀跌,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評論 6 386
  • 文/花漫 我一把揭開白布固灵。 她就那樣靜靜地躺著捅伤,像睡著了一般。 火紅的嫁衣襯著肌膚如雪巫玻。 梳的紋絲不亂的頭發(fā)上丛忆,一...
    開封第一講書人閱讀 49,929評論 1 290
  • 那天,我揣著相機(jī)與錄音仍秤,去河邊找鬼熄诡。 笑死,一個胖子當(dāng)著我的面吹牛诗力,可吹牛的內(nèi)容都是我干的凰浮。 我是一名探鬼主播,決...
    沈念sama閱讀 39,076評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼苇本,長吁一口氣:“原來是場噩夢啊……” “哼袜茧!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起瓣窄,我...
    開封第一講書人閱讀 37,803評論 0 268
  • 序言:老撾萬榮一對情侶失蹤笛厦,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后俺夕,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體裳凸,經(jīng)...
    沈念sama閱讀 44,265評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡贱鄙,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了姨谷。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片逗宁。...
    茶點(diǎn)故事閱讀 38,716評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖菠秒,靈堂內(nèi)的尸體忽然破棺而出疙剑,到底是詐尸還是另有隱情,我是刑警寧澤践叠,帶...
    沈念sama閱讀 34,395評論 4 333
  • 正文 年R本政府宣布言缤,位于F島的核電站审残,受9級特大地震影響述召,放射性物質(zhì)發(fā)生泄漏老充。R本人自食惡果不足惜卓嫂,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評論 3 316
  • 文/蒙蒙 一缘屹、第九天 我趴在偏房一處隱蔽的房頂上張望摔笤。 院中可真熱鬧消略,春花似錦虚缎、人聲如沸守谓。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽斋荞。三九已至荞雏,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間平酿,已是汗流浹背凤优。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留蜈彼,地道東北人筑辨。 一個月前我還...
    沈念sama閱讀 46,488評論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像幸逆,于是被迫代替她去往敵國和親棍辕。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評論 2 350

推薦閱讀更多精彩內(nèi)容