pytorch中BatchNorm1d垒玲、BatchNorm2d唱歧、BatchNorm3d

1.nn.BatchNorm1d(num_features)

        1.對小批量(mini-batch)的2d或3d輸入進(jìn)行批標(biāo)準(zhǔn)化(Batch Normalization)操作
        2.num_features:
                來自期望輸入的特征數(shù)朦乏,該期望輸入的大小為'batch_size x num_features [x width]'
                意思即輸入大小的形狀可以是'batch_size x num_features' 和 'batch_size x num_features x width' 都可以球及。
                (輸入輸出相同)
                輸入Shape:(N, C)或者(N, C, L)
                輸出Shape:(N, C)或者(N,C呻疹,L)

          eps:為保證數(shù)值穩(wěn)定性(分母不能趨近或取0),給分母加上的值桶略。默認(rèn)為1e-5。
          momentum:動(dòng)態(tài)均值和動(dòng)態(tài)方差所使用的動(dòng)量诲宇。默認(rèn)為0.1际歼。
          affine:一個(gè)布爾值,當(dāng)設(shè)為true姑蓝,給該層添加可學(xué)習(xí)的仿射變換參數(shù)鹅心。
        3.在每一個(gè)小批量(mini-batch)數(shù)據(jù)中,計(jì)算輸入各個(gè)維度的均值和標(biāo)準(zhǔn)差纺荧。gamma與beta是可學(xué)習(xí)的大小為C的參數(shù)向量(C為輸入大行窭ⅰ)
          在訓(xùn)練時(shí),該層計(jì)算每次輸入的均值與方差宙暇,并進(jìn)行移動(dòng)平均输枯。移動(dòng)平均默認(rèn)的動(dòng)量值為0.1。
          在驗(yàn)證時(shí)占贫,訓(xùn)練求得的均值/方差將用于標(biāo)準(zhǔn)化驗(yàn)證數(shù)據(jù)桃熄。 
        4.例子
                >>> # With Learnable Parameters
                >>> m = nn.BatchNorm1d(100) #num_features指的是randn(20, 100)中(N, C)的第二維C
                >>> # Without Learnable Parameters
                >>> m = nn.BatchNorm1d(100, affine=False)
                >>> input = autograd.Variable(torch.randn(20, 100)) #輸入Shape:(N, C)
                >>> output = m(input)  #輸出Shape:(N, C)

2.nn.BatchNorm2d(num_features)

        1.對小批量(mini-batch)3d數(shù)據(jù)組成的4d輸入進(jìn)行批標(biāo)準(zhǔn)化(Batch Normalization)操作
        2.num_features: 
                來自期望輸入的特征數(shù),該期望輸入的大小為'batch_size x num_features x height x width'
                (輸入輸出相同)
                    輸入Shape:(N, C型奥,H, W)
                    輸出Shape:(N, C, H, W)
          eps: 為保證數(shù)值穩(wěn)定性(分母不能趨近或取0),給分母加上的值瞳收。默認(rèn)為1e-5碉京。
          momentum: 動(dòng)態(tài)均值和動(dòng)態(tài)方差所使用的動(dòng)量。默認(rèn)為0.1螟深。
          affine: 一個(gè)布爾值谐宙,當(dāng)設(shè)為true,給該層添加可學(xué)習(xí)的仿射變換參數(shù)界弧。
        3.在每一個(gè)小批量(mini-batch)數(shù)據(jù)中凡蜻,計(jì)算輸入各個(gè)維度的均值和標(biāo)準(zhǔn)差。gamma與beta是可學(xué)習(xí)的大小為C的參數(shù)向量(C為輸入大泄富)
          在訓(xùn)練時(shí)咽瓷,該層計(jì)算每次輸入的均值與方差,并進(jìn)行移動(dòng)平均舰讹。移動(dòng)平均默認(rèn)的動(dòng)量值為0.1茅姜。
          在驗(yàn)證時(shí),訓(xùn)練求得的均值/方差將用于標(biāo)準(zhǔn)化驗(yàn)證數(shù)據(jù)月匣。
        4.例子
            >>> # With Learnable Parameters
            >>> m = nn.BatchNorm2d(100) #num_features指的是randn(20, 100, 35, 45)中(N, C钻洒,H, W)的第二維C
            >>> # Without Learnable Parameters
            >>> m = nn.BatchNorm2d(100, affine=False)
            >>> input = autograd.Variable(torch.randn(20, 100, 35, 45))  #輸入Shape:(N, C,H, W)
            >>> output = m(input)

3.nn.BatchNorm3d(num_features)

        1.對小批量(mini-batch)4d數(shù)據(jù)組成的5d輸入進(jìn)行批標(biāo)準(zhǔn)化(Batch Normalization)操作
        2.num_features: 
                來自期望輸入的特征數(shù)锄开,該期望輸入的大小為'batch_size x num_features depth x height x width'
                (輸入輸出相同)
                 輸入Shape:(N, C素标,D, H, W)
                 輸出Shape:(N, C, D, H, W)

          eps: 為保證數(shù)值穩(wěn)定性(分母不能趨近或取0),給分母加上的值。默認(rèn)為1e-5萍悴。
          momentum: 動(dòng)態(tài)均值和動(dòng)態(tài)方差所使用的動(dòng)量头遭。默認(rèn)為0.1。
          affine: 一個(gè)布爾值癣诱,當(dāng)設(shè)為true计维,給該層添加可學(xué)習(xí)的仿射變換參數(shù)。

        3.在每一個(gè)小批量(mini-batch)數(shù)據(jù)中撕予,計(jì)算輸入各個(gè)維度的均值和標(biāo)準(zhǔn)差鲫惶。gamma與beta是可學(xué)習(xí)的大小為C的參數(shù)向量(C為輸入大小)
          在訓(xùn)練時(shí)实抡,該層計(jì)算每次輸入的均值與方差欠母,并進(jìn)行移動(dòng)平均。移動(dòng)平均默認(rèn)的動(dòng)量值為0.1吆寨。
          在驗(yàn)證時(shí)赏淌,訓(xùn)練求得的均值/方差將用于標(biāo)準(zhǔn)化驗(yàn)證數(shù)據(jù)。
        4.例子
            >>> # With Learnable Parameters
            >>> m = nn.BatchNorm3d(100)  #num_features指的是randn(20, 100, 35, 45, 10)中(N, C, D, H, W)的第二維C
            >>> # Without Learnable Parameters
            >>> m = nn.BatchNorm3d(100, affine=False)  #num_features指的是randn(20, 100, 35, 45, 10)中(N, C, D, H, W)的第二維C
            >>> input = autograd.Variable(torch.randn(20, 100, 35, 45, 10)) #輸入Shape:(N, C, D, H, W) 
            >>> output = m(input)

一技破萬法
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末啄清,一起剝皮案震驚了整個(gè)濱河市六水,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖缩擂,帶你破解...
    沈念sama閱讀 210,978評(píng)論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異添寺,居然都是意外死亡胯盯,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,954評(píng)論 2 384
  • 文/潘曉璐 我一進(jìn)店門计露,熙熙樓的掌柜王于貴愁眉苦臉地迎上來博脑,“玉大人,你說我怎么就攤上這事票罐〔嫒ぃ” “怎么了?”我有些...
    開封第一講書人閱讀 156,623評(píng)論 0 345
  • 文/不壞的土叔 我叫張陵该押,是天一觀的道長疗杉。 經(jīng)常有香客問我,道長蚕礼,這世上最難降的妖魔是什么烟具? 我笑而不...
    開封第一講書人閱讀 56,324評(píng)論 1 282
  • 正文 為了忘掉前任,我火速辦了婚禮奠蹬,結(jié)果婚禮上朝聋,老公的妹妹穿的比我還像新娘。我一直安慰自己囤躁,他們只是感情好冀痕,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,390評(píng)論 5 384
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著狸演,像睡著了一般言蛇。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上宵距,一...
    開封第一講書人閱讀 49,741評(píng)論 1 289
  • 那天猜极,我揣著相機(jī)與錄音,去河邊找鬼消玄。 笑死跟伏,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的翩瓜。 我是一名探鬼主播受扳,決...
    沈念sama閱讀 38,892評(píng)論 3 405
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼兔跌!你這毒婦竟也來了勘高?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,655評(píng)論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎华望,沒想到半個(gè)月后蕊蝗,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,104評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡赖舟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,451評(píng)論 2 325
  • 正文 我和宋清朗相戀三年蓬戚,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片宾抓。...
    茶點(diǎn)故事閱讀 38,569評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡子漩,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出石洗,到底是詐尸還是另有隱情幢泼,我是刑警寧澤,帶...
    沈念sama閱讀 34,254評(píng)論 4 328
  • 正文 年R本政府宣布讲衫,位于F島的核電站缕棵,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏涉兽。R本人自食惡果不足惜挥吵,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,834評(píng)論 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望花椭。 院中可真熱鬧忽匈,春花似錦、人聲如沸矿辽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,725評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽袋倔。三九已至雕蔽,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間宾娜,已是汗流浹背批狐。 一陣腳步聲響...
    開封第一講書人閱讀 31,950評(píng)論 1 264
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留前塔,地道東北人嚣艇。 一個(gè)月前我還...
    沈念sama閱讀 46,260評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像华弓,于是被迫代替她去往敵國和親食零。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,446評(píng)論 2 348