Norm舉例

# 創(chuàng)建一個(gè)輸入張量删咱，其中有兩個(gè)句子（即 batch_size=2）屑埋，每個(gè)句子有4個(gè)詞（即 seq_len=4），并且每個(gè)詞的詞向量維度是3（即 dim=3）痰滋。這樣摘能，我們的輸入張量的形狀就是 (2,4,3)
X = np.array([
    [[0.1, 0.2, 0.3],
     [1.1, 1.2, 1.3],
     [2.1, 2.2, 2.3],
     [3.1, 3.2, 3.3]],
    
    [[4.1, 4.2, 4.3],
     [5.1, 5.2, 5.3],
     [6.1, 6.2, 6.3],
     [7.1, 7.2, 7.3]]
])

#batch_norm 续崖，會(huì)發(fā)現(xiàn)一句話里的每個(gè)token都一樣了，雖然是例子有點(diǎn)特殊团搞，但是也說明了batch_norm不適合NLP
array([[[-1.04912609, -0.99916771, -0.94920932],
        [-1.04912609, -0.99916771, -0.94920932],
        [-1.04912609, -0.99916771, -0.94920932],
        [-1.04912609, -0.99916771, -0.94920932]],

       [[ 0.94920932,  0.99916771,  1.04912609],
        [ 0.94920932,  0.99916771,  1.04912609],
        [ 0.94920932,  0.99916771,  1.04912609],
        [ 0.94920932,  0.99916771,  1.04912609]]])

#layer_norm 
 array([[[-1.42728248, -1.33807733, -1.24887217],
         [-0.53523093, -0.44602578, -0.35682062],
         [ 0.35682062,  0.44602578,  0.53523093],
         [ 1.24887217,  1.33807733,  1.42728248]],
 
        [[-1.42728248, -1.33807733, -1.24887217],
         [-0.53523093, -0.44602578, -0.35682062],
         [ 0.35682062,  0.44602578,  0.53523093],
         [ 1.24887217,  1.33807733,  1.42728248]]]),

#instance_norm（同樣每個(gè)token都一樣严望，完全忽略了上下文的關(guān)系）
 array([[[-1.22474487e+00,  0.00000000e+00,  1.22474487e+00],
         [-1.22474487e+00,  0.00000000e+00,  1.22474487e+00],
         [-1.22474487e+00,  0.00000000e+00,  1.22474487e+00],
         [-1.22474487e+00,  0.00000000e+00,  1.22474487e+00]],
 
        [[-1.22474487e+00,  0.00000000e+00,  1.22474487e+00],
         [-1.22474487e+00,  0.00000000e+00,  1.22474487e+00],
         [-1.22474487e+00,  0.00000000e+00,  1.22474487e+00],
         [-1.22474487e+00,  0.00000000e+00,  1.22474487e+00]]]),

#group_norm(如果n=2，也就是每?jī)蓚€(gè)token一起算)
 array([[[-1.18431305, -0.98692754, -0.78954203],
         [ 0.78954203,  0.98692754,  1.18431305],
         [-1.18431305, -0.98692754, -0.78954203],
         [ 0.78954203,  0.98692754,  1.18431305]],
 
        [[-1.18431305, -0.98692754, -0.78954203],
         [ 0.78954203,  0.98692754,  1.18431305],
         [-1.18431305, -0.98692754, -0.78954203],
         [ 0.78954203,  0.98692754,  1.18431305]]]))
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末逻恐，一起剝皮案震驚了整個(gè)濱河市像吻，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌梢莽，老刑警劉巖萧豆，帶你破解...
    沈念sama閱讀 218,204評(píng)論 6贊 506
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件奸披，死亡現(xiàn)場(chǎng)離奇詭異昏名，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)阵面，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評(píng)論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門轻局，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人样刷，你說我怎么就攤上這事仑扑。” “怎么了置鼻？”我有些...
    開封第一講書人閱讀 164,548評(píng)論 0贊 354
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵镇饮，是天一觀的道長(zhǎng)。 經(jīng)常有香客問我箕母，道長(zhǎng)储藐，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 58,657評(píng)論 1贊 293
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任嘶是，我火速辦了婚禮钙勃，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘聂喇。我一直安慰自己辖源，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,689評(píng)論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布希太。 她就那樣靜靜地躺著克饶，像睡著了一般。 火紅的嫁衣襯著肌膚如雪誊辉。 梳的紋絲不亂的頭發(fā)上矾湃，一...
    開封第一講書人閱讀 51,554評(píng)論 1贊 305
  • 城市分裂傳說
    那天，我揣著相機(jī)與錄音芥映，去河邊找鬼洲尊。 笑死远豺，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的坞嘀。 我是一名探鬼主播躯护，決...
    沈念sama閱讀 40,302評(píng)論 3贊 418
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼丽涩！你這毒婦竟也來了棺滞？” 一聲冷哼從身側(cè)響起，我...
    開封第一講書人閱讀 39,216評(píng)論 0贊 276
  • 萬榮殺人案實(shí)錄
    序言：老撾萬榮一對(duì)情侶失蹤矢渊，失蹤者是張志新（化名）和其女友劉穎继准，沒想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體矮男，經(jīng)...
    沈念sama閱讀 45,661評(píng)論 1贊 314
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡移必，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,851評(píng)論 3贊 336
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了毡鉴。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片崔泵。...
    茶點(diǎn)故事閱讀 39,977評(píng)論 1贊 348
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖猪瞬，靈堂內(nèi)的尸體忽然破棺而出憎瘸，到底是詐尸還是另有隱情，我是刑警寧澤陈瘦，帶...
    沈念sama閱讀 35,697評(píng)論 5贊 347
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布幌甘，位于F島的核電站，受9級(jí)特大地震影響痊项，放射性物質(zhì)發(fā)生泄漏锅风。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,306評(píng)論 3贊 330
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一线婚、第九天 我趴在偏房一處隱蔽的房頂上張望遏弱。 院中可真熱鬧，春花似錦塞弊、人聲如沸漱逸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,898評(píng)論 0贊 22
  • 一樁弒父案游沿，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽饰抒。三九已至，卻和暖如春诀黍，著一層夾襖步出監(jiān)牢的瞬間袋坑，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,019評(píng)論 1贊 270
  • 情欲美人皮
    我被黑心中介騙來泰國(guó)打工眯勾， 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留枣宫，地道東北人婆誓。 一個(gè)月前我還...
    沈念sama閱讀 48,138評(píng)論 3贊 370
  • 代替公主和親
    正文 我出身青樓，卻偏偏與公主長(zhǎng)得像也颤，于是被迫代替她去往敵國(guó)和親洋幻。 傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,927評(píng)論 2贊 355

推薦閱讀更多精彩內(nèi)容