batch normalization 多用于CNN或者NLP。是對Batch數(shù)據(jù)的不同維度單獨進(jìn)行正則化。對于單一的測試數(shù)據(jù)問題較多洒琢。
Layer normalization是對同一個數(shù)據(jù)的不同維度進(jìn)行正則化,和Batch沒有關(guān)系。
Ref:
https://zhuanlan.zhihu.com/p/54530247
https://www.youtube.com/watch?v=BZh1ltr5Rkg