批量歸一化（BatchNormalization）
對輸入的標(biāo)準(zhǔn)化（淺層模型）
處理后的任意一個特征在數(shù)據(jù)集中所有樣本上的均值為0淑掌、標(biāo)準(zhǔn)差為1。
標(biāo)準(zhǔn)化處理輸入數(shù)據(jù)使各個特征的分布相近
批量歸一化（深度模型）
利用小批量上的均值和標(biāo)準(zhǔn)差薄货，不斷調(diào)整神經(jīng)網(wǎng)絡(luò)中間輸出螃征，從而使整個神經(jīng)網(wǎng)絡(luò)在各層的中間輸出的數(shù)值更穩(wěn)定碎绎。
1.對全連接層做批量歸一化
位置：全連接層中的仿射變換和激活函數(shù)之間。
全連接：
批量歸一化：
這?? > 0是個很小的常數(shù)阅畴，保證分母大于0
2.對卷積層做批量歸?化
位置：卷積計(jì)算之后倡怎、應(yīng)?激活函數(shù)之前。
如果卷積計(jì)算輸出多個通道贱枣，我們需要對這些通道的輸出分別做批量歸一化监署，且每個通道都擁有獨(dú)立的拉伸和偏移參數(shù)。 計(jì)算：對單通道纽哥，batchsize=m,卷積計(jì)算輸出=pxq 對該通道中m×p×q個元素同時做批量歸一化,使用相同的均值和方差钠乏。
3.預(yù)測時的批量歸?化
訓(xùn)練：以batch為單位,對每個batch計(jì)算均值和方差。
預(yù)測：用移動平均估算整個訓(xùn)練數(shù)據(jù)集的樣本均值和方差春塌。
學(xué)習(xí)鏈接：批量歸一化和殘差網(wǎng)絡(luò)
