批量歸一化層
對(duì)全連接層做批量歸一化
對(duì)卷積層做批量歸一化
對(duì)卷積層來(lái)說(shuō)楣号，批量歸一化發(fā)生在卷積計(jì)算之后、應(yīng)用激活函數(shù)之前怒坯。如果卷積計(jì)算輸出多個(gè)通道炫狱，我們需要對(duì)這些通道的輸出分別做批量歸一化，且每個(gè)通道都擁有獨(dú)立的拉伸和偏移參數(shù)剔猿，并均為標(biāo)量视译。設(shè)小批量中有mm個(gè)樣本。在單個(gè)通道上归敬，假設(shè)卷積計(jì)算輸出的高和寬分別為pp和qq酷含。我們需要對(duì)該通道中m×p×q個(gè)元素同時(shí)做批量歸一化。對(duì)這些元素做標(biāo)準(zhǔn)化計(jì)算時(shí)汪茧，我們使用相同的均值和方差椅亚，即該通道中m×p×q個(gè)元素的均值和方差。
預(yù)測(cè)時(shí)的批量歸一化
使用批量歸一化訓(xùn)練時(shí)陆爽，我們可以將批量大小設(shè)得大一點(diǎn)什往，從而使批量?jī)?nèi)樣本的均值和方差的計(jì)算都較為準(zhǔn)確扳缕。將訓(xùn)練好的模型用于預(yù)測(cè)時(shí)慌闭，我們希望模型對(duì)于任意輸入都有確定的輸出。因此躯舔，單個(gè)樣本的輸出不應(yīng)取決于批量歸一化所需要的隨機(jī)小批量中的均值和方差驴剔。一種常用的方法是通過(guò)移動(dòng)平均估算整個(gè)訓(xùn)練數(shù)據(jù)集的樣本均值和方差，并在預(yù)測(cè)時(shí)使用它們得到確定的輸出粥庄∩ナВ可見(jiàn)，和丟棄層一樣惜互，批量歸一化層在訓(xùn)練模式和預(yù)測(cè)模式下的計(jì)算結(jié)果也是不一樣的
殘差網(wǎng)絡(luò)（ResNet）
殘差塊通過(guò)跨層的數(shù)據(jù)通道從而能夠訓(xùn)練出有效的深度神經(jīng)網(wǎng)絡(luò)
ResNet深刻影響了后來(lái)的深度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)
稠密連接網(wǎng)絡(luò)（DenseNet）
在跨層連接上布讹，不同于ResNet中將輸入與輸出相加琳拭，DenseNet在通道維上連結(jié)輸入與輸出
?DenseNet的主要構(gòu)建模塊是稠密塊和過(guò)渡層
