1.Convariate
Convariate，協(xié)變量，在實(shí)驗(yàn)的設(shè)計(jì)中昏苏，協(xié)變量是一個(gè)獨(dú)立變量（解釋變量），不為實(shí)驗(yàn)者所操縱威沫，但仍影響實(shí)驗(yàn)結(jié)果[1]贤惯。比如受試者的年齡，雖然看起來(lái)與實(shí)驗(yàn)不相干棒掠，但是還是會(huì)或多或少影響實(shí)驗(yàn)結(jié)果孵构。
2.Convariate shift
Convariate shift，協(xié)變量偏移烟很，在神經(jīng)網(wǎng)絡(luò)模型中颈墅，初始化參數(shù)實(shí)際是會(huì)影響最終的實(shí)驗(yàn)結(jié)果。因?yàn)楫?dāng)輸入的數(shù)據(jù)不同時(shí)雾袱，經(jīng)過(guò)復(fù)雜的非線性映射輸出也會(huì)存在一定差異恤筛，它不能100%保證不管你輸入的是什么，輸出都會(huì)得到一樣的結(jié)果谜酒。對(duì)于深度模型叹俏，差異會(huì)隨著網(wǎng)絡(luò)的加深逐漸加大，每一層輸出都會(huì)得到不同的數(shù)據(jù)分布僻族，導(dǎo)致最終的預(yù)測(cè)結(jié)果效果不好粘驰。這里的初始化參數(shù)就可以理解為是協(xié)變量(convariate)屡谐，如下圖所示，我們本來(lái)期望輸出結(jié)果的分布是藍(lán)色曲線蝌数，但由于convariate導(dǎo)致輸出結(jié)果分布變成了綠色曲線愕掏，這個(gè)就叫做convariate shift。
3.如何避免convariate shift
避免方法就是batch normalization顶伞，在每一層輸出都加上一個(gè)normalization讓分布全通相同饵撑。
參考文獻(xiàn)：
