本文從以下3點敘述神經(jīng)網(wǎng)絡(luò)中的dropout技術(shù)堵未。
1盏触、什么是dropout块饺？
2雌芽、dropout的理論。
3世落、dropout的缺點。
1 什么是dropout
Dropout是由Professor Geoffrey Hinton 大神提出的一種防止神經(jīng)網(wǎng)絡(luò)過擬合的方法谷朝，又叫“丟棄學(xué)習(xí)”武花，“隨機失活”。具體是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程中专钉，隨機地丟棄掉部分神經(jīng)元累铅，所謂的丟棄就是使得神經(jīng)元的輸出為0，具體操作就是在神經(jīng)元的激活函數(shù)之后有一定概率 p 的自乘0.
2娃兽、dropout的理論
以下是我搜集到的各種解釋
1） 在訓(xùn)練過程中使用Dropout能夠訓(xùn)練出不使用dropout時DNN的子網(wǎng)絡(luò)集合，預(yù)測時平均整個集合的結(jié)果玉雾。這種解釋很宏觀轻要，但很容易理解，是一種ensemble learning的思想冲泥。
2） 在標(biāo)準(zhǔn)的DNN中（不使用dropout）為了減少損失函數(shù)凡恍，每一個被訓(xùn)練的參數(shù)都會被它的導(dǎo)數(shù)指引來進行參數(shù)更新。這會出現(xiàn)一個問題嚼酝，當(dāng)誤差并不主要是由某一參數(shù)路線的不合適引起時，該線路的參數(shù)也會被梯度指引進行更新钧舌，這是一種錯誤的修正。究其原因是標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)會使得各個神經(jīng)元之間產(chǎn)生復(fù)雜的協(xié)作洼冻，聯(lián)動，這反而會引起過擬合率碾，因為這些協(xié)作屋彪、聯(lián)動非常容易使網(wǎng)絡(luò)學(xué)習(xí)到訓(xùn)練集的特性，而不是未知的數(shù)據(jù)的特性歧匈。這一思想簡而言之就是：在訓(xùn)練階段阻止了神經(jīng)元之間的共適性/協(xié)同作用(co-adaptation)砰嘁。被丟棄的神經(jīng)元不工作，不被更新矮湘。
3 dropout的缺點
使用dropout后，模型的訓(xùn)練時間會變長磕蛇。
