dropout layer的目的是為了防止CNN 過擬合,詳情見Dropout: A Simple Way to Prevent Neural Networks from Overfitting迁霎。在訓(xùn)練過程中草巡，將神經(jīng)網(wǎng)絡(luò)進(jìn)行采樣，也就是隨機(jī)的讓神經(jīng)元激活值為0尚困，而在測(cè)試時(shí)不再采用dropout掏膏。通常設(shè)置隨機(jī)采樣概率為0.5劳翰，也可以通過驗(yàn)證集來確定采樣概率。
Dropout網(wǎng)絡(luò)
1.前向傳播
訓(xùn)練階段：前向傳播給定每個(gè)神經(jīng)元一個(gè)隨機(jī)值（0~1）馒疹，假定設(shè)置采樣閾值為0.5佳簸，如果該神經(jīng)元對(duì)應(yīng)的隨機(jī)值小于0.5，則設(shè)置該神經(jīng)元為0，否則設(shè)置該神經(jīng)元值為2乘以原值生均，（1/0.5）听想，并把所有神經(jīng)元對(duì)應(yīng)的隨機(jī)值保存下來，在后向傳播是需要使用马胧。
測(cè)試階段：無需dropout汉买。
2.反向傳播
讀取在前向傳播記錄的隨機(jī)值，同樣的操作：該梯度值對(duì)應(yīng)的隨機(jī)值小于0.5佩脊，則設(shè)置該梯度值為0蛙粘，否則設(shè)置該梯度值值為2乘以原值，（1/0.5）威彰。
