對于多層稀疏自編碼的層疊,我們這里也可以采用逐層訓練的方法丈积。
首先和往常一樣訓練第一層參數(shù)
Paste_Image.png
然后固定第一層參數(shù)不動(freeze)碌补,加一層稀疏自編碼,訓練第二層稀疏自編碼參數(shù)啤斗。這其實就是把原始輸入通過第一層得到特征,利用這個特征再訓練一個“一層自編碼”赁咙。
Paste_Image.png
重復這個過程钮莲,根據(jù)需要加足夠的層。然后最后就是我們提取的高階特征彼水,我們利用這個特征訓練分類崔拥。
Paste_Image.png
拼起來就是我們最終需要的網(wǎng)絡。
Paste_Image.png
我們其實還可以對拼好的網(wǎng)絡繼續(xù)進行整體梯度下降學習(利用BP)凤覆,也即同時調(diào)整所有的參數(shù)链瓦。