深度學(xué)習(xí)模型的參數(shù)分為普通參數(shù)和超參數(shù):
普通參數(shù):在模型訓(xùn)練的過程中可以被梯度下降所更新的,也就是訓(xùn)練集所更新的參數(shù)。
超參數(shù):比如網(wǎng)絡(luò)層數(shù)催什、網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、迭代次數(shù)宰睡、學(xué)習(xí)率等等蒲凶,這些參數(shù)不在梯度下降的更新范圍內(nèi)气筋。超參數(shù)的設(shè)置一般是人工根據(jù)驗(yàn)證集來調(diào)。
訓(xùn)練集的作用就是通過梯度下降來調(diào)整模型的內(nèi)部普通參數(shù)豹爹。
驗(yàn)證集的作用是在每個(gè)epoch完成后裆悄,用來測試一下當(dāng)前模型的準(zhǔn)確率,并根據(jù)驗(yàn)證集的準(zhǔn)確率調(diào)整模型的超參數(shù)臂聋,如迭代次數(shù)、學(xué)習(xí)率等或南;在每一步訓(xùn)練之后孩等,計(jì)算驗(yàn)證集的分類精度。一旦驗(yàn)證集的分類精度達(dá)到飽和采够,就停止訓(xùn)練肄方。這種策略叫做提前終止(early stopping)。
測試集是用來評估模最終模型的泛化能力蹬癌。但不能作為調(diào)參权她、選擇特征等算法相關(guān)的選擇的依據(jù)。
參考資料:
http://www.manongjc.com/article/37736.html
https://blog.csdn.net/ytusdc/article/details/86488537