損失函數(shù)又叫代價(jià)函數(shù)谊惭。目標(biāo)函數(shù)是一個(gè)更加廣的概念汽馋。對(duì)于目標(biāo)函數(shù)來說在有約束條件下的最小化就是損失函數(shù)。
用損失函數(shù)來度量擬合程度：
損失函數(shù)越小代表模型擬合的越好圈盔。
風(fēng)險(xiǎn)函數(shù)是損失函數(shù)的期望豹芯，關(guān)于訓(xùn)練集的平均損失稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)：
我們的目標(biāo)是使得經(jīng)驗(yàn)風(fēng)險(xiǎn)最小。
一個(gè)好的模型不僅要使得經(jīng)驗(yàn)風(fēng)險(xiǎn)最小驱敲，還要避免過度擬合铁蹈，也就是要滿足結(jié)構(gòu)風(fēng)險(xiǎn)最小化。此時(shí)定義一個(gè)函數(shù)J(f)癌佩。
J(f)負(fù)責(zé)衡量模型的復(fù)雜度木缝，在機(jī)器學(xué)習(xí)中也叫作正則化便锨，常用的有L1和L2范式围辙。L1范數(shù)為各參數(shù)絕對(duì)值之和，L2范數(shù)為各參數(shù)平方和的開方值放案，λ是一個(gè)超參數(shù)姚建，用于控制正則化程度。
另外介紹兩種正則化方法：訓(xùn)練集增強(qiáng)（更多數(shù)量的訓(xùn)練集是提升機(jī)器學(xué)習(xí)模型泛化能力的最好方法）吱殉、dropout（是一種計(jì)算方便但功能強(qiáng)大的正則化方法掸冤，適用于最近很火的神經(jīng)網(wǎng)絡(luò)厘托。他的基本步驟是在每一次的迭代中，隨機(jī)刪除一部分節(jié)點(diǎn)稿湿，只訓(xùn)練剩下的節(jié)點(diǎn)铅匹。每次迭代都會(huì)隨機(jī)刪除，每次迭代刪除的節(jié)點(diǎn)也都不一樣饺藤，相當(dāng)于每次迭代訓(xùn)練的都是不一樣的網(wǎng)絡(luò)包斑，通過這樣的方式降低節(jié)點(diǎn)之間的關(guān)聯(lián)性以及模型的復(fù)雜度，從而達(dá)到正則化的效果涕俗。）罗丰、earlystopping（提前終止）
到了這一步我們就可以定義我們的目標(biāo)函數(shù)了。目標(biāo)函數(shù)就是我們的終極優(yōu)化函數(shù)再姑，既保證經(jīng)驗(yàn)風(fēng)險(xiǎn)最小話萌抵，也保證結(jié)構(gòu)風(fēng)險(xiǎn)最小化，函數(shù)定義如下：
