1.3 統(tǒng)計(jì)學(xué)習(xí)三要素
1.3.2 策略
? ? ?? 損失函數(shù)和風(fēng)險(xiǎn)函數(shù)。損失函數(shù)度量模型一次預(yù)測(cè)的好壞氮凝，風(fēng)險(xiǎn)函數(shù)度量平均意義下模型預(yù)測(cè)的好壞羔巢。
? ? ? 監(jiān)督學(xué)習(xí)問題是在假設(shè)空間中選取模型f作為決策函數(shù)，對(duì)于給定的輸入X，由f（X）給出相應(yīng)的輸出Y竿秆，這個(gè)輸出的預(yù)測(cè)值f(X)與真實(shí)值Y可能一致也可能不一致炭臭，用一個(gè)損失函數(shù)或者代價(jià)函數(shù)來(lái)度量預(yù)測(cè)錯(cuò)誤的程度。損失函數(shù)是f（x）和Y的非負(fù)實(shí)值函數(shù)袍辞，記作L（Y鞋仍，f（X））。常見的損失函數(shù)又0-1損失函數(shù)搅吁，平方損失函數(shù)威创，絕對(duì)損失函數(shù)，對(duì)數(shù)損失函數(shù)谎懦。損失函數(shù)值越小肚豺，模型就越好。
? ? ? 風(fēng)險(xiǎn)函數(shù)是損失函數(shù)的期望界拦，是理論上模型f（X）關(guān)于聯(lián)合分布P（X吸申，Y）的平均意義下的損失。
? ?? 監(jiān)督學(xué)習(xí)的兩個(gè)基本策略是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（empirical risk minimization享甸，ERM）和結(jié)構(gòu)風(fēng)險(xiǎn)最小化（structural risk minimization截碴，SRM）。ERM的策略認(rèn)為蛉威，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的模型是最優(yōu)的模型日丹。但是，當(dāng)樣本容量很小時(shí)蚯嫌，經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的學(xué)習(xí)的效果就未必很好哲虾，會(huì)產(chǎn)生“過(guò)擬合”的現(xiàn)象。SRM的策略認(rèn)為結(jié)構(gòu)風(fēng)險(xiǎn)最小的模型是最好的模型择示。SRM是為了防止過(guò)擬合而提出的策略束凑，SRM等價(jià)于正則化。結(jié)構(gòu)風(fēng)險(xiǎn)在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上表示模型復(fù)雜度的正則化項(xiàng)或者罰項(xiàng)栅盲。因此汪诉，監(jiān)督學(xué)習(xí)問題就變成了經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)最優(yōu)化問題。這時(shí)經(jīng)驗(yàn)或結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)是最優(yōu)化的目標(biāo)函數(shù)剪菱。
1.5 正則化與交叉驗(yàn)證
? ?? 正則化是結(jié)構(gòu)風(fēng)險(xiǎn)最小化策略的實(shí)現(xiàn)摩瞎，是在經(jīng)驗(yàn)風(fēng)險(xiǎn)上加上一個(gè)正則化項(xiàng)（regularizer）或懲罰項(xiàng)（penalty term）。正則化項(xiàng)一般是模型復(fù)雜度的單調(diào)遞增函數(shù)孝常，模型越復(fù)雜旗们，正則化值就越大，比如构灸，正則化項(xiàng)可以是模型參數(shù)向量的范數(shù)上渴。正則化的作用是選擇經(jīng)驗(yàn)風(fēng)險(xiǎn)和模型復(fù)雜度同時(shí)將校的模型岸梨。
1.5.2 交叉驗(yàn)證
? ? 另外一種常用的模型選擇的方法是交叉驗(yàn)證。交叉驗(yàn)基本想法是重復(fù)地使用數(shù)據(jù)稠氮，把給定的數(shù)據(jù)進(jìn)行切分曹阔，將切分的數(shù)據(jù)集組合為訓(xùn)練集和測(cè)試集，在此基礎(chǔ)上反復(fù)地進(jìn)行訓(xùn)練隔披、測(cè)試以及模型的選擇赃份。
簡(jiǎn)單交叉驗(yàn)證：首先隨機(jī)地將已給數(shù)據(jù)分為兩個(gè)部分，一部分作為訓(xùn)練數(shù)據(jù)集奢米，另一部分作為測(cè)試數(shù)據(jù)集抓韩。然后用訓(xùn)練集在各種條件下訓(xùn)練模型，從而得到不同的模型鬓长，在測(cè)試集上評(píng)價(jià)各個(gè)模型的測(cè)試誤差谒拴，選出測(cè)試誤差最小的模型。
S折交叉驗(yàn)證：隨機(jī)地將已給數(shù)據(jù)切分成互不相交的大小相同的子集涉波，然后利用S-1個(gè)子集的數(shù)據(jù)訓(xùn)練模型英上，利用余下的子集測(cè)試模型；將這一過(guò)程對(duì)可能的S種選擇重復(fù)進(jìn)行啤覆；最后選出S次評(píng)測(cè)種平均測(cè)試誤差最小的模型苍日。
留一交叉驗(yàn)證：S折交叉驗(yàn)證的特殊情形是S = N，成為留一交叉驗(yàn)證城侧，往往在數(shù)據(jù)缺乏的情況下使用易遣。
