備注

? ? ? ?主要內(nèi)容是如何選擇一個評估的實(shí)驗(yàn)方法跨跨，可以通過該實(shí)驗(yàn)方法對學(xué)習(xí)器的的泛化誤差進(jìn)行評估僵腺。實(shí)際情況中，我們通過實(shí)驗(yàn)測試來對學(xué)習(xí)器的泛化誤差進(jìn)行評估吧凉，對于樣本數(shù)據(jù)D假抄，如何將D劃分為訓(xùn)練數(shù)據(jù)S和測試數(shù)據(jù)T怎栽，從而來訓(xùn)練并且進(jìn)行泛化誤差估計(jì)，就是本節(jié)的主要內(nèi)容

一宿饱、基本概念

1熏瞄、訓(xùn)練集 S

? ? ? 訓(xùn)練集就是在模型訓(xùn)練時，學(xué)習(xí)器用來學(xué)習(xí)的數(shù)據(jù)集

2谬以、測試集? T

? ? ? 測試集就是在模型訓(xùn)練后强饮，用來測試學(xué)習(xí)器對新樣本的判別能力的數(shù)據(jù)集。

? ? ? 訓(xùn)練集和測試集中的數(shù)據(jù)为黎，都是從真實(shí)分布中獨(dú)立同分布選出來的邮丰，并且訓(xùn)練集和測試集盡量不要有交集行您。

3、最終模型

? ? ? ?經(jīng)過模型訓(xùn)練和測試以后剪廉，訓(xùn)練的結(jié)果達(dá)到了預(yù)期的要求娃循，此時需要按照此時的算法參數(shù)和內(nèi)容，對整個數(shù)據(jù)集D重新進(jìn)行學(xué)習(xí)斗蒋，得到的最終的模型才是用戶需要的最終模型捌斧。

二、留出法

1泉沾、基本思想：

? ? ? 留出法就是直接將數(shù)據(jù)集D劃分兩個互斥的集合捞蚂，其中一個為S，一個為T爆哑。在S上訓(xùn)練出模型之后洞难，用T進(jìn)行評估和測試。

2揭朝、方法論：

? ? ? 從樣本采樣的腳本看队贱，由于訓(xùn)練樣本包含多種特征，因此在進(jìn)行留出法分類時潭袱，要考慮分層采樣原則柱嫌，從而保留樣本的類別比例。（比如按照正負(fù)樣本數(shù)目進(jìn)行分層采樣）

? ? ? 從樣本分割的角度看屯换，按照分層之后的數(shù)據(jù)內(nèi)容進(jìn)行訓(xùn)練编丘，每一類都會有不同的結(jié)果，因此彤悔，單次訓(xùn)練的結(jié)果往往不夠穩(wěn)定可靠嘉抓，建議通過若干次隨機(jī)劃分、重復(fù)試驗(yàn)評估后取平均值作為最終的評估結(jié)果晕窑。

3抑片、不足之處

? ? ? ?當(dāng)S過大時，T過小杨赤，此時無法通過T進(jìn)行預(yù)測的結(jié)果不夠穩(wěn)定和準(zhǔn)確敞斋；當(dāng)S過小，T過大的時候疾牲，會出現(xiàn)欠擬合現(xiàn)象植捎，導(dǎo)致學(xué)習(xí)機(jī)的效果不好。

? ? ? 一般的是按照分層抽樣阳柔，每一層2/3~~4/5的樣本數(shù)據(jù)作為訓(xùn)練集S.

三焰枢、交叉驗(yàn)證法

1、基本思想

? ? ?將整個數(shù)據(jù)集D劃分為k個大小相等的互斥子集（通過分層采樣劃分），然后济锄，將k-1個子集作為訓(xùn)練集S枫匾，剩下的一個作為測試集T；總共可以獲得k組<訓(xùn)練集/測試集>拟淮，從而進(jìn)行k次訓(xùn)練和測試，最終返回的是k次測試的結(jié)果的均值谴忧。

2很泊、方法論

? ? ? ?與留出法很像，為了降低因?yàn)閯澐址绞降牟煌氲牟顒e沾谓，通常情況下委造，對進(jìn)行p次的隨機(jī)劃分，每一次隨機(jī)劃分會進(jìn)行k次的訓(xùn)練和驗(yàn)證均驶，所以總共會進(jìn)行p次k折交叉驗(yàn)證昏兆。

3、不足之處

? ? ?特別的妇穴，如果數(shù)據(jù)集D的大小為m爬虱，并且k=m，那么此時測試集T只有一個樣本腾它，即為留一法跑筝。

? ? ?留一法不受數(shù)據(jù)集劃分的影響，并且由于訓(xùn)練集較大瞒滴，留一法的訓(xùn)練模型也很接近D訓(xùn)練的模型曲梗，但是該方法在數(shù)據(jù)集較大的時候，計(jì)算開銷太大了妓忍。

四虏两、自助法（bootstrapping）

1、基本思想

? ?有放回的隨機(jī)采樣世剖。假設(shè)數(shù)據(jù)集D有n個樣本定罢，那么每次隨機(jī)從D中挑選出一個樣本，放入D`搁廓，并將樣本放回至D引颈，經(jīng)過n次以后，D`中會有n個元素境蜕，即為自主采樣的訓(xùn)練樣本集S蝙场。

? ?其中，D`中會出現(xiàn)重復(fù)的樣本粱年，沒有出現(xiàn)的樣本即作為測試樣本集T

2售滤、方法論

? ? 樣本在n次采樣中都不會被選中的概率為大約0.38，即意味著測試集中有38%的未訓(xùn)練過的樣本

3、不足之處

? ? ?在數(shù)據(jù)集D個數(shù)比較小完箩，難以有效劃分訓(xùn)練集的時候赐俗，可以使用自助法，但是自助法產(chǎn)生的數(shù)據(jù)集會有重復(fù)弊知，這就改變了初始的數(shù)據(jù)集的分布阻逮，所以當(dāng)數(shù)據(jù)集較大的時候，不建議使用秩彤。