Holdout檢驗
按一定比例劃分為訓(xùn)練集和測試集
這種方法也稱為保留法。我們通常取8-2、7-3执解、6-4、5-5比例切分纲酗，直接將數(shù)據(jù)隨機劃分為訓(xùn)練集和測試集衰腌，然后使用訓(xùn)練集來生成模型，再用測試集來測試模型的正確率和誤差觅赊，以驗證模型的有效性右蕊。
在驗證集上計算出來的最后評估指標(biāo)與原始分組有很大關(guān)系。
k-fold cross validation交叉驗證法
交叉驗證一般采用k折交叉驗證吮螺，即饶囚，往往k取為10。在這種數(shù)據(jù)集劃分法中鸠补，我們將數(shù)據(jù)集劃分為k個子集萝风，每個子集均做一次測試集，每次將其余的作為訓(xùn)練集紫岩。在交叉驗證時规惰，我們重復(fù)訓(xùn)練k次，每次選擇一個子集作為測試集被因，并將k次的平均交叉驗證的正確率作為最終的結(jié)果卿拴。
K越大衫仑，Bias越小。Variance越大
最后堕花，我們要說說K的選取文狱。事實上，和開頭給出的文章里的部分內(nèi)容一樣缘挽，K的選取是一個Bias和Variance的trade-off瞄崇。
K越大，每次投入的訓(xùn)練集的數(shù)據(jù)越多壕曼，模型的Bias越小苏研。但是K越大，又意味著每一次選取的訓(xùn)練集之前的相關(guān)性越大（考慮最極端的例子腮郊，當(dāng)k=N摹蘑，也就是在LOOCV里，每次都訓(xùn)練數(shù)據(jù)幾乎是一樣的）轧飞。而這種大相關(guān)性會導(dǎo)致最終的test error具有更大的Variance衅鹿。
一般來說，根據(jù)經(jīng)驗我們一般選擇k=5或10过咬。
Bootstrap自助法
不管是 Holdout檢驗還是交叉檢驗大渤，都是基于劃分訓(xùn)練集和測試集的方法進行模型評估的。然而掸绞，當(dāng)樣本規(guī)模比較小時泵三，將樣本集進行劃分會讓訓(xùn)練集進一步減小，這可能會影響模型訓(xùn)練效果衔掸。有沒有能維持訓(xùn)練集樣本規(guī)模的驗證方法呢烫幕？自助法可以比較好地解決這個問題。自助法是基于自助采樣法的檢驗方法具篇。對于總數(shù)為n的樣本集合纬霞，進行n次有放回的隨機抽樣凌埂，得到大小為n的訓(xùn)練集驱显。n次采樣過程中，有的樣本會被重復(fù)采樣瞳抓，有的樣本沒有被抽出過埃疫，將這些沒有被抽出的樣本作為驗證集，進行模型驗證孩哑，這就是自助法的驗證過程栓霜。
