交叉驗(yàn)證

??交叉驗(yàn)證（Cross-Validation）可能是數(shù)據(jù)科學(xué)家在進(jìn)行統(tǒng)計(jì)分析時(shí)最重要的技術(shù)之一鸟雏，因?yàn)樵趯?shí)際中經(jīng)常需要驗(yàn)證一個(gè)ML模型的穩(wěn)定性--模型在新數(shù)據(jù)集上的泛化能力室抽。它需要確保由數(shù)據(jù)集得到的ML模型已經(jīng)獲得數(shù)據(jù)集大部分正確的信息，并且不能包含太多噪聲宋税，換句話說摊崭，它的偏差和方差是較小的。本文將要介紹交叉驗(yàn)證的相關(guān)概念杰赛。
??交叉驗(yàn)證是一種模型的驗(yàn)證技術(shù)用于評(píng)估一個(gè)統(tǒng)計(jì)分析模型在獨(dú)立數(shù)據(jù)集上的概括能力呢簸。主要用于在使用ML模型進(jìn)行預(yù)測時(shí)，準(zhǔn)確衡量一個(gè)模型在實(shí)際數(shù)據(jù)集上的效果淆攻。具體來說就是將整個(gè)數(shù)據(jù)集劃分為若干部分阔墩，一部分用以訓(xùn)練模型、一部分用以測試最終模型的優(yōu)劣瓶珊、一部分驗(yàn)證模型結(jié)構(gòu)和超參數(shù)啸箫。
??交叉驗(yàn)證的目標(biāo)是確定一個(gè)原數(shù)據(jù)集的子集，去限制ML模型在訓(xùn)練階段的一些問題伞芹，比如模型的過擬合忘苛、欠擬合等，同時(shí)提供了一種判斷標(biāo)準(zhǔn)去衡量模型在獨(dú)立數(shù)據(jù)集上的泛化能力唱较。值得注意的是扎唾，數(shù)據(jù)集和測試集必須是獨(dú)立同分布，不然反而會(huì)得到很槽糕的模型南缓。

交叉驗(yàn)證的用途
交叉驗(yàn)證可以有效評(píng)估模型的質(zhì)量
交叉驗(yàn)證可以有效選擇在數(shù)據(jù)集上表現(xiàn)最好的模型
交叉驗(yàn)證可以有效避免過擬合和欠擬合

欠擬合（Underfitting）
是指模型不能獲取數(shù)據(jù)集的主要信息胸遇，在訓(xùn)練集及測試集上的表示都十分糟糕。

過擬合（Overfitting）
是指模型不僅獲取了數(shù)據(jù)集的信息還提取了噪聲數(shù)據(jù)的信息是的模型在訓(xùn)練集有非常好的表現(xiàn)但在測試集上的表現(xiàn)及其糟糕汉形。

所以可以得出一個(gè)較為草率的結(jié)論：一個(gè)最佳的ML模型在訓(xùn)練集和測試集上都有較好的表現(xiàn)纸镊。

??通常，基于數(shù)據(jù)的具體劃分方式有多種交叉驗(yàn)證方法概疆。

Train/Test split（Groups=2）

在這種方法中逗威，我們簡單的將數(shù)據(jù)集劃分為兩個(gè)部分：訓(xùn)練集和測試集且在訓(xùn)練集和測試集之前沒有交叉重疊的樣本，如果訓(xùn)練集和測試集之間出現(xiàn)了交叉重疊的樣本岔冀，以此訓(xùn)練得到模型是不可靠的凯旭，這也是為什么數(shù)據(jù)集中不能有重復(fù)樣本的主要原因。在得到最終的模型之前可以使用整個(gè)數(shù)據(jù)集重新訓(xùn)練模型來對(duì)模型的超參數(shù)進(jìn)行調(diào)整。

但是這種將數(shù)據(jù)集分為訓(xùn)練集和測試集的方式有一個(gè)很大的缺點(diǎn)：
容易導(dǎo)致過擬合罐呼，當(dāng)數(shù)據(jù)集的劃分不是隨機(jī)進(jìn)行的鞠柄，或者劃分出的子集只包含了數(shù)據(jù)集的一部分特征時(shí)，因?yàn)闊o法確定哪些數(shù)據(jù)點(diǎn)會(huì)出現(xiàn)在驗(yàn)證集中弄贿，過擬合時(shí)無可避免的春锋。因此，只有在擁有足夠多的數(shù)據(jù)時(shí)差凹，它才是一個(gè)不錯(cuò)的選擇期奔。

在Python中使用：xtrain,xtest,ytrain,ytest = sklearn.model_selection.train_test_split()實(shí)現(xiàn)
Args:
data要進(jìn)行劃分的數(shù)據(jù)集，支持列表危尿、數(shù)據(jù)幀呐萌、數(shù)組、矩陣
test_size 測試集所占比例谊娇，默認(rèn)為0.25
train_size訓(xùn)練集所占比例
random_state隨機(jī)數(shù)種子肺孤，用于生成重復(fù)隨機(jī)數(shù)，保證實(shí)驗(yàn)可復(fù)現(xiàn)
shuffle 是否在劃分?jǐn)?shù)據(jù)集之前打亂數(shù)據(jù)集

K-Flod（Groups=k）
??當(dāng)沒有足夠的數(shù)據(jù)用于訓(xùn)練模型時(shí)济欢，劃分?jǐn)?shù)據(jù)的一部分進(jìn)行驗(yàn)證會(huì)導(dǎo)致得到模型欠擬合赠堵，減少訓(xùn)練集，會(huì)使模型喪失部分?jǐn)?shù)據(jù)集中重要的特征或趨勢法褥，這會(huì)增加偏差導(dǎo)致的誤差茫叭。因此，我們需要一種方法來提供樣本集訓(xùn)練模型并且留一部分?jǐn)?shù)據(jù)集用于驗(yàn)證模型半等，k折交叉驗(yàn)證（K-Flod）因此被提出揍愁。具體來說，先將數(shù)據(jù)集打亂杀饵，然后再將打亂后的數(shù)據(jù)集均勻分成k份莽囤，輪流選擇其中的k-1份作為訓(xùn)練集，剩下的一份作驗(yàn)證切距，計(jì)算模型的誤差平方和朽缎。迭代進(jìn)行k次后將k次的誤差平法和做平均作為選擇最優(yōu)模型的依據(jù)。
??k折交叉驗(yàn)證在進(jìn)行k次交叉驗(yàn)證之后谜悟，使用k次平均成績來作為整個(gè)模型的得分饵沧。每個(gè)數(shù)據(jù)在驗(yàn)證集中出現(xiàn)一次，并且在訓(xùn)練中出現(xiàn)k-1次赌躺。這將顯著減少欠擬合，因?yàn)槭褂昧藬?shù)據(jù)集中的大多數(shù)的數(shù)據(jù)進(jìn)行訓(xùn)練羡儿，同時(shí)也降低了過擬合的可能礼患，因?yàn)橐彩褂昧舜蠖鄶?shù)的數(shù)據(jù)進(jìn)行模型的驗(yàn)證。

K-Flod

??當(dāng)我們需要對(duì)一些小的數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)分析時(shí)，K-Flod是一個(gè)好的選擇缅叠，在進(jìn)行k次交叉驗(yàn)證時(shí)能獲得足夠多的模型的質(zhì)量差異和不同的最佳參數(shù)悄泥。一般來說，經(jīng)過長期的經(jīng)驗(yàn)積累肤粱，我們選擇 $k=5$ 或 $k=10$ 弹囚，以產(chǎn)生既不受過高偏差也不受過高偏差影響的測試誤差估計(jì)。

在Python中使用：sklearn.model_selection.KFlod()
Args:
n_split折疊數(shù)量领曼，默認(rèn)為3鸥鹉，至少為2.
shuffle是否在分割成批次之前打亂數(shù)據(jù)集，默認(rèn)不打亂
random_state隨機(jī)數(shù)種子庶骄，在進(jìn)行打亂數(shù)據(jù)操作時(shí)使用

Leave One Out(Groups=len(train))
留一法是K折交叉驗(yàn)證的一個(gè)特列毁渗，在K折交叉驗(yàn)證中，當(dāng)K是數(shù)據(jù)集的樣本數(shù)時(shí)单刁。這意味著灸异，在每次訓(xùn)練中使用k-1個(gè)樣本作為訓(xùn)練樣本，1個(gè)樣本作為測試集羔飞，并遍歷數(shù)據(jù)集中的每個(gè)元素肺樟。

Leave One Out

當(dāng)我們只有比較少的數(shù)據(jù)和訓(xùn)練便于重復(fù)訓(xùn)練的模型時(shí)，這種方法是很有用的逻淌。

在Python中使用：sklearn.model_selection.LeaveOneOut()=KFlod(n_split=n)
Methods:
get_n_splits(X)返回交叉驗(yàn)證器中的拆分迭代次數(shù),x為訓(xùn)練數(shù)據(jù)么伯，形狀為(n_samples,n_features)
split(x,y,groups) 生成索引已將數(shù)據(jù)集拆分為訓(xùn)練集和測試集,X為訓(xùn)練集，y為標(biāo)簽恍风，groups為拆分時(shí)使用的組標(biāo)簽

Stratification split
??通常,當(dāng)使用Train/Test split或KFold的拆分方式時(shí),都會(huì)對(duì)數(shù)據(jù)集進(jìn)行打亂蹦狂，以得到隨機(jī)的數(shù)據(jù)子集。在這種情況下朋贬，可以考慮訓(xùn)練集中各類別數(shù)據(jù)的占比情況凯楔，再根據(jù)同類數(shù)據(jù)占比來選擇數(shù)據(jù)組成數(shù)據(jù)子集，這就是分層法的原理锦募。如下圖所示：

分層法

??數(shù)據(jù)集有20個(gè)樣本摆屯，分別屬于三類，三個(gè)類比在總體的占比依次為 $40%糠亩、30%虐骑、30%$ ，現(xiàn)在需要對(duì)數(shù)據(jù)集進(jìn)行劃分赎线，得到10個(gè)目標(biāo)樣本作為訓(xùn)練集或驗(yàn)證集廷没，對(duì)此可以根據(jù)所占比例依次取4，3垂寥，3個(gè)樣本組成訓(xùn)練集或測試集颠黎。這種對(duì)數(shù)據(jù)集進(jìn)行分層提取數(shù)據(jù)的放法另锋，對(duì)于小數(shù)據(jù)集、不平衡數(shù)據(jù)集狭归、多分類問題是有很好的效果的夭坪，因?yàn)樗浞挚紤]了數(shù)據(jù)內(nèi)部的分布情況，使得我們所得到的子集（訓(xùn)練集和測試集）繼承了數(shù)據(jù)集的分布特性过椎。
??一般來說室梅，對(duì)于一個(gè)平衡的大數(shù)據(jù)集，分層法（Stratification split）和對(duì)數(shù)據(jù)集進(jìn)行隨機(jī)打亂之后再進(jìn)行劃分的方式得到的結(jié)果是相同的疚宇。

在什么樣的情況下需要使用這些技術(shù)呢亡鼠？
如果擁有足夠的數(shù)據(jù)，并且對(duì)于不同的劃分方式都能得到類似的模型得分（誤差平方和）和最佳模型參數(shù)灰嫉，那么Train/Test split是一個(gè)比較好的選擇拆宛。與之相反，當(dāng)對(duì)于不同的劃分我們總是能得到不同的模型得分和最佳模型參數(shù)時(shí)讼撒，KFlod是一個(gè)好的選擇浑厚。而當(dāng)對(duì)小數(shù)據(jù)集進(jìn)行處理時(shí)，留一法(LeaveOneOut)是更好的選擇根盒。分層法能使驗(yàn)證集更加穩(wěn)定并且對(duì)于小而不平衡的數(shù)據(jù)集是有奇效的钳幅。

如何確定KFlod的k值呢？
隨著k的增加炎滞，偏差會(huì)隨著誤差的增大而減懈壹琛；而方差會(huì)隨著誤差的增大而增大册赛；計(jì)算的成本也會(huì)隨之增大钠导。顯然，隨著k的增大森瘪，你將需要花費(fèi)更多的時(shí)間和內(nèi)存去進(jìn)行計(jì)算牡属。隨著k的減小巷燥，模型的方差會(huì)減小眉踱，但是模型的偏差將變得更大炕檩，所需的計(jì)算成本也隨之減少侯谁。對(duì)于一個(gè)優(yōu)良的ML模型，它的方差和偏差應(yīng)該是相對(duì)均衡的疗绣，才能兼顧模型的擬合優(yōu)度和泛化能力鳖谈。
通常對(duì)于大數(shù)據(jù)集 $k=3$ 或 $k=5$ 是建議首選的秩命，而對(duì)于小數(shù)據(jù)集推薦使用留一法军俊。

Summary
??在數(shù)據(jù)分析中侥加，交叉驗(yàn)證是非常有用的用以評(píng)估模型效果的方法，特別是防止過擬合和欠擬合方面粪躬。此外担败，對(duì)于模型超參數(shù)的確定也是極其有效的矗蕊，以此選擇的參數(shù)得到模型會(huì)得到更小的測試誤差。

本文是翻譯Towards Data Science網(wǎng)站的一篇文章氢架，如有錯(cuò)漏，請(qǐng)不吝指正朋魔，謝謝岖研。
原文地址:Cross-Validation
原作者主頁：Georgios Drakos

Georgios Drakos

關(guān)于交叉驗(yàn)證的更多實(shí)例可以參考我的另一篇博文：Python機(jī)器學(xué)習(xí)及分析工具：Scikit-learn篇