????之前粗略的讀過西瓜書的關(guān)于模型的評估與選擇這一章
????關(guān)于對模型的泛化性評估婚苹，以為無非就是分為訓(xùn)練集和測試集它抱，分別用來訓(xùn)練模型以及計(jì)算誤差浪漠。
????再往下看陕习，什么交叉驗(yàn)證法、留出法.....址愿，都是不斷的捯飭訓(xùn)練集和測試集這兩個(gè)集合该镣，交叉驗(yàn)證當(dāng)初也就想當(dāng)然的以為和書上講的一樣，交叉驗(yàn)證通常稱為"K折交叉驗(yàn)證"响谓，這個(gè)不斷騰挪測試集和訓(xùn)練集的過程损合，我就以為是所謂的"交叉"了。
????直到我決定完整的看一遍吳恩達(dá)在coursera的課程娘纷，看到“模型的選擇和/訓(xùn)練/驗(yàn)證/測試集合”這一段視頻嫁审，B站也有視頻可以去翻(鏈接下面已經(jīng)補(bǔ)上了)，里面講到關(guān)于回歸模型如何去選擇多項(xiàng)式的次數(shù)時(shí)赖晶，就講到了交叉驗(yàn)證相關(guān)的問題律适。評估這種帶有超參模型泛化誤差時(shí)，引入了交叉驗(yàn)證集合遏插，下面統(tǒng)稱驗(yàn)證集捂贿，這個(gè)概念，我立馬聯(lián)想到我所知的交叉驗(yàn)證涩堤，感覺甚是奇怪眷蜓。
????為什么要引入這個(gè)"驗(yàn)證集"呢，對照著來看胎围，首先來想想吁系，我們?yōu)槭裁匆霚y試集？原因就是我們?nèi)绻谟?xùn)練集上又訓(xùn)練又測試白魂，這樣的測試誤差只能稱為訓(xùn)練誤差汽纤，如果以這個(gè)誤差為目標(biāo)調(diào)整算法，最終我們的模型很可能就是一個(gè)不會舉一反三的"沙雕"福荸，因?yàn)槠┤缥腋鶕?jù)訓(xùn)練數(shù)據(jù)梯度下降蕴坪，得出的回歸模型參數(shù)是盡量擬合我們的訓(xùn)練集合的，以擬合訓(xùn)練數(shù)據(jù)為目標(biāo)優(yōu)化算法敬锐，過擬合是遲早的事背传，所以需要從訓(xùn)練數(shù)據(jù)中劃分一部分作為客觀的第三方來評價(jià)我們的模型，以此來模擬泛化誤差台夺。接下來我們的超參怎么選擇呢径玖？這個(gè)時(shí)候如果盲目的理解書中的"讀者可能馬上想到，調(diào)參和算法選擇沒什么本質(zhì)的區(qū)別: 對每種參數(shù)配置都訓(xùn)練出模型颤介，然后把對應(yīng)最好的模型的參數(shù)作為結(jié)果梳星，這樣的考慮基本是對的"赞赖。注意這句"基本是對的"。
????回歸正題冤灾，按照書中的做法我們只要一次列舉出多項(xiàng)式的不同次數(shù)然后依次進(jìn)行模型的訓(xùn)練前域，最后取測試集合效果最好的次數(shù)作為我們的最終選擇就能得到我們的結(jié)果，那么這個(gè)結(jié)果能夠推廣到一般的情況中去嗎韵吨？照搬上面引入測試集的思考方法匿垄，可以得出我們最終的多項(xiàng)式次數(shù)的選擇，其實(shí)來自對測試集的擬合学赛，我們根據(jù)測試集得到了擬合度最好的多項(xiàng)式的次數(shù)年堆，但是這個(gè)誤差結(jié)果只是作用于測試集的結(jié)果上，也并不是我們要的泛化誤差盏浇，期間我也翻閱了sklearn的官方文檔变丧，其中"This way, knowledge about the test set can “l(fā)eak” into the model and evaluation metrics no longer report on generalization performance"，這句話比喻的非常好绢掰，”大概的意思就是測試集的構(gòu)成已經(jīng)泄露給了模型痒蓬，評估的指標(biāo)也就不再具有泛化性“，所以產(chǎn)生了和用訓(xùn)練集測試一樣的效果滴劲，引入驗(yàn)證集合也就成了必然的攻晒。sklearn官方文檔也闡述了交叉驗(yàn)證的歷史，一開始的確是要分為班挖，訓(xùn)練/驗(yàn)證/測試鲁捏，而由于這樣會導(dǎo)致訓(xùn)練數(shù)據(jù)的減少，才出現(xiàn)了我們熟知的K折交叉驗(yàn)證萧芙，而K折交叉驗(yàn)證則說明了不再需要驗(yàn)證集给梅，這是為什么呢？
????我想由于其K折的特性双揪，測試集就不像之前的交叉驗(yàn)證的測試集是固定的动羽，而是取多次不同的測試誤差的均值，可能是因?yàn)檫@樣就弱化了對單一測試集的擬合渔期，更加接近泛化誤差运吓，就不用額外引入驗(yàn)證集規(guī)避測試集導(dǎo)致超參過擬合的問題。
打臉７杼恕＞猩凇！
? ? 想當(dāng)然果然是錯的信峻，在看過利用GridSearchCV搜索超參的例子中宅静，我最終發(fā)現(xiàn)了答案，而K折交叉驗(yàn)證也并不是真的不需要驗(yàn)證集站欺，而是從直觀上來看姨夹，沒有聲明而已，但是卻“隱藏”在了交叉驗(yàn)證中矾策，官方文檔所說的不需要驗(yàn)證集的意思是不用在整個(gè)數(shù)據(jù)集中再特別聲明測試集磷账。
? ? 我們看一下這個(gè)鏈接當(dāng)中是如何具體操作的:
Parameter estimation using grid search with cross-validation — scikit-learn 0.20.2 documentation
最開始利用train_test_split就已經(jīng)分割了訓(xùn)練與測試數(shù)據(jù)，不想翻譯就直接看下面的鏈接
????之后我們可以看到在進(jìn)行GridSearchCV進(jìn)行參數(shù)選擇的時(shí)候贾虽，CV所用的數(shù)據(jù)就是train_data,而在交叉驗(yàn)證的過程中又會進(jìn)行訓(xùn)練集逃糟、測試集的分割，而這時(shí)的測試集則就可以看作是我們之前提到的"驗(yàn)證集"蓬豁，所以說并不是CV不需要"驗(yàn)證集"绰咽，而是他這種K折的方式充分利用了訓(xùn)練集而已，文檔中的"but the validation set is no longer needed when doing CV",讓我誤解了好一會兒地粪，最終選取的是驗(yàn)證誤差最小的參數(shù)取募，所以說這其實(shí)就是在用交叉驗(yàn)證的方式變相的用驗(yàn)證集選擇參數(shù)。
? ? 繼續(xù)往下看蟆技，最終才輪到我們真正的"測試集"登場玩敏，也就是在一開始從數(shù)據(jù)集中分割出來的測試集,用來評估最終的泛化誤差。
? ? 最后總結(jié)一下质礼，其實(shí)我就是為了個(gè)"稱呼"折騰了好久旺聚，在有超參的情況下，把交叉驗(yàn)證嵌套在泛化誤差測量之前眶蕉，那么這個(gè)交叉驗(yàn)證中的"測試集"就達(dá)到了"驗(yàn)證集"的效果而已砰粹。
????最后這個(gè)鏈接的內(nèi)容再一次印證了需要嵌套CV,才能實(shí)現(xiàn)一開始所講到的引入驗(yàn)證集的初衷，不泄露測試集的信息造挽，保證最后結(jié)果的泛化性碱璃。
Nested versus non-nested cross-validation — scikit-learn 0.20.2 documentation
? ? 可以看到非嵌套CV的得分就比較盲目，由于超參對測試集過擬合導(dǎo)致分?jǐn)?shù)虛高刽宪，而嵌套CV的曲線就能較為真實(shí)的反應(yīng)出泛化能力厘贼。
附上sklearn的文檔鏈接：
3.1. Cross-validation: evaluating estimator performance — scikit-learn 0.20.2 documentation
B站：模型選擇_交叉驗(yàn)證相關(guān)視頻鏈接
https://www.bilibili.com/video/av9912938/?p=61
