【總結(jié)】
訓(xùn)練數(shù)據(jù)集：訓(xùn)練模型參數(shù)缅疟；
驗證數(shù)據(jù)集：選擇模型超參數(shù)分别。
非大數(shù)據(jù)集上通常使用k-折交叉驗證。
模型容量需要匹配數(shù)據(jù)復(fù)雜度存淫，否則可能導(dǎo)致欠擬合和過擬合茎杂。
統(tǒng)計機器學習提供數(shù)學工具來衡量模型復(fù)雜度。
實際中一般靠觀察訓(xùn)練誤差和驗證誤差纫雁。
一煌往、模型選擇
1、訓(xùn)練誤差和泛化誤差
訓(xùn)練誤差：模型在訓(xùn)練數(shù)據(jù)上的誤差
泛化誤差：模型在新數(shù)據(jù)上的誤差
2轧邪、驗證數(shù)據(jù)集和測試數(shù)據(jù)集
驗證數(shù)據(jù)集：用來評估模型好壞的數(shù)據(jù)集刽脖。不要跟訓(xùn)練數(shù)據(jù)集混在一起。
測試數(shù)據(jù)集：只用一次的數(shù)據(jù)集忌愚。
3曲管、k-折交叉驗證
二、過擬合和欠擬合
1硕糊、過擬合和欠擬合
2院水、VC維
（1）線性分類器的VC維
2維輸入的感知機（輸入的特征是2，輸出是1）
（2）數(shù)據(jù)復(fù)雜度
多個重要因素：樣本個數(shù)简十、每個樣本的元素個數(shù)檬某、時間/空間結(jié)構(gòu)、多樣性螟蝙。
三恢恼、代碼
chapter_multilayer-perceptrons/underfit-overfit.ipynb
四、問答
（1）過擬合和欠擬合應(yīng)該是用驗證集來看
（2）時序上的數(shù)據(jù)胰默，不能隨機采樣分驗證集訓(xùn)練集场斑。一般一個時間之前的訓(xùn)練集漓踢，之后的驗證集。
（3）k折交叉驗證漏隐，k的選擇喧半，看能承受的成本。k越大越好青责。
（4）Q：k折交叉驗證的目的是確定超參數(shù)嗎挺据，然后還要用這個超參數(shù)再訓(xùn)練一遍全數(shù)據(jù)嗎？
A：兩種做法爽柒，一種就是k折交叉驗證確定超參數(shù)吴菠，然后用這個超參數(shù)再訓(xùn)練一遍全數(shù)據(jù)者填；另一種是不再重新訓(xùn)練浩村，就用k折交叉驗證確定超參數(shù)，然后隨便找出一折的模型占哟，或找出精度最好的那一折模型心墅；還有一種是，把k個交叉驗證的模型都拿出來榨乎，預(yù)測test時怎燥，k個模型都預(yù)測一遍，然后取均值蜜暑，模型穩(wěn)定性好铐姚，預(yù)測代價高。
（5）Q：如果訓(xùn)練是不平衡的肛捍，是否要考慮測試集是否也是不平衡的隐绵，再去決定是否使用一個平衡的驗證集？
A：正常情況拙毫，可以不平衡依许，但是應(yīng)該通過加權(quán)使其平衡。假設(shè)有兩類1:9缀蹄，要考慮真實世界中是不是就是不平衡峭跳，如果是，那就應(yīng)該把那主流的90%做好缺前，10%盡量做好蛀醉；如果不是，不平衡只是因為采樣沒采好衅码，那么應(yīng)該把那10%的權(quán)重提升滞欠，最簡單的把那10%的樣本多復(fù)制幾遍，不復(fù)制在loss中加權(quán)給他更大權(quán)重肆良。
