1.經(jīng)驗誤差
錯誤率——是分類錯誤的樣本數(shù)占樣本總數(shù)的比例
經(jīng)驗誤差——學習器預測的結果與實際真實結果之間的差異
訓練誤差——在訓練集上預測的結果與訓練集的真實結果的差異（經(jīng)驗誤差）
泛化誤差——在測試集上預測的誤差
由于你不知道訓練樣本是什么樣子的砰左，所以我們現(xiàn)在能做到的就是盡量的減少訓練誤差匿醒，但是我們實際想要的是希望在測試樣本中表現(xiàn)好的，為了達到這個目的缠导，我們應該盡量的獲取訓練樣本的潛在規(guī)律而不是訓練樣本的所有內(nèi)容廉羔，這樣，我們在遇到新樣本時僻造，利用這個潛在規(guī)律憋他，就可以做出一個預測。例如：小聊子（相當于學習器）想給自己的朋友分個類別髓削，如果竹挡，我秉著每個人都是獨一無二的這樣的政治教課書理論，好的立膛，每一個人都是一個類揪罕，然而梯码，這顯然是不合理的，這就叫過擬合好啰。若我秉著我的朋友都是善良的熊孩兒轩娶，好的，他們都是一個類坎怪，這就叫欠擬合罢坝。
一個overfitted模型記住太多training data的細節(jié)從而降低了generalization的能力。
看看這圖~
