博客：http://liuchengxu.org/blog-cn/posts/bias-variance/
誤差一般包含偏差盖溺，方差和噪聲
- 偏差：偏差度量了學習算法的期望預測與真實結果的偏離程序, 即 刻畫了學習算法本身的擬合能力 .
- 方差：方差度量了同樣大小的訓練集的變動所導致的學習性能的變化, 即 刻畫了數(shù)據(jù)擾動所造成的影響 .
- 噪聲：噪聲表達了在當前任務上任何學習算法所能達到的期望泛化誤差的下界, 即 刻畫了學習問題本身的難度 . 巧婦難為無米之炊, 給一堆很差的食材, 要想做出一頓美味, 肯定是很有難度的.
Paste_Image.png
偏差-方差窘境 (bias-variance dilemma)
- 一般來說, 偏差與方差是有沖突的, 稱為偏差-方差窘境 (bias-variance dilemma).
給定一個學習任務, 在訓練初期, 由于訓練不足, 學習器的擬合能力不夠強, 偏差比較大, 也是由于擬合能力不強, 數(shù)據(jù)集的擾動也無法使學習器產(chǎn)生顯著變化, 也就是欠擬合的情況; - 隨著訓練程度的加深, 學習器的擬合能力逐漸增強, 訓練數(shù)據(jù)的擾動也能夠漸漸被學習器學到;
- 充分訓練后, 學習器的擬合能力已非常強, 訓練數(shù)據(jù)的輕微擾動都會導致學習器發(fā)生顯著變化, 當訓練數(shù)據(jù)自身的后频、非全局的特性被學習器學到了, 則將發(fā)生過擬合.
