一、什么是偏差和方差
在監(jiān)督學(xué)習(xí)中，模型的泛化誤差可分解為偏差、方差與噪聲之和盗胀。
偏差與方差分別是用于衡量一個模型泛化誤差的兩個方面艘蹋。
- 偏差：學(xué)習(xí)算法的期望預(yù)測與真實結(jié)果的偏離程度锄贼，刻畫了算法本事的擬合能力
- 方差：度量了同樣大小的訓(xùn)練集的變動導(dǎo)致的學(xué)習(xí)性能的變化，即刻畫了數(shù)據(jù)擾動所造成的影響女阀。
- 噪聲則表達(dá)了在當(dāng)前任務(wù)上任何學(xué)習(xí)算法所能達(dá)到的期望泛化誤差的下界宅荤，即刻畫了學(xué)習(xí)問題本身的難度。
“偏差-方差分解” 表明模型的泛化能力是由算法的能力浸策、數(shù)據(jù)的充分性冯键、任務(wù)本身的難度共同決定的。
二庸汗、導(dǎo)致偏差和方差的原因
偏差通常是由于我們對學(xué)習(xí)算法做了錯誤的假設(shè)惫确，或者模型的復(fù)雜度不夠；
- 比如真實模型是一個二次函數(shù)蚯舱，而我們假設(shè)模型為一次函數(shù)改化，這就會導(dǎo)致偏差的增大（欠擬合）；
- 由偏差引起的誤差通常在訓(xùn)練誤差上就能體現(xiàn)枉昏，或者說訓(xùn)練誤差主要是由偏差造成的
方差通常是由于模型的復(fù)雜度相對于訓(xùn)練集過高導(dǎo)致的陈肛；
- 比如真實模型是一個簡單的二次函數(shù)，而我們假設(shè)模型是一個高次函數(shù)兄裂，這就會導(dǎo)致方差的增大（過擬合）句旱；
- 由方差引起的誤差通常體現(xiàn)在測試誤差相對訓(xùn)練誤差的增量上
深度學(xué)習(xí)中的偏差與方差
- 神經(jīng)網(wǎng)絡(luò)的擬合能力非常強(qiáng)，因此它的訓(xùn)練誤差（偏差）通常較形薄谈撒；
- 但是過強(qiáng)的擬合能力會導(dǎo)致較大的方差，使模型的測試誤差（泛化誤差）增大匾南；
- 因此深度學(xué)習(xí)的核心工作之一就是研究如何降低模型的泛化誤差港华，這類方法統(tǒng)稱為正則化方法。
三午衰、偏差與方差的權(quán)衡
給定學(xué)習(xí)任務(wù)：
- 當(dāng)訓(xùn)練不足時立宜，模型的擬合能力不夠，數(shù)據(jù)的擾動不足以使模型產(chǎn)生顯著的變化臊岸，此時偏差主導(dǎo)泛化誤差橙数；
- 隨著訓(xùn)練的加深，模型的擬合能力增強(qiáng)帅戒，模型能夠?qū)W習(xí)數(shù)據(jù)發(fā)生的擾動灯帮，此時方差逐漸主導(dǎo)泛化誤差崖技；
- 當(dāng)訓(xùn)練充足后，模型的擬合能力過強(qiáng)钟哥，數(shù)據(jù)的輕微擾動都會導(dǎo)致模型產(chǎn)生顯著的變化迎献，此時即發(fā)生過擬合。
泛化誤差與偏差和方差的關(guān)系圖：
image.png
本文參考：
《機(jī)器學(xué)習(xí)》周志華
ML-機(jī)器學(xué)習(xí)基礎(chǔ)
