1、在進(jìn)行模型選擇和評(píng)估時(shí)际度，我們經(jīng)常會(huì)關(guān)注偏差和方差葵袭，那么什么是偏差？什么是方差乖菱？
偏差：描述的是預(yù)測(cè)值的期望與真實(shí)值之間的差距坡锡。偏差越大，越偏離真實(shí)數(shù)據(jù)窒所。偏差也叫擬合能力鹉勒。
方差：描述的是預(yù)測(cè)值的變化范圍，離散程度吵取，也就是離其期望值的距離禽额。方差越大，數(shù)據(jù)的分布越分散。度量了同樣大小的訓(xùn)練集的變動(dòng)所導(dǎo)致的學(xué)習(xí)性能的變化脯倒，即刻畫(huà)了數(shù)據(jù)擾動(dòng)造成的影響实辑。
由下圖可以看出來(lái)，偏差大就是與真實(shí)值的差距大藻丢，高方差跟真實(shí)值沒(méi)什么關(guān)系剪撬，只是預(yù)測(cè)值是否密集在一起，如果分散悠反，就是方差大残黑。
注意：
Bias：誤差，擬合出來(lái)的對(duì)象是單個(gè)模型斋否，期望輸出與真實(shí)標(biāo)記的差別
Variance：方差梨水，擬合對(duì)象是多個(gè)模型，從同一個(gè)數(shù)據(jù)集中茵臭，用科學(xué)的采樣方法得到幾個(gè)不同的子訓(xùn)練集疫诽，用這些訓(xùn)練集訓(xùn)練得到的模型往往并不相同。藍(lán)色和綠色分別是同一個(gè)訓(xùn)練集上采樣得到的兩個(gè)訓(xùn)練子集笼恰，由于采取了復(fù)雜的算法去擬合踊沸，兩個(gè)模型差異很大歇终。如果是拿直線擬合的話社证，顯然差異不會(huì)這么大。
2评凝、方差與偏差trade-off
當(dāng)模型復(fù)雜度逐漸增強(qiáng)的時(shí)候追葡，偏差是逐漸減小的，方差逐漸增大奕短，它們中間有一個(gè)交點(diǎn)宜肉，就是兩者達(dá)到平衡，在適當(dāng)?shù)哪Ｐ蛷?fù)雜度下翎碑，對(duì)訓(xùn)練數(shù)據(jù)有一個(gè)良好的擬合谬返，而且泛化性能也不差。
2日杈、對(duì)于高偏差和高方差的情況應(yīng)該如何處理遣铝？
下圖是NG機(jī)器學(xué)習(xí)課的一個(gè)截圖：
解釋：
（1）增加訓(xùn)練樣本可以減小方差，以為隨著樣本量的增加莉擒，泛化性能會(huì)好一些酿炸，驗(yàn)證損失會(huì)Jcv逐漸減小，所以會(huì)減小方差
（2）取少量的特征涨冀，可以有效的防止過(guò)擬合填硕，提高泛化性能，會(huì)減小方差鹿鳖。
（3）取更多的特征扁眯，能從更多的角度學(xué)習(xí)數(shù)據(jù)的分布壮莹，減小訓(xùn)練loss，會(huì)減小偏差恋拍。
（4）增加多項(xiàng)式特征垛孔，增加了模型的復(fù)雜度，可以降低偏差施敢。
（5）減小lambda：就是削弱正則的作用周荐，增加模型復(fù)雜度，減小偏差
（6）增大lambda：增強(qiáng)正則的作用僵娃，對(duì)參數(shù)進(jìn)行有效控制概作，防止過(guò)擬合，減小方差默怨。
注意：
這里應(yīng)該學(xué)會(huì)的是讯榕，對(duì)癥下藥，我們通過(guò)觀察學(xué)習(xí)曲線匙睹，可以知道是偏差大了還是方差大了愚屁，從而進(jìn)行解決方案的選取。選取不當(dāng)?shù)脑捄勖剩粫?huì)產(chǎn)生任何優(yōu)化霎槐，比如說(shuō)：如果偏差較大的話，增加訓(xùn)練樣本的個(gè)數(shù)是沒(méi)用的梦谜，必須采取其他有效的方法丘跌，可以增加特征，增加多項(xiàng)式唁桩，減小lambda等闭树。
參考文章
http://www.cnblogs.com/zhizhan/p/5002455.html
https://www.zhihu.com/question/20448464
