機(jī)器學(xué)習(xí)就是利用訓(xùn)練數(shù)據(jù)去訓(xùn)練一個(gè)模型(model)婴谱，使得這個(gè)模型盡可能逼近真實(shí)躯泰，用來(lái)衡量模型好壞的依據(jù)是模型的誤差麦向，由偏差和方差兩部分組成。
Bias(偏差)
模型在樣本上的輸出與真實(shí)值之間的誤差话告，即模型本身的精準(zhǔn)度卵慰，反應(yīng)出算法的擬合能力。
Variance(方差)
模型每一次輸出結(jié)果與模型輸出期望之間的誤差病线，即模型的穩(wěn)定性鲤嫡，反應(yīng)出預(yù)測(cè)的波動(dòng)情況。
偏差與方差的關(guān)系
偏差與方差之間按照高低让虐，可以組合成四種關(guān)系罢荡，如下圖所示
1、低偏差低方差
表示模型既準(zhǔn)確又穩(wěn)定惭缰，效果最好，但是現(xiàn)實(shí)中這種情形很少遇見(jiàn)络凿。
2昂羡、低偏差高方差
表示模型準(zhǔn)確但是穩(wěn)定性差，對(duì)驗(yàn)證數(shù)據(jù)&測(cè)試數(shù)據(jù)的擬合能力差怨愤，即是模型的泛化能力差蛹批，產(chǎn)生了過(guò)擬合(Overfitting)腐芍。
3、高偏差低方差
表示模型的準(zhǔn)確度差设褐，對(duì)數(shù)據(jù)的擬合能力弱埠对，產(chǎn)生了欠擬合(Underfitting)。
4貌笨、高偏差高方差
表示模型既不準(zhǔn)確又不穩(wěn)定襟沮。
過(guò)擬合與欠擬合
由上面的分析可知，高方差往往預(yù)示著過(guò)擬合膀跌，高偏差則是欠擬合固灵。
避免欠擬合(擬合太差)
1、增加訓(xùn)練樣本數(shù)據(jù)
2丛忆、設(shè)計(jì)更復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型
3、增加迭代次數(shù)
4可很、更好的優(yōu)化函數(shù)
5凰浮、調(diào)整超參數(shù)值
避免過(guò)擬合(擬合過(guò)度，泛化太差)
1菜拓、設(shè)計(jì)更簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型
2惫周、增加訓(xùn)練樣本數(shù)據(jù)
3递递、正則化啥么。在損失函數(shù)后面添加上L2正則項(xiàng)
4、使用dropout菠秒。隨機(jī)性使得網(wǎng)絡(luò)中的部分神經(jīng)元失效氯迂，效果上類似將模型變得更簡(jiǎn)單。
5禁灼、調(diào)整超參數(shù)值
6轿曙、嘗試其他模型
7、提前結(jié)束訓(xùn)練(early stopping)守谓。即是提前結(jié)束優(yōu)化損失函數(shù)您单。
簡(jiǎn)單小結(jié)
在實(shí)際工程中，通逞堕埽可以按下面的來(lái)操作
貝葉斯(最優(yōu))誤差-理論上的最小誤差值(通常比人類誤差小)
可避免偏差-訓(xùn)練誤差 與 貝葉斯誤差 之間的差值
方差-驗(yàn)證集誤差 與 訓(xùn)練誤差 的差值
當(dāng) 可避免偏差 大于 方差 時(shí)别洪，發(fā)生 欠擬合柳刮。
當(dāng) 方差 大于 可避免偏差 時(shí)，發(fā)生 過(guò)擬合痢毒。
在訓(xùn)練模型時(shí)對(duì)照以上描述蚕甥，有助于定位問(wèn)題，更快找到最適合的模型菇怀。
