- 本文首發(fā)自公眾號(hào)：RAIS
前言
本系列文章為 《Deep Learning》 讀書筆記货岭，可以參看原書一起閱讀，效果更佳疾渴。
估計(jì)
統(tǒng)計(jì)的目的是為了推斷千贯，大量的統(tǒng)計(jì)是為了更好的推斷，這就是一種估計(jì)搞坝，一種根據(jù)現(xiàn)有信息對(duì)可能性的一種猜測(cè)搔谴。
- 點(diǎn)估計(jì)：點(diǎn)估計(jì)指的是用樣本數(shù)據(jù)估計(jì)總體的參數(shù)，估計(jì)的結(jié)果是一個(gè)點(diǎn)的數(shù)值桩撮，因此叫做點(diǎn)估計(jì)敦第。這個(gè)定義非常寬泛，
店量，其中幾乎對(duì) g 沒有什么限制芜果，只是說比較好的 g 會(huì)接近真實(shí)的 θ。
- 函數(shù)估計(jì)：是一種映射關(guān)系融师，如
右钾，其中 ? 是從 x 中預(yù)測(cè)不出來的，我們不關(guān)心旱爆，我們關(guān)心的是函數(shù)估計(jì) f舀射，函數(shù)估計(jì)是一種從輸入到輸出的映射關(guān)系。
偏差
估計(jì)的偏差定義為：怀伦，這很好理解脆烟，估計(jì)與實(shí)際值之間的距離就是偏差，如果偏差為 0空镜，則
是
的無(wú)偏估計(jì)浩淘，如果在 m 趨近于無(wú)窮大時(shí)捌朴，偏差趨近于 0，則
是
的漸進(jìn)無(wú)偏张抄。
方差
上面我們用估計(jì)量的期望來計(jì)算偏差砂蔽，我們還可以用估計(jì)量的方差度量估計(jì)的變化程度，我們希望期望這兩個(gè)值都較小署惯。
對(duì)于高斯分布來說左驾，我們有：
- 樣本均值
是高斯均值參數(shù) μ 的無(wú)偏估計(jì);
- 樣本方差
是
的有偏估計(jì)；
- 無(wú)偏樣本方差
是
無(wú)偏樣本方差顯然是比較不錯(cuò)的诡右，但是并不總是最好的，有時(shí)候某一些有偏估計(jì)也是很好的轻猖。比如在機(jī)器學(xué)習(xí)中帆吻，均值標(biāo)準(zhǔn)差就非常有用：
或者寫成
均方誤差（MSE）
魚和熊掌不可得兼，偏差和方差度量著估計(jì)量的兩個(gè)不同誤差來源咙边，偏差度量著偏離真實(shí)函數(shù)或參數(shù)的誤差猜煮，方差度量著數(shù)據(jù)上任意特定采樣可能導(dǎo)致的估計(jì)期望的偏差，兩個(gè)估計(jì)败许，一個(gè)偏差大王带，一個(gè)方差大，怎么選擇市殷？選擇 MSE 較小的愕撰，因?yàn)?MSE 是用來度量泛化誤差的。偏差和方差之和就是均方誤差：
均方誤差
總結(jié)
本篇主要介紹了估計(jì)醋寝、偏差和方差搞挣，可以用來正式的刻畫過擬合。
- 本文首發(fā)自公眾號(hào)：RAIS
