統(tǒng)計办桨，以信仰之名：(三)衡量估計量的四大原則
為了照顧到廣大渾渾噩噩的群眾，在這節(jié)之前站辉，首先要聲明一下呢撞，所謂的估計量都是隨機(jī)變量，你每生成一次數(shù)據(jù)饰剥，用同樣方法得到的估計量可能截然不同殊霞。我們無法控制數(shù)據(jù)的生成，但是能找到一個很屌的方法汰蓉，使我們的估計量在多數(shù)情況下盡量準(zhǔn)確绷蹲。
在學(xué)習(xí)數(shù)理統(tǒng)計時术幔，我們都會學(xué)到評判估計量的三大原則：無偏性躯护，有效性蛆楞，一致性浸赫。水平比較高的老師也會講到第四個原則：最小均方誤差原則铺厨。我們在統(tǒng)計推斷時默認(rèn)這些原則裙士，它們是人為規(guī)定的蒿辙，而非某種公理性或定理性的東西院峡。我們不禁要問测秸，為什么要如此規(guī)定這些原則疤估？比如灾常，一個統(tǒng)計量為什么要無偏呢？是因為它長得帥嗎做裙？您別說岗憋，對于最后一個問題可能還就是因為它長得帥。實際上锚贱，這些原則都是從好的統(tǒng)計量中總結(jié)出來的仔戈，比如用幾個觀測的均值來估計其期望，均值具有無偏性拧廊，有效性监徘，一致性，于是這些原則就總結(jié)出來了吧碾。下面我們對這些原則一個一個地討論凰盔。
1、無偏性 is a piece of shit
所謂的無偏估計量就是它的期望恰好等于原參數(shù)倦春。無偏估計量的優(yōu)越性是非常直觀的户敬，在大數(shù)定律的保證下，它能以較快的速度收斂到原參數(shù)睁本。如果讓你列舉什么是一個好的估計量尿庐，估計你第一個想到的就是無偏性。而且無偏性在數(shù)學(xué)上有一些非常優(yōu)美的性質(zhì)呢堰，比如很多情況下你可以找到一個最好的無偏估計量(一致最小方差無偏估計)抄瑟。然而，這并不妨礙它是一坨shit枉疼。
你想想無偏性到底是什么呢皮假？期望等于原參數(shù)有什么用呢？用一個N(θ,100)的無偏隨機(jī)變量X來估計θ骂维，如果θ=0惹资，你估計出來的很可能是5，或者8航闺，這樣的估計量你敢相信么布轿？
如果一個無偏估計量概率集中在真值周圍，那么這個無偏估計量是可靠的来颤。可惜無偏估計量在很多情況下并不符合這條性質(zhì)稠肘。事實上福铅，在高維統(tǒng)計中，無偏估計量是不可接受的(inadmissable)项阴，因為你總能找到一個比無偏估計量更靠譜的有偏估計量滑黔，在各個方面都要勝無偏估計量一籌笆包。所以，無偏估計量可能僅僅是長得比較帥而已略荡。在這個看臉的世界庵佣，有時長得帥就夠了。
2汛兜、有效性——渣男的評判標(biāo)準(zhǔn)
一個估計量如果分布得太分散巴粪，那么這個估計量一定是個花心大蘿卜。比如你生成一組數(shù)據(jù) 估計量是1粥谬，另一組數(shù)據(jù) 估計量是100,肛根。這樣的估計量絕非居家好估計量。我們希望它的概率盡量集中漏策，這就是有效性派哲。光有有效性是不夠的，比如你就拿0做估計量掺喻，穩(wěn)定得不行芭届，但是離真實估計量十萬八千里，也不靠譜感耙。但是作為一個評判標(biāo)準(zhǔn)褂乍，有效性還是夠格的，如果一個估計量都不具有有效性抑月，不論他說多么愛你树叽，都不要相信他。
3谦絮、一致性——眾里尋他千百度题诵，只要錢多，參數(shù)卻在层皱，燈火闌珊處
一致性指的是當(dāng)你樣本趨于無窮時性锭，你的估計量依概率趨于真實參數(shù)。也就是說叫胖，只要你的樣本夠多草冈，一致估計量總能給你一個靠譜的參數(shù)。在有限樣本時瓮增，這個評判標(biāo)準(zhǔn)仍然存在一定局限怎棱。然而統(tǒng)計學(xué)上，它仍不失為一條重要的評判標(biāo)準(zhǔn)绷跑。如果多采集樣本都不管用拳恋，那只能看臉了。
4砸捏、最小均方誤差原則——最靠譜的準(zhǔn)則
一個估計量的均方誤差可以表示為：
為什么說這條準(zhǔn)則是最靠譜的呢伞访？首先，如果均方誤差小轰驳，這個估計量一定比較靠譜厚掷，即以很大的概率在真實參數(shù)旁邊。而且該準(zhǔn)則跟樣本數(shù)量無關(guān)滑废，不管樣本多少蝗肪，估計量都會有一個均方誤差，只要均方誤差夠小蠕趁，這個估計量都靠譜薛闪。
根據(jù)mean-variance分解：均方誤差=偏差+分散度
也就是說最小均方誤差事實上是無偏性與有效性的結(jié)合，最小無偏估計量的概率分布既集中俺陋，而且集中在真值周圍豁延。
均方誤差事實上是一種距離(統(tǒng)計決策上稱為“損失”)，是參數(shù)空間內(nèi)真值與估計量之間的歐式距離腊状。于是我們要問，我們是否可以將歐式距離擴(kuò)展至一般的距離缴挖？答案當(dāng)然是可以的，對一般距離的探究構(gòu)成了統(tǒng)計決策理論的基礎(chǔ)映屋。
