極大似然估計果录,通俗理解來說咽袜,就是利用已知的樣本結果信息,反推最具有可能(最大概率)導致這些樣本結果出現(xiàn)的模型參數(shù)值盅视。
極大似然估計提供了一種給定觀察數(shù)據來評估模型參數(shù)的方法捐名,即:“模型已定,參數(shù)未知”闹击。
極大似然估計中國采樣需要滿足一個重要的假設镶蹋,就是所有的采樣都是獨立同分布的。
假如有一個罐子拇砰,里面有黑白兩種顏色的球梅忌,數(shù)目多少不知,兩種顏色的比例也不知除破。我 們想知道罐中白球和黑球的比例,但我們不能把罐中的球全部拿出來數(shù)∏砬唬現(xiàn)在我們可以每次任意從已經搖勻的罐中拿一個球出來瑰枫,記錄球的顏色,然后把拿出來的球 再放回罐中丹莲。這個過程可以重復光坝,我們可以用記錄的球的顏色來估計罐中黑白球的比例。假如在前面的一百次重復記錄中甥材,有七十次是白球盯另,請問罐中白球所占的比例最有可能是多少?很多人馬上就有答案了:70%洲赵。而其后的理論支撐是什么呢鸳惯? 我們假設罐中白球的比例是p商蕴,那么黑球的比例就是1-p。因為每抽一個球出來芝发,在記錄顏色之后绪商,我們把抽出的球放回了罐中并搖勻,所以每次抽出來的球的顏 色服從同一獨立分布辅鲸。這里我們把一次抽出來球的顏色稱為一次抽樣格郁。題目中在一百次抽樣中,七十次是白球的,三十次為黑球事件的概率是P(樣本結果|Model)独悴。如果第一次抽象的結果記為x1,第二次抽樣的結果記為x2....那么樣本結果為(x1,x2.....,x100)例书。
這樣,我們可以得到如下表達式:
P(樣本結果|Model)
= P(x1,x2,…,x100|Model)
= P(x1|Mel)P(x2|M)…P(x100|M)
= p70(1-p)30.
似然函數(shù)
<iframe height=500 width=500 src="http://ww4.sinaimg.cn/mw690/e75a115bgw1f3rrbzv1m8g209v0diqv7.gif">