極大似然估計(jì)法是基于極大似然原理提出的坯癣,為了說(shuō)明極大似然原理,我們先看個(gè)例子
例子:
1最欠、某同學(xué)與一位獵人一起外出打獵示罗。忽然,一只野兔從前方竄過(guò)芝硬,只聽一聲槍響蚜点,野兔應(yīng)聲倒下,若你推測(cè)一下吵取,是誰(shuí)擊中了野兔禽额,你會(huì)怎樣想
2、有一時(shí)間A皮官,我們知道它發(fā)生的概率p只可能是:
p=0.1,0.3或0.6
若在一次觀測(cè)中,事件A發(fā)生了实辑,試讓你推想一下p取何值
最大似然原理
概率大的事件在一次觀測(cè)中更容易發(fā)生捺氢;
在一次觀測(cè)中發(fā)生了的事件其概率應(yīng)該大
(1)若總體X屬于離散型,其分布律
的形式為已知剪撬,θ為待估參數(shù)摄乒,Θ是θ可能取值的范圍。
設(shè)X1,...,Xn是來(lái)自X的樣本残黑;則X1,...,Xn的聯(lián)合函數(shù)
又設(shè)x1,...,xn是X1,...,Xn的一個(gè)樣本值馍佑,易知樣本X1,...,Xn取x1,...,xn的概率,亦即事件{X1=x1,...,Xn=xn}發(fā)生的概率為:
它是θ的函數(shù)梨水,L(θ)稱為樣本的似然函數(shù)拭荤。
由極大似然估計(jì)法:x1,...,xn;挑選使概率L(x1,...,xn;θ)達(dá)到最大的參數(shù),作為θ的估計(jì)值即取
使得
&\hatθ與x1,...,xn有關(guān)疫诽,記為
稱其為參數(shù)θ的最大似然估計(jì)值
(2)若總體X屬連續(xù)型舅世,其概率密度
的形式已知,θ為待估參數(shù)
的最大值奇徒,這里L(fēng)(θ)稱為樣本的似然函數(shù)雏亚,若
則稱
為θ的最大似然估計(jì)值,稱
為θ的最大似然估計(jì)值 一般摩钙,p(x;θ),f(x;θ)關(guān)于θ可微罢低,故θ可由下式求得
若總體分布中包含多參數(shù)胖笛,即可令
解k個(gè)方程組求的θ的最大似然估計(jì)值
小結(jié):最大似然估計(jì)法的一般步驟:
-
**寫似然函數(shù)L **
取對(duì)數(shù)
求導(dǎo)數(shù)网持,得駐點(diǎn)宜肉,最大值點(diǎn)
作結(jié)論
例子:
設(shè)總體X服從參數(shù)為\lamda的指數(shù)分布,(x1,x2,...,xn)為樣本觀察值翎碑,求\lamda的最大似然估計(jì)值
解:總體X的概率密度函數(shù)為:
設(shè)總體X分布律為:
求參數(shù)p的最大似然估計(jì)量