現(xiàn)實情況中我們可能會遇到這樣的一些例子磁奖，需要得到一所高校有車學(xué)生的分布情況（假定符合參數(shù)為p的伯努利分布），某地區(qū)成年男性的身高分布情況（假定符合參數(shù)為u1看幼，σ1的正態(tài)分布），南極洲成年帝企鵝的體重分布（假定符合參數(shù)為u2史辙，σ2的正態(tài)分布）等等。

由于時間和經(jīng)費的限制佩伤，不可能進行全面統(tǒng)計聊倔，我們只能通過一定的觀察，得到一系列的觀察值生巡，在上述假定概率分布模型上耙蔑，現(xiàn)在需要求出是哪個具體的概率分布生成了這些觀察值。要解決這個問題孤荣，就需要用到參數(shù)估計方法甸陌，即估計出上述的參數(shù)p，（u盐股，σ）钱豁，而最大似然估計就是這樣一種方法。

最大似然估計是一個在已知觀察結(jié)果（即樣本）和給定概率分布模型的基礎(chǔ)上遂庄，估計概率分布模型的參數(shù)寥院，并使得在該參數(shù)下，生成這個已知樣本的可能性最大的方法涛目。

舉第一個例子秸谢，設(shè)我們已經(jīng)獲得了一個樣本集{X1,X2,…,Xn}，其中Xi=0表示選取的學(xué)生沒有車霹肝，Xi= 1表示選取的學(xué)生有車估蹄。 Xi服從概率為未知參數(shù)p的伯努利分布，那么根據(jù)伯努利分布的定義沫换，每個Xi的概率質(zhì)量函數(shù)為：

f(xi;p)=pxi(1?p)1?xi

其中Xi=0或1臭蚁。 首先，要通過極大似然估計方法求出參數(shù)p讯赏，需要定義似然函數(shù)垮兑。前面提到，最大似然估計就是去找參數(shù)估計值漱挎，使得已經(jīng)觀察到的樣本值發(fā)生概率最大系枪。既然這些樣本已經(jīng)實現(xiàn)了，其發(fā)生概率最大才符合邏輯磕谅。這就是求所有觀測值樣本的聯(lián)合概率最大化私爷。因此，似然函數(shù)在形式上膊夹，其實就是樣本的聯(lián)合概率衬浑。對連續(xù)型隨機變量和離散型隨機變量，樣本的似然函數(shù)分別是概率密度和概率質(zhì)量函數(shù)的連乘形式放刨。

對于本例工秩，似然函數(shù)為：

L(p)=∏i=1nf(xi;p)=px1(1?p)1?x1×px2(1?p)1?x2×...×pxn(1?p)1?xn

將上式化簡，我們得到：

L(p)=p∑xi(1?p)n?∑xi

在實際應(yīng)用中进统，為了求解方便拓诸，一般使用似然函數(shù)的對數(shù)。

ln(L(p))=ln(p∑xi(1?p)n?∑xi)=(∑xi)ln(p)+(n?∑xi)ln(1?p)

我們知道麻昼，對數(shù)函數(shù)是單調(diào)遞增的奠支。這意味著使得ln(L(p))獲得極大值的p也是使得L(p)獲得極大值的p。下圖為對數(shù)函數(shù)的圖像抚芦。

利用一元函數(shù)求極大值的方法倍谜，對上式兩邊求p的導(dǎo)數(shù)，并令其等于0：

?ln(L(p))?p=∑xip?(n?∑xi)1?p≡0

兩邊乘以p(1-p)叉抡，得到：

(∑xi)(1?p)?(n?∑xi)p=0

化簡后：

∑xi?np=0

需要說明的是尔崔，這里的p實際上是我們估計的p，因此使用如下的符號：

p?=∑xin=∑ni=1xin

假設(shè)我們隨機觀察了30個學(xué)生的樣本褥民，樣本集為：

{0,0,0,0,0,1,0,0,1,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,1,0,0,1,0}

通過上述的極大似然估計方法季春，可以求出預(yù)估的參數(shù)為：

p?=∑ni=1xin=530=0.167

再來看另一個例子：

假定該高校男生的體重呈均值為μ，標準差為σ的正態(tài)分布消返。我們獲得了隨機采樣10個男學(xué)生的體重如下（單位：斤）：

序號體重

1115

2122

3130

4127

5149

6160

7152

8138

9149

10180

正態(tài)分布的概率密度函數(shù)為：

f(xi;μ,σ2)=1σ2π￣￣￣√exp[?(xi?μ)22σ2]

根據(jù)上面的定義载弄，似然函數(shù)是概率質(zhì)量函數(shù)（離散隨機變量）或概率密度函數(shù)（連續(xù)隨機變量）的乘積耘拇，因此：

L(μ,σ)=1σn(2π￣￣￣√)nexp[?12σ2∑i=1n(xi?μ)2]

我們把上式的似然函數(shù)可以看作是參數(shù)θ1和θ2的函數(shù)，其中：

θ1=μ,θ2=σ2

因此宇攻，似然函數(shù)可以改寫為：

L(θ1,θ2)=∏i=1nf(xi;θ1,θ2)=θ?n/22(2π)?n/2exp[?12θ2∑i=1n(xi?θ1)2]

而相應(yīng)的對數(shù)似然函數(shù)則為：

logL(θ1,θ2)=?n2logθ2?n2log(2π)?∑ni=1(xi?θ1)22θ2

這是一個關(guān)于θ1和θ2的二元函數(shù)惫叛，根據(jù)二元函數(shù)求極值的方法，先求θ1的偏導(dǎo)數(shù)（partial derivative）逞刷，然后設(shè)偏導(dǎo)數(shù)為0嘉涌。我們得到：

?logL(θ1,θ2)?θ1=?2∑ni=1(xi?θ1)2θ2=0

∑i=1n(xi?θ1)=0

∑i=1nxi?nθ1=0

由此我們得到參數(shù)θ1的極大似然估計是：

θ1^=μ?=∑ni=1xin=xˉ

現(xiàn)在對θ2求偏導(dǎo)數(shù)（partial derivative），然后設(shè)偏導(dǎo)數(shù)為0夸浅。我們得到：

?logL(θ1,θ2)?θ2=?n2θ2+∑ni=1(xi?θ1)22θ22=0

兩邊同時乘以2θ22：

?nθ2+∑i=1n(xi?θ1)2=0

由此得到參數(shù)θ2的極大似然估計是：

θ2^=σ?2=∑(xi?θ1)2n=∑(xi?xˉ)2n

概括起來仑最，我們已經(jīng)求出了均值μ和方差σ2的最大似然估計：

μ?=∑xin=xˉ,σ?2=∑(xi?xˉ)2n

你發(fā)現(xiàn)沒有，這實質(zhì)上就是教科書中均值和方差的計算公式帆喇！

最后我們根據(jù)樣本數(shù)據(jù)警医，計算μ和方差σ：

μ?=∑xin=142.2,σ?2=∑(xi?xˉ)2n=18.654

于是，我們得到求極大似然估計的一般步驟：

- 根據(jù)設(shè)定概率模型番枚，寫出聯(lián)合概率形式的似然函數(shù)

- 對似然函數(shù)取對數(shù)法严，并整理

- 求導(dǎo)數(shù)或偏導(dǎo)數(shù)，并賦值為0

- 求解方程

最后葫笼，談?wù)劇八迫还烙嫛钡氖褂们疤幔?/p>

- 已經(jīng)假定了概率模型深啤，如二項分布，正態(tài)分布等路星；

- 已經(jīng)有了一些觀察結(jié)果的集合溯街。