整理自李航老師的《統(tǒng)計(jì)學(xué)習(xí)方法》一書
1忿族、引言
概率模型有時(shí)既含有觀測(cè)變量锣笨，又含有隱變量或潛在變量，如果概率模型的變量都是觀測(cè)變量道批，那么給定數(shù)據(jù)错英，可以直接用極大似然估計(jì)法，或貝葉斯估計(jì)法估計(jì)模型參數(shù)隆豹，但是椭岩，當(dāng)模型中含有隱變量時(shí)，就不能簡(jiǎn)單的使用這些方法璃赡。EM算法就是含有隱變量的概率模型參數(shù)的極大似然估計(jì)法判哥，或極大后驗(yàn)概率估計(jì)法。
2碉考、三硬幣模型描述
三硬幣問(wèn)題是這樣的：
假設(shè)有三枚硬幣塌计，分別記為A、B侯谁、C锌仅。這些硬幣正面的概率分別為π，p墙贱，q热芹，進(jìn)行如下的拋硬幣實(shí)驗(yàn)：先擲硬幣A，根據(jù)其結(jié)果選出硬幣B或者硬幣C惨撇，正面選硬幣B伊脓，反面選硬幣C，然后擲選出的硬幣魁衙，擲硬幣的記過(guò)报腔，出現(xiàn)正面記作1，出現(xiàn)反面記作0纺棺，獨(dú)立地重復(fù)n次實(shí)驗(yàn)（這里n=10）榄笙，然后觀測(cè)結(jié)果如下：
1，1祷蝌，0茅撞，1，0巨朦，0米丘，1，0糊啡，1拄查，1
假設(shè)只能觀測(cè)到擲硬幣的結(jié)果，不能觀測(cè)擲硬幣的過(guò)程棚蓄，問(wèn)如何估計(jì)三硬幣正面出現(xiàn)的概率堕扶，即三硬幣模型的參數(shù)π碍脏，p，q稍算。
3典尾、三硬幣問(wèn)題表示
三硬幣模型可以寫作：
這里隨機(jī)變量y是觀測(cè)變量，表示一次實(shí)驗(yàn)觀測(cè)的結(jié)果是1或0糊探，隨機(jī)變量z是隱變量钾埂，表示未觀測(cè)到的擲硬幣A的結(jié)果，θ=（π科平，p褥紫，q）是模型參數(shù)，這一模型是以上數(shù)據(jù)的生成模型瞪慧。再提醒一次髓考，隨機(jī)變量y的數(shù)據(jù)可以觀測(cè)，隨機(jī)變量z的數(shù)據(jù)不可觀測(cè)汞贸。上式的意思即在θ的前提下出現(xiàn)y的概率等于在θ的前提下y和z的聯(lián)合分布中y的邊緣分布绳军。
將觀測(cè)數(shù)據(jù)表示為Y印机，未觀測(cè)數(shù)據(jù)表示為Z矢腻，則觀測(cè)數(shù)據(jù)的似然函數(shù)是：
在該問(wèn)題中，似然函數(shù)展開為
考慮求模型參數(shù)θ=（π射赛，p多柑，q）的極大似然估計(jì)，即：
這個(gè)問(wèn)題沒有解析解楣责，只有通過(guò)迭代方法求解竣灌，EM算法就是可以用于求解這個(gè)問(wèn)題的一個(gè)迭代算法，下面給出求解這個(gè)問(wèn)題的EM算法過(guò)程秆麸。
4初嘹、EM算法求解三硬幣模型
EM算法首先選取參數(shù)的初值，然后通過(guò)下面的步驟迭代計(jì)算參數(shù)的估計(jì)址沮趣，直到收斂為止屯烦。EM算的第i+1次迭代過(guò)程如下：
我們帶入具體的數(shù)值：
選取不同的初值，最后得到的收斂結(jié)果可能是不一樣的房铭，不信你可以試一下驻龟。
5、EM算法步驟
一般的缸匪，用Y表示觀測(cè)隨機(jī)變量的數(shù)據(jù)翁狐，Z表示隱隨機(jī)變量的數(shù)據(jù)，Y和Z連在一起稱為完全數(shù)據(jù)凌蔬，只有觀測(cè)數(shù)據(jù)Y稱為不完全數(shù)據(jù)露懒，假設(shè)給定觀測(cè)數(shù)據(jù)Y闯冷，其概率分布為P(Y|θ),那么不完全數(shù)據(jù)的似然函數(shù)就是P(Y|θ)，對(duì)數(shù)似然函數(shù)是L(θ) = log(P(Y|θ))懈词，假設(shè)Y和Z的聯(lián)合概率分布是P(Y,Z|θ),那么完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)是logP(Y,Z|θ)窃躲。
EM算法通過(guò)迭代求L(θ) = log(P(Y|θ))的極大似然估計(jì)，每次迭代包括兩步：E步钦睡，求期望蒂窒，M步，求最大化荞怒，下面介紹EM算法的步驟：
