轉(zhuǎn)載自?期望最大化（EM）
〇庵芭、說明
在看到的資料里嫁盲，包括周志華教授的《機(jī)器學(xué)習(xí)》[1]创泄、李航博士的《統(tǒng)計(jì)學(xué)習(xí)方法》[2]知染，大多數(shù)材料把期望最大化算法看做是一個(gè)解決含有隱變量優(yōu)化問題的算法肋僧，我認(rèn)為這是對期望最大化算法的狹義理解；而在吳軍博士的《數(shù)學(xué)之美》[3]中控淡，吳軍博士將交替優(yōu)化參數(shù)和模型直到最優(yōu)的這一類算法（書中沒有這樣表述嫌吠，我自己對書中內(nèi)容的理解），稱作期望最大化算法掺炭，我認(rèn)為這是對期望最大化算法的廣義理解辫诅。對于對算法的宏觀理解，個(gè)人認(rèn)為吳軍博士的廣義理解更好理解涧狮；但對于解決實(shí)際問題炕矮，還是要具體到每一個(gè)可以編程實(shí)現(xiàn)的算法。
一者冤、一句話簡介
期望最大化算法（Expectation Maximization）肤视，是一種漸進(jìn)逼近算法；定義一個(gè)最優(yōu)化函數(shù)后涉枫，分為兩步：根據(jù)參數(shù)調(diào)整模型（E步）邢滑；根據(jù)模型調(diào)整參數(shù)（M步）；E步和M步交替進(jìn)行愿汰，直至最優(yōu)（局部）困后。
二乐纸、最簡單的例子
一個(gè)不是很恰當(dāng)?shù)睦樱跎w樓房摇予。
目標(biāo)函數(shù)：蓋樓房蓋到預(yù)定高度锯仪。E步：根據(jù)樓房現(xiàn)有高度調(diào)整塔吊高度（根據(jù)參數(shù)調(diào)整模型）；M步：根據(jù)現(xiàn)有塔吊高度將樓房蓋到盡可能高（根據(jù)模型調(diào)整參數(shù)）趾盐；交替進(jìn)行直到樓房達(dá)到預(yù)定高度庶喜。
三、廣義期望最大化算法包括
狹義期望最大化算法救鲤，K均值算法[3]久窟，Baum-Welch算法[3]，GIS算法[3]本缠，等等斥扛。
四、狹義期望最大化算法
1丹锹、算法引出
在考慮求對于模型參數(shù)稀颁，使樣本結(jié)果極大似然估計(jì)的算法中，如果存在隱變量而使得極大似然估計(jì)無法直接求解楣黍，則這時(shí)候可以使用期望最大化（EM）算法來求解匾灶。
2、算法描述[2]
3租漂、注意
EM算法對初值是敏感的阶女，并且收斂到局部極值。常用的辦法是選取幾個(gè)不同的初值進(jìn)行迭代哩治，然后對得到的各個(gè)估計(jì)值加以比較秃踩，從中選擇最好的[2]。
五业筏、參考
1憔杨、《機(jī)器學(xué)習(xí)》，周志華著
2蒜胖、《統(tǒng)計(jì)學(xué)習(xí)方法》消别，李航著
3、《數(shù)學(xué)之美》翠勉，吳軍著
