〇废麻、說明
在看到的資料里屑埋，包括周志華教授的《機(jī)器學(xué)習(xí)》[1]肆汹、李航博士的《統(tǒng)計(jì)學(xué)習(xí)方法》[2]，大多數(shù)材料把期望最大化算法看做是一個解決含有隱變量優(yōu)化問題的算法输虱，我認(rèn)為這是對期望最大化算法的狹義理解些楣；而在吳軍博士的《數(shù)學(xué)之美》[3]中，吳軍博士將交替優(yōu)化參數(shù)和模型直到最優(yōu)的這一類算法（書中沒有這樣表述宪睹，我自己對書中內(nèi)容的理解）愁茁，稱作期望最大化算法，我認(rèn)為這是對期望最大化算法的廣義理解亭病。對于對算法的宏觀理解鹅很，個人認(rèn)為吳軍博士的廣義理解更好理解；但對于解決實(shí)際問題罪帖，還是要具體到每一個可以編程實(shí)現(xiàn)的算法促煮。
一、一句話簡介
期望最大化算法（Expectation Maximization）整袁，是一種漸進(jìn)逼近算法菠齿；定義一個最優(yōu)化函數(shù)后，分為兩步：根據(jù)參數(shù)調(diào)整模型（E步）坐昙；根據(jù)模型調(diào)整參數(shù)（M步）绳匀；E步和M步交替進(jìn)行，直至最優(yōu)（局部）。
二疾棵、最簡單的例子
一個不是很恰當(dāng)?shù)睦痈旮郑跎w樓房。
目標(biāo)函數(shù)：蓋樓房蓋到預(yù)定高度是尔。E步：根據(jù)樓房現(xiàn)有高度調(diào)整塔吊高度（根據(jù)參數(shù)調(diào)整模型）殉了；M步：根據(jù)現(xiàn)有塔吊高度將樓房蓋到盡可能高（根據(jù)模型調(diào)整參數(shù)）；交替進(jìn)行直到樓房達(dá)到預(yù)定高度嗜历。
三宣渗、廣義期望最大化算法包括
狹義期望最大化算法抖所，K均值算法[3]梨州，Baum-Welch算法[3]，GIS算法[3]田轧，等等暴匠。
四、狹義期望最大化算法
1傻粘、算法引出
在考慮求對于模型參數(shù)每窖，使樣本結(jié)果極大似然估計(jì)的算法中，如果存在隱變量而使得極大似然估計(jì)無法直接求解弦悉，則這時候可以使用期望最大化（EM）算法來求解。
2、算法描述[2]
3僵芹、注意
EM算法對初值是敏感的坛猪，并且收斂到局部極值。常用的辦法是選取幾個不同的初值進(jìn)行迭代污秆，然后對得到的各個估計(jì)值加以比較劈猪，從中選擇最好的[2]。
五良拼、參考
1战得、《機(jī)器學(xué)習(xí)》，周志華著
2庸推、《統(tǒng)計(jì)學(xué)習(xí)方法》常侦，李航著
3、《數(shù)學(xué)之美》贬媒，吳軍著
