EM算法是頻率學(xué)派的武功告抄，是極大似然法估計(jì)的升級(jí)版。是帶有隱變量的極大似然估計(jì)。
典型的應(yīng)用：GMM末贾、pLSA
正文
算法分成兩步：E步和M步
Paste_Image.png
E步：
根據(jù)參數(shù)初始值或上一次迭代的模型參數(shù)來(lái)計(jì)算出隱性變量的后驗(yàn)概率（分布）揩晴，其實(shí)就是隱性變量的期望勋陪。作為隱藏變量的現(xiàn)估計(jì)值：
M步：
把似然函數(shù)最大化獲得新的參數(shù)值。
EM算法的難點(diǎn)在于公式的數(shù)學(xué)推導(dǎo)硫兰，尤其是M步诅愚。
普世的EM算法，我們只能推導(dǎo)到E步劫映，得到隱變量的后驗(yàn)概率违孝。
而M步，也就是極大似然公式的建立和推導(dǎo)泳赋，是需要結(jié)合具體的問(wèn)題的雌桑。比如pLSA就帶著一個(gè)劇復(fù)雜的M步推導(dǎo)。
E步推導(dǎo)
Paste_Image.png
Paste_Image.png
M步
似然函數(shù)極大
Paste_Image.png
Jensen不等式鎮(zhèn)樓
Paste_Image.png
Paste_Image.png
擴(kuò)展
Paste_Image.png
