最大似然估計(jì)(MLE)：
MLE是利用已知的樣本結(jié)果，反推最有可能導(dǎo)致這樣結(jié)果的參數(shù)值（θ）得計(jì)算過(guò)程丁屎，MLE的目標(biāo)就是找出一組參數(shù)，使得模型產(chǎn)出觀察數(shù)據(jù)的概率最大
MLE求解過(guò)程：
編寫(xiě)似然函數(shù)（即聯(lián)合概率函數(shù)）{似然函數(shù)：在樣本固定的情況下旱眯，樣本出現(xiàn)的概率與參數(shù)θ之間的函數(shù)}
對(duì)似然函數(shù)取對(duì)數(shù)晨川，并整理
求導(dǎo)數(shù)
解似然方程
最大后驗(yàn)概率估計(jì)（MAP）
MAP和MLE一樣证九，都是通過(guò)樣本估計(jì)θ，在MLE中共虑，是使似然函數(shù)P（x|θ）最大的時(shí)候的θ值愧怜，MLE中假設(shè)先驗(yàn)概率是一個(gè)等值；在MAP中則是求θ使得P（x|θ）P（θ）的值最大妈拌，這也就是要求θ值不僅僅是讓似然函數(shù)最大拥坛，同時(shí)要求θ本身出現(xiàn)的先驗(yàn)概率比較大。
EM算法:
Expectation Maximizaton Algorithm,最大期望算法尘分，是一種迭代類(lèi)型算法猜惋，是一種在概率模型中尋找參數(shù)最大似然估計(jì)或者最大后驗(yàn)概率估計(jì)的算法，其中概率模型依賴(lài)于無(wú)法觀測(cè)的隱藏變量培愁。
EM算法流程：
初始化分布參數(shù)：
重復(fù)下面步驟知道收斂：
? ? E步驟：估計(jì)隱藏變量的概率分布期望函數(shù)著摔；
? ? M步驟：根據(jù)期望函數(shù)重新估計(jì)分布參數(shù)。
假定樣本數(shù)據(jù)中存在隱含數(shù)據(jù)z={z1定续，z2,...,zk}此時(shí)極大化模型分布的對(duì)數(shù)似然函數(shù)如下：
Jensen 不等式
EM算法原理：
