概念介紹
1.最大似然估計(jì)(MLE诱担,Maximum Likelihood Estimation):模型(x)已定,參數(shù)y未知
2.最大后驗(yàn)概率(MAP柔吼,Maximum a posteriori estimation):與最大似然估計(jì)類似皂股,但最大后驗(yàn)估計(jì)的融入了要估計(jì)量的先驗(yàn)分布在其中荷辕。故最大后驗(yàn)估計(jì)可以看做規(guī)則化的最大似然估計(jì)。
最大似然估計(jì)
貝葉斯定理公式:P(Y|X)=P(X|Y)P(Y),其中P(X|Y)是似然函數(shù)(數(shù)據(jù)X已知,但是分類Y未知)
1.核心:使得發(fā)生的樣本出現(xiàn)的可能性最大。
2.最大似然估計(jì)是求參數(shù)Y, 使似然函數(shù)p(x0|Y)最大。
最大后驗(yàn)概率估計(jì)
1.核心:使得發(fā)生的樣本出現(xiàn)的可能性最大
2.最大后驗(yàn)概率估計(jì)則是想求Y使得p(x0|Y)p(Y)最大此改。
3.求得的Y不單單讓似然函數(shù)大,Y自己出現(xiàn)的先驗(yàn)概率也得大战转。 (這有點(diǎn)像正則化里加懲罰項(xiàng)的思想躬审,不過正則化里是利用加法,而MAP里是利用乘法)
MLE與MAP的區(qū)別
MLE一直天真認(rèn)為P(Y)是個(gè)固定值矮男,在認(rèn)為Y是固定值的情況下求得p(x0|Y)移必,即使得p(x0|Y)最大;
MAP是求得p(x0|Y)p(Y)最大毡鉴,即p(x0|Y)和p(Y)都得大崔泵,但是這里邊Y的值肯定與MLE中一直認(rèn)為的Y值時(shí)不同的。
相關(guān)連接:https://mp.weixin.qq.com/s/dQxN46wEbFrpvV369uOHdA? 講述MLE與MAP的區(qū)別猪瞬,里邊有例子進(jìn)行解釋憎瘸。