極大似然估計(jì)和貝葉斯估計(jì)是兩種估計(jì)模型參數(shù)的方法。分別代表了兩種學(xué)派的思想。
極大似然估計(jì)是概率學(xué)派的觀點(diǎn)思灌，其認(rèn)為模型參數(shù)為一個(gè)固定未知的值骑丸。
貝葉斯估計(jì)是貝葉斯派的觀點(diǎn)舌仍，認(rèn)為模型參數(shù)是隨機(jī)的妒貌，是一個(gè)概率分布。
在理解兩種估計(jì)方法之前铸豁，先介紹兩個(gè)概念基本：似然函數(shù)灌曙，后驗(yàn)概率。
似然函數(shù)：給定模型參數(shù)θ下节芥，觀測樣本D的概率分布在刺。p(D|θ)
后驗(yàn)概率：給定觀測樣本D下，模型參數(shù)θ的概率分布头镊。p(θ|D)
那么極大似然估計(jì)就是尋找最優(yōu)參數(shù)蚣驼，使得給定樣本的似然函數(shù)最大化：
由貝葉斯全概率公式，我們可以對后驗(yàn)概率進(jìn)行展開：
由于完全的貝葉斯估計(jì)計(jì)算法困難相艇，需要對所有的θ積分颖杏，對后驗(yàn)概率進(jìn)行近似處理得到了最大后驗(yàn)估計(jì)：
觀察公式，我們能發(fā)現(xiàn)坛芽，最大后驗(yàn)估計(jì)相對于極大似然增加了參數(shù)的先驗(yàn)概率分布留储，這正體現(xiàn)了貝葉斯派對于參數(shù)不固定的思想。
