因為最近要弄懂貝葉斯參數(shù)估計在計量經(jīng)濟(jì)學(xué)中的應(yīng)用，想把筆記寫下來条获，當(dāng)做是一個復(fù)習(xí)施籍。內(nèi)容主要是參考了一下文獻(xiàn)：Applied Bayesian Econometrics for Central Bankers
我們先從最簡單的OLS估計開始
原本的做法就是通過使誤差平方和最小化來實現(xiàn)最優(yōu)的參數(shù)估計
當(dāng)然湃密，其實我們也可以使用似然函數(shù)最大化的方法來得到我們要估計的參數(shù)。
那我們用這個似然函數(shù)來估計函數(shù)也是可以的返帕。
那為什么要用貝葉斯方法來估計參數(shù)呢？傳統(tǒng)的方法只能純粹地從數(shù)據(jù)中獲取信息篙挽。然而荆萤，貝葉斯方法不僅可以從數(shù)據(jù)中得到信息，而且可以加入先驗信息铣卡。
我們先介紹一般怎么使用貝葉斯來估計參數(shù)的呢链韭？
例如，現(xiàn)在我們要估計上邊模型中B這個參數(shù)煮落。
第一步：設(shè)置先驗分本
我們可以假設(shè)B服從以下分布：
至于B的分布類型選擇與具體的參數(shù)選擇敞峭，這個問題成為第二個重要問題。
第二步：找到似然函數(shù)
第三步：根據(jù)信息蝉仇，更新先驗分布旋讹，得到后驗分布
其實就是根據(jù)貝葉斯公式，求出后驗分布量淌。
在進(jìn)入到具體的求解推導(dǎo)之前骗村，我們想來看看簡化了的兩種情況。
第一種情況呀枢，假設(shè)我們已經(jīng)知道方差胚股，只需要估計B的參數(shù)。
按照上面提到的三個步驟裙秋，我們一起來看看：
第一步：設(shè)置先驗分布
因為已知了方差琅拌，前部部分相當(dāng)于是一個常數(shù)。
第二步：找到似然函數(shù)
第三步：得到后驗分布
兩個正態(tài)的乘積還是正態(tài)分布
經(jīng)過整理之后
就可以改寫
看到這個表達(dá)式之后进宝，我們可以回答先驗分布中的參數(shù)設(shè)置對估計有什么影響了。
當(dāng)∑比較小的時候枷恕，會方法先驗分布的影響党晋。
當(dāng)∑比價大的時候，說明減少先驗分布的影響，更看重的時候數(shù)據(jù)帶來的結(jié)果未玻。
現(xiàn)在我們來看第二種情況：已經(jīng)知道B灾而，估計σ2這個參數(shù)。
因為σ2永遠(yuǎn)都是正的扳剿，而正態(tài)分布是有正有負(fù)旁趟，顯然正態(tài)分布不適合用來作為σ2的先驗分布。
我們這里采用的是Gamma分布庇绽，為什么要采用Gamma分布锡搜，這里涉及到一個共軛分布的問題。到后面再解釋瞧掺。
先來介紹一下Gamma分布：
假設(shè)有T個樣本來自于以下分布耕餐。
W就是服從自由度為T，尺度參數(shù)（scale parameter）為θ的Gamma分布了夸盟。感覺有點想卡方分布蛾方。
到這里，我們可以重新使用三步曲
第一步：設(shè)置先驗分布
這里是Gamma分布
第二步：尋找似然函數(shù)
s
第三步：計算后驗分布
其中
到這里我們可以解釋為什么我需要用Gamma分布桩砰，因為貝葉斯估計，到最后要跟其他分布相乘的释簿。Gamma分布有良好的性質(zhì)：Gamma分布與正態(tài)分布相乘之后亚隅，還是服從Gamma分布，這種性質(zhì)叫做共軛（conjugate）
前面兩種情況都給我們現(xiàn)在要說的這種情況做鋪墊的庶溶。就是B和σ2都未知的情況煮纵。
我們一起來看看，還是三步曲：
第一步：設(shè)置先驗分布
第二步：尋找似然函數(shù)
第三步：計算后驗分布
我們涉及到σ2偏螺，分布的計算就沒有那么簡單了行疏。
這個是一個常規(guī)的路徑，然而運用這個常規(guī)路徑的時候套像，我們往就會算不下去了酿联。
我們最終的目的是有得到下面兩個條件分布。即使我們得到上述的聯(lián)合概率夺巩，很有可能也會積分難以計算的問題贞让。
和
有了這兩個邊緣分布（marginal distribution）我們就可以估計參數(shù)了。
基于上述說到的困難柳譬，我們可以模擬的方法來估計這兩個分布喳张。
這就引出我們要講的Gibbs Sampling的方法了！美澳！
