理解β分布及共軛分布

拋硬幣的結(jié)果滿足二項分布，即若每次試驗正面向上的概率為θ夸赫，進(jìn)行m次試驗菩帝，其中n次正面向上的概率為
$\begin{align} P(Y=n | \theta) &= \tbinom{m}{n}{\theta}^n(1-\theta)^{m-n} \\ &= \frac{m!}{n!{(m-n)}!} \theta^n (1-\theta)^{m-n} \end{align}$
當(dāng) $\theta = 0.5$ 時，若進(jìn)行十次試驗憔足，出現(xiàn)五次正面向上的概率最大胁附，四次或六次正面向上的概率略小。如果 $\theta= 0.53$ 滓彰，十次試驗中依然是出現(xiàn)五次正面向上的概率最大，此時 $P(Y=5 | \theta = 0.53) = \tbinom{10}{5} 0.53^5(1-0.53)^5 = 0.2417$
反過來思考州袒，倘若不知道正面向上的概率揭绑，只有“拋十次硬幣出現(xiàn)五次正面向上”這一觀察結(jié)果，能否判定 $\theta= 0.5$ 呢郎哭？顯然是不行的他匪。 $\theta = 0.5, 0.53$ 都是很有可能的；甚至當(dāng) $\theta = 0.8$ 時夸研，十次試驗仍有2%的幾率出現(xiàn)五次正面向上邦蜜。
可見，當(dāng)觀察到試驗結(jié)果時亥至，我們無法準(zhǔn)確判定 $\theta$ 的確切值悼沈，而只能對它的概率分布作出判斷贱迟。在上述例子中，我們傾向于認(rèn)為 $\theta = 0.5,0.53$ 的可能性較大絮供，而等于 $0.8$ 的可能性較小衣吠。
定量描述“ $\theta$ 取值的可能性”需要引入似然性的概念。似然性表示參數(shù)為某個特定值的可能性壤靶，也等于對應(yīng)參數(shù)下樣本分布的概率缚俏，即
$L(\theta | Y) = P(Y ; \theta)$
在本例中，十次試驗出現(xiàn)五次正面向上時贮乳， $\theta$ 的似然函數(shù)即為
$L(\theta | Y=5) = P(Y=5 ; \theta) = \tbinom{10}{5}\theta^5 (1-\theta)^5$
$\theta$ 在 $[0,1]$ 變化時忧换，似然函數(shù)的大小即代表 $\theta$ 取值可能性的大小。
需要注意的是向拆，似然函數(shù)的值并不等于參數(shù) $\theta$ 取到某值的確切概率亚茬，函數(shù)值大小關(guān)系僅反應(yīng)取對應(yīng)自變量的可能性大小關(guān)系。若要定量描述參數(shù)的概率分布及其取某一確切值的概率亲铡，需要對似然函數(shù)進(jìn)行歸一化處理得到其概率密度函數(shù)才写，即通過除以函數(shù)面積構(gòu)造新函數(shù)讓其在給定區(qū)間內(nèi)積分為1.因此，對一正函數(shù) $f(x)$ ,在給定定義域內(nèi)作 $g(x) = \frac{f(x)}{\int f(u) \, \mathrmhd7rvpj u}$ ,則 $\int g(x)\, \mathrmz1hbrlhx =1$
對于二項分布的似然函數(shù)作同樣處理奖蔓，則有
$\begin{align} P(\theta) &= \frac{\tbinom{m}{n}{\theta}^n(1-\theta)^{m-n}}{\int_0^1\tbinom{m}{n} {\theta}^n(1-\theta)^{m-n} \, \mathrmvbhlz7f \theta} \\ &= \frac{\theta^n (1-\theta)^{m-n} }{\int_0^1\theta^n (1-\theta)^{m-n} \, \mathrmj11rnfb \theta } \end{align}$
為表美觀赞草，我們令 $\alpha = n +1, \beta = m-n+1, f(x) = P(\theta)$ ,則
$\begin{align} f(x; \alpha, \beta) &= \frac{x^{\alpha-1} (1-x)^{\beta-1}}{\int_0^1 u^{\alpha-1} (1-u)^{\beta-1}\, \mathrmlpdbvpru } \\ &= \frac{1}{B(\alpha, \beta)} x^{\alpha-1} (1-x)^{\beta-1} \end{align}$
至此，我們成功推導(dǎo)出了Beta分布的概率密度公式吆鹤。Beta分布描述的是厨疙，進(jìn)行伯努利試驗（拋硬幣），出現(xiàn) $\alpha-1$ 次正面疑务， $\beta - 1$ 次反面時沾凄，正面向上的概率 $\theta$ 的概率分布。當(dāng)我們沒有拋硬幣時知允，出現(xiàn)正面與反面向上的次數(shù)均為0撒蟀，此時可認(rèn)為硬幣正面向上的概率滿足 $Beta(1,1)$ 的分布，即均勻分布温鸽；其概率密度函數(shù)如圖

Beta(1,1)

若拋了三次硬幣均為正面保屯，此時正面向上概率滿足

Beta(4,1)

的分布，其概率密度函數(shù)如圖

Beta(4,1)

即有充分理由認(rèn)為正面向上概率靠近1
當(dāng)分別進(jìn)行10次試驗出現(xiàn)5正5反以及進(jìn)行1000次試驗出現(xiàn)500正500反時涤垫，正面向上概率分別滿足

Beta(6,6)

及

Beta(501,501)

分布姑尺，其函數(shù)圖像為

Beta(6,6)

Beta(501,501)

顯然，

Beta(501,501)

的概率分布明顯比

Beta(6,6)

更向0.5集中蝠猬。即切蟋，當(dāng)拋十次硬幣出現(xiàn)五正五反時，

\theta

的取值仍相當(dāng)有可能不為0.5榆芦，而當(dāng)拋1000次硬幣出現(xiàn)500正500反時柄粹，

\theta

取0.5以外值的可能性就很小了喘鸟。

貝葉斯公式指出，后驗概率正比于為先驗概率×似然性镰惦。若后驗分布與先驗分布屬于同類迷守，則先驗分布與后驗分布被稱作共軛分布，該先驗分布被稱為似然函數(shù)的共軛先驗旺入。
共軛先驗的概念必須基于似然函數(shù)進(jìn)行討論兑凿。在拋硬幣的例子中，我們通過對似然函數(shù)的歸一化得到了 $Beta$ 分布茵瘾，因此若將先驗分布也設(shè)為 $Beta$ 分布礼华，對后驗分布的計算在代數(shù)上將十分簡便。除了二項分布- $Beta$ 分布外拗秘，正態(tài)分布-正態(tài)分布圣絮、泊松分布- $Gamma$ 分布也是常見的共軛分布。

最后編輯于：2021.09.09 08:50:19

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末雕旨，一起剝皮案震驚了整個濱河市扮匠，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌凡涩，老刑警劉巖棒搜，帶你破解...
沈念sama閱讀 218,036評論 6贊 506
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異活箕，居然都是意外死亡力麸，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,046評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門育韩，熙熙樓的掌柜王于貴愁眉苦臉地迎上來克蚂，“玉大人，你說我怎么就攤上這事筋讨“０龋” “怎么了？”我有些...
開封第一講書人閱讀 164,411評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵悉罕，是天一觀的道長游盲。經(jīng)常有香客問我，道長蛮粮，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 58,622評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任谜慌，我火速辦了婚禮然想，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘欣范。我一直安慰自己变泄，他們只是感情好令哟，可當(dāng)我...
茶點故事閱讀 67,661評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著妨蛹，像睡著了一般屏富。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上蛙卤，一...
開封第一講書人閱讀 51,521評論 1贊 304
城市分裂傳說
那天狠半，我揣著相機與錄音，去河邊找鬼颤难。笑死神年，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的行嗤。我是一名探鬼主播已日，決...
沈念sama閱讀 40,288評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼栅屏！你這毒婦竟也來了飘千？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 39,200評論 0贊 276
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤栈雳，失蹤者是張志新（化名）和其女友劉穎护奈，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體甫恩，經(jīng)...
沈念sama閱讀 45,644評論 1贊 314
?護(hù)林員之死
正文獨居荒郊野嶺守林人離奇死亡逆济，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,837評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了磺箕。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片奖慌。...
茶點故事閱讀 39,953評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖松靡，靈堂內(nèi)的尸體忽然破棺而出简僧，到底是詐尸還是另有隱情，我是刑警寧澤雕欺，帶...
沈念sama閱讀 35,673評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布岛马，位于F島的核電站，受9級特大地震影響屠列，放射性物質(zhì)發(fā)生泄漏啦逆。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 41,281評論 3贊 329
男人毒藥：我在死后第九天來索命
文/蒙蒙一笛洛、第九天我趴在偏房一處隱蔽的房頂上張望夏志。院中可真熱鬧，春花似錦苛让、人聲如沸沟蔑。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,889評論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽瘦材。三九已至厅须，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間食棕，已是汗流浹背朗和。一陣腳步聲響...
開封第一講書人閱讀 33,011評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留宣蠕，地道東北人例隆。一個月前我還...
沈念sama閱讀 48,119評論 3贊 370
代替公主和親
正文我出身青樓，卻偏偏與公主長得像抢蚀，于是被迫代替她去往敵國和親镀层。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 44,901評論 2贊 355

理解β分布及共軛分布

推薦閱讀更多精彩內(nèi)容