本文博客地址
http://www.algorithmdog.com/ten-positive-eleven
本文在公眾號 AlgorithmDog 地址
http://mp.weixin.qq.com/s?__biz=MzI2MDIxMjQyMg==&mid=2653584065&idx=1&sn=31a922614b405be59882e689f9e341cb#rd 镰官。
我們拋硬幣，前十次都是正面吗货，那么第十一次正面的概率是多少泳唠？
看到上圖，估計大伙已經(jīng)知道我在吐槽啥了宙搬。一種答案是50%警检，另一種答案是$0.5^{11}$。
- 聯(lián)合概率和條件概率
拋硬幣是一個典型的伯努利過程害淤。硬幣正面朝上的概率用 $\theta$ 表示扇雕，拋的次數(shù)用 n 表示，正面的次數(shù)用 t 表示窥摄，$s_{i}=1$ 表示第 i 次硬幣正面镶奉。
第十一次為正面的概率是多少？這個問題首先是一道語文題崭放。我們得搞清楚哨苛，當(dāng)我們問第十一次為正面的概率是多少，我們到底問了啥币砂〗ㄇ停回答 0.5 的人，認(rèn)為問題是條件概率 $p(\theta)$ 或者$p(\theta|T=10) $(和前面結(jié)果獨(dú)立)决摧∫谡簦回答 0.5 的人，認(rèn)為問題是聯(lián)合概率 $p(\theta,T=10)$掌桩。
明確條件概率和聯(lián)合概率概念之后边锁，“第十一次正面的概率是多少（在前面十次正面的情況下）？” 是在問條件概率波岛，而不是問聯(lián)合概率茅坛。因此這不是一個數(shù)學(xué)題，而是一個語文題则拷。
2.貝葉斯
在生活場景下贡蓖，回答第十一次正面的概率 0.5 是 OK 的。因此在生活中煌茬，我們一般認(rèn)為硬幣是無偏的斥铺。不過貝葉斯學(xué)派的童鞋們有不同的話說。如果拋硬幣正面的概率 $\theta = 0.5$宣旱，那么前面十次都是正面的概率就是 $p(T=10|\theta) = 0.5^{10} = 1/1024$仅父。不太可能吧叛薯，那么小的概率都被我們碰到。因此貝葉斯的童鞋們認(rèn)為笙纤，這個硬幣傾向于正面耗溜。
在拋硬幣問題上，貝葉斯公式如下所示省容。
按照這個公式抖拴，貝葉斯關(guān)心概率的概率 $p(\theta|T)$。計算這個概率的概率之前腥椒，我們需要先驗(yàn)概率 $p(\theta)$阿宅。對于拋硬幣這個伯努利過程，一般用 Beta 分布做先驗(yàn)概率笼蛛，Beta 分布的公式如下所示洒放。
其中 $\alpha$ 和 $\beta$ 是 Beta 分布的兩個參數(shù)。計算后驗(yàn)概率
$p(\theta|T=10) = Beta(\theta;\alpha+10,\beta)$ 的概率密度分布示意圖如下所示滨砍。
那么按照貝葉斯方法往湿，第十一次正面的概率$\theta$ 是多少？不好意思惋戏，貝葉斯方法并不能計算出這個领追，但貝葉斯方法能夠計算后驗(yàn)概率 $p(\theta|T=10)$ 。根據(jù)后驗(yàn)概率响逢，我們能計算 $\theta$ 以一定的概率處于一定范圍绒窑。
- 區(qū)間估計
其實(shí)我們還可以用區(qū)間估計來解決這個問題。針對參數(shù)$\theta$, 區(qū)間估計算出一個區(qū)間 [L(X),U(X)]舔亭，其中 L(X) 和 U(X) 是兩個統(tǒng)計量些膨。隨機(jī)區(qū)間 [L(X),U(X)] 覆蓋參數(shù) $\theta$ 的概率被稱為覆蓋概率，表示為 $p(\theta \in [L(X),U(X)]|\theta)$分歇。覆蓋概率的最小值被稱為置信度傀蓉，表示為$inf_{\theta} p(\theta \in [L(X),U(X)]|\theta)$。對于置信度為 $1-\alpha$ 的區(qū)間估計职抡，我們有
其中 $p(\theta) $ 是未知的先驗(yàn)概率。相比貝葉斯的做法误甚，區(qū)間估計不需要具體的先驗(yàn)概率缚甩。按照上面的公式，至少$1-\alpha$ 的可能性窑邦，參數(shù) $\theta$ 處于區(qū)間 [L(X),U(X)] 之間擅威。
雖然伯努利過程簡單，但相關(guān)的區(qū)間估計都有缺陷冈钦。相關(guān)的區(qū)間估計包括 Wald interval郊丛、Wilson score interval、Jeffreys interval损离、Clopper-Pearson interval 和 Agresti-Coull Interval 等等砖第。我們用適用于極端情況的 Wilson score interval 做例子。Wilson score interval 的計算公式如下所示净响。
我們用模擬方法計算 Wilson score interval 的覆蓋概率揍瑟，其中參數(shù)設(shè)置為 $1-\alpha=0.05$白翻，$n=5,10,100$，結(jié)果如下圖所示绢片÷蒜桑可以發(fā)現(xiàn)覆蓋概率有時會低于置信度 $1-\alpha=0.05$，說明 Wilson score interval 存在缺陷底循。這時我們不能說: 至少$1-\alpha$ 的可能性巢株，參數(shù) $\theta$ 處于 Wilson score interval。不過我們也發(fā)現(xiàn)熙涤，覆蓋概率一直保持較高的水平阁苞。我們很有信心 $\theta$ 屬于 Wilson score interval。
回到之前的問題灭袁。拋了十次全部為正猬错，則$\hat{p}=1$。再令$1-\alpha=0.95$茸歧。按照公式計算得 L(X) = 0.722 和 U(X) = 1倦炒，即得區(qū)間 [0.722,1]。我們很有信心地認(rèn)為第十一次正面的概率處于 0.722 和 1 之間软瞎。
4.總結(jié)
當(dāng)然啦逢唤，硬幣可能立起來，哈哈哈涤浇。
