1.6 全概率公式與Bayes公式
例:一所學(xué)校里面有 60% 的男生,40% 的女生缩搅。男生總是穿長(zhǎng)褲溉知,女生則一半穿長(zhǎng)褲一半穿裙子。有了這些信息之后我們可以容易地計(jì)算“隨機(jī)選取一個(gè)學(xué)生刃宵,他(她)穿長(zhǎng)褲的概率和穿裙子的概率是多大”,這個(gè)就是前面說(shuō)的“正向概率”的計(jì)算捅彻。然而组去,假設(shè)你走在校園中,迎面走來(lái)一個(gè)穿長(zhǎng)褲的學(xué)生(很不幸的是你高度近似步淹,你只看得見(jiàn)他(她)穿的是否長(zhǎng)褲,而無(wú)法確定他(她)的性別)诚撵,你能夠推斷出他(她)是男生的概率是多大嗎缭裆?
全概率公式
例:設(shè)女性患某種疾病的概率為,男性患該病的概率為
寿烟,已知全國(guó)的男女比例為
澈驼,求任何一人患該病的概率。
分析:記事件為患該疾病筛武,事件
為女性患該病缝其,事件
為男性患該病挎塌,則
定理:設(shè)為樣本空間,若事件
滿足
-
互不相容内边,即
則稱為樣本空間
的一個(gè)
分劃
榴都,進(jìn)而可得
也即
該公式稱為全概率公式
(Law of Total Probability)
例:袋中有只紅球
只白球,先從袋中任取一球漠其,記下顏色后放回嘴高,同時(shí)向袋中放入同顏色的球
只,然后再?gòu)拇腥〕鲆磺蚝褪骸G蟮诙稳〉桨浊虻母怕省?/p>
解:記拴驮,顯然
是
的一個(gè)分劃,由全概率公式有
思考:若第2次向袋中放入同顏色的球只柴信,結(jié)果如何套啤?
答:結(jié)果不變
例:有10個(gè)袋,其中甲袋二個(gè),每袋中有紅球、白球各2個(gè);乙袋三個(gè),每袋中有紅球3個(gè)随常、白球2個(gè);丙袋五個(gè),每袋中有紅球2個(gè)纲岭、白球3個(gè).從十個(gè)袋中任取一袋,再?gòu)拇腥稳∫磺?求取到白球的概率.
解:記分別表示取到甲、乙线罕、丙袋止潮,
表示取到白球。由全概率公式
問(wèn):如果將三個(gè)袋中的球混合在一起钞楼,然后任取一球喇闸,問(wèn)取到白球的概率是否一樣?
答:不同询件!全概率公式是概率的加權(quán)平均燃乍。
例:甲、乙兩坦克的首發(fā)命中率均為0.8,經(jīng)修正后的第二發(fā)命中率均為0.9, 敵目標(biāo)被一發(fā)炮彈擊中而被擊毀的概率為0.2,被兩發(fā)炮彈擊中而擊毀的概率為0.5,被三發(fā)炮彈擊中必定被擊毀. 在戰(zhàn)斗中,甲宛琅、乙兩坦克分別向敵同一目標(biāo)發(fā)射了兩發(fā)炮彈,求敵目標(biāo)被擊毀的概率.
解:設(shè)表示目標(biāo)被擊毀刻蟹,
表示目標(biāo)被
發(fā)炮彈擊中,
嘿辟。
由全概率公式
Bayes公式(Bayes's Theorem)
設(shè)為樣本空間的一個(gè)分劃舆瘪,且
則由乘法公式
結(jié)合全概率公式,可以得到
該公式稱為Bayes公式
Bayes公式體現(xiàn)了一種“因”和“果”的聯(lián)系红伦,很多時(shí)候不僅可以由因推果英古,也可以由果推因。
通常昙读,事件A在事件B已發(fā)生的條件下發(fā)生的概率召调,與事件B在事件A已發(fā)生的條件下發(fā)生的概率是不一樣的。然而,這兩者是有確定的關(guān)系的唠叛,Bayes公式就是這種關(guān)系的陳述只嚣。
有時(shí)被稱作標(biāo)準(zhǔn)似然度(standardised likelihood),這樣一來(lái)Bayes定理可表述為:后驗(yàn)概率=標(biāo)準(zhǔn)似然度*先驗(yàn)概率
所謂的Bayes方法源于Tomas Bayes生前為解決一個(gè)“逆概”問(wèn)題寫(xiě)的一篇文章艺沼,而這篇文章是在他死后才由他的一位朋友發(fā)表出來(lái)的册舞。在Bayes寫(xiě)這篇文章之前,人們已經(jīng)能夠計(jì)算“正向概率”澳厢,如“假設(shè)袋子里面有N個(gè)白球环础,M個(gè)黑球,你伸手進(jìn)去摸一把剩拢,摸出黑球的概率是多大”线得。而一個(gè)自然而然的問(wèn)題是反過(guò)來(lái):“如果我們事先并不知道袋子里面黑白球的比例,而是閉著眼睛摸出一個(gè)(或好幾個(gè))球徐伐,觀察這些取出來(lái)的球的顏色之后贯钩,那么我們可以就此對(duì)袋子里面的黑白球的比例作出什么樣的推測(cè)”。這個(gè)問(wèn)題办素,就是所謂的逆概問(wèn)題角雷。
實(shí)際上,Bayes當(dāng)時(shí)的論文只是對(duì)這個(gè)問(wèn)題的一個(gè)直接的求解嘗試性穿,并不清楚他當(dāng)時(shí)是不是已經(jīng)意識(shí)到這里面包含著的深刻的思想勺三。然而后來(lái),Bayes方法席卷了概率論需曾,并將應(yīng)用延伸到各個(gè)問(wèn)題領(lǐng)域吗坚,所有需要作出概率預(yù)測(cè)的地方都可以見(jiàn)到Bayes方法的影子,特別地呆万,Bayes是機(jī)器學(xué)習(xí)的核心方法之一商源。這背后的深刻原因在于,現(xiàn)實(shí)世界本身就是不確定的谋减,人類(lèi)的觀察能力是有局限性的(否則有很大一部分科學(xué)就沒(méi)有必要做了——設(shè)想我們能夠直接觀察到電子的運(yùn)行牡彻,還需要對(duì)原子模型爭(zhēng)吵不休嗎?)出爹,我們?nèi)粘K^察到的只是事物表面上的結(jié)果庄吼,沿用剛才那個(gè)袋子里面取球的比方,我們往往只能知道從里面取出來(lái)的球是什么顏色以政,而并不能直接看到袋子里面實(shí)際的情況霸褒。
例(吸毒檢測(cè)):假設(shè)一個(gè)常規(guī)的檢測(cè)結(jié)果的敏感度與可靠度均為,即吸毒者每次檢測(cè)呈陽(yáng)性(+)的概率為
盈蛮。而不吸毒者每次檢測(cè)呈陰性(-)的概率為
。從檢測(cè)結(jié)果的概率來(lái)看技矮,檢測(cè)結(jié)果是比較準(zhǔn)確的抖誉,但是Bayes定理卻可以揭示一個(gè)潛在的問(wèn)題殊轴。假設(shè)某公司對(duì)全體雇員進(jìn)行吸毒檢測(cè),已知
的雇員吸毒袒炉。請(qǐng)問(wèn)每位檢測(cè)結(jié)果呈陽(yáng)性的雇員吸毒的概率有多高旁理?
分析:令為雇員吸毒事件,
為雇員不吸毒事件我磁,
為檢測(cè)呈陽(yáng)性事件孽文。可得
-
代表雇員吸毒的概率夺艰,不考慮其他情況芋哭,該值為
。因?yàn)楣镜念A(yù)先統(tǒng)計(jì)表明該公司的雇員中有
的人吸食毒品郁副,所以這個(gè)值就是
的先驗(yàn)概率减牺。
-
代表雇員不吸毒的概率,顯然存谎,該值為
拔疚,也就是
。
-
代表吸毒者陽(yáng)性檢出率既荚,這是一個(gè)條件概率稚失,由于陽(yáng)性檢測(cè)準(zhǔn)確性是
,因此該值為
恰聘。
-
代表不吸毒者陽(yáng)性檢出率句各,也就是出錯(cuò)檢測(cè)的概率,該值為
憨琳,因?yàn)閷?duì)于不吸毒者诫钓,其檢測(cè)為陰性的概率為
,因此篙螟,其被誤檢測(cè)成陽(yáng)性的概率為
菌湃。
-
代表不考慮其他因素的影響的陽(yáng)性檢出率。該值為
或者
遍略。具體由全概率公式計(jì)算得到:此概率 = 吸毒者陽(yáng)性檢出率(
)+ 不吸毒者陽(yáng)性檢出率(
)惧所。
是檢測(cè)呈陽(yáng)性的先驗(yàn)概率。用數(shù)學(xué)公式描述為:
根據(jù)上述描述绪杏,我們可以計(jì)算某人檢測(cè)呈陽(yáng)性時(shí)確實(shí)吸毒的條件概率:
結(jié)論:盡管吸毒檢測(cè)的準(zhǔn)確率高達(dá)99%下愈,但Bayes定理告訴我們:如果某人檢測(cè)呈陽(yáng)性,其吸毒的概率只有大約33%蕾久,不吸毒的可能性比較大势似。假陽(yáng)性高,則檢測(cè)的結(jié)果不可靠。
類(lèi)似的情況:
- 胰腺癌檢測(cè):即使100%的胰腺癌癥患者都有某癥狀履因,而某人有同樣的癥狀障簿,絕對(duì)不代表該人有100%的概率得胰腺癌,還需要考慮先驗(yàn)概率栅迄,假設(shè)胰腺癌的發(fā)病率是十萬(wàn)分之一站故,而全球有同樣癥狀的人有萬(wàn)分之一,則此人得胰腺癌的概率只有十分之一毅舆,90%的可能是是假陽(yáng)性
- 不良種子檢測(cè):假設(shè)100%的不良種子都表現(xiàn)A性狀西篓,而種子表現(xiàn)A性狀,并不代表此種子100%是不良種子憋活,還需要考慮先驗(yàn)概率岂津,假設(shè)一共有6萬(wàn)顆不良種子,在種子中的比例是十萬(wàn)分之一(假設(shè)總共有60億顆種子)余掖,假設(shè)所有種子中有1/3表現(xiàn)A性狀(即20億顆種子表現(xiàn)A性狀)寸爆,則此種子為不良種子的概率只有十萬(wàn)分之三
例:某工廠的一、二盐欺、三車(chē)間都生產(chǎn)同一產(chǎn)品赁豆,產(chǎn)量分別占總產(chǎn)量的15%,80%,5%三個(gè)車(chē)間的次品率分別為2%,1%,3%.現(xiàn)從匯總起來(lái)的產(chǎn)品中任取一個(gè),經(jīng)檢查是次品,判斷該次品是哪個(gè)車(chē)間生產(chǎn)的可能性較大?
分析:這是“因—果”分析問(wèn)題冗美,故應(yīng)用Bayes公式
解:記表示取得次品魔种,
表示取到的產(chǎn)品是
車(chē)間生產(chǎn)的,
粉洼,由全概率公式
再由Bayes公式
可見(jiàn)該次品是第二車(chē)間生產(chǎn)的可能性較大节预。
以上的分析過(guò)程也被稱為Bayes推斷
。
Bayes推斷
假定為導(dǎo)致試驗(yàn)結(jié)果的“原因”属韧,稱
為
先驗(yàn)概率
安拟。
若試驗(yàn)產(chǎn)生事件,則要探討事件發(fā)生的“原因”宵喂,稱
為
后驗(yàn)概率
糠赦,稱為
原因概率
- 先驗(yàn)概率反映了各種“原因”發(fā)生的可能性大小
- 先驗(yàn)概率和原因概率可以在試驗(yàn)前分析確定
- 后驗(yàn)概率反映了試驗(yàn)后對(duì)各種“原因”發(fā)生的可能性大小的推斷.后驗(yàn)概率可通過(guò)Bayes公式進(jìn)行計(jì)算
- Bayes 方法廣泛應(yīng)用于網(wǎng)絡(luò)、分類(lèi)锅棕、診斷拙泽、估計(jì)、檢驗(yàn)裸燎、判別顾瞻、推理等方面
例:假定為各種疾病,應(yīng)用統(tǒng)計(jì)方法可確定患病的概率(先驗(yàn)概率)
應(yīng)用醫(yī)學(xué)知識(shí)確定每種疾病下指標(biāo)(例如體溫德绿、脈搏荷荤、血象等)出現(xiàn)的概率(原因概率)退渗,應(yīng)用Bayes公式,可以計(jì)算出該指標(biāo)意味著某種疾病的概率(后驗(yàn)概率)
這正是大數(shù)據(jù)在醫(yī)療系統(tǒng)中應(yīng)用的原理梅猿。
課后思考題:習(xí)題一:20氓辣,21秒裕,22袱蚓,23,24
參見(jiàn)數(shù)學(xué)之美番外篇:平凡而又神奇的貝葉斯方法
Bayes公式與人工智能
例(拼寫(xiě)糾正)
經(jīng)典著作《人工智能:現(xiàn)代方法》的作者之一 Peter Norvig 曾經(jīng)寫(xiě)過(guò)一篇介紹如何寫(xiě)一個(gè)拼寫(xiě)檢查/糾正器的文章(原文在這里几蜻,這篇文章很深入淺出喇潘,強(qiáng)烈建議讀一讀),里面用到的就是Bayes方法梭稚。
首先颖低,我們的問(wèn)題是我們看到用戶輸入了一個(gè)不在字典中的單詞,我們需要去猜測(cè):“這個(gè)家伙到底真正想輸入的單詞是什么呢弧烤?”用剛才我們形式化的語(yǔ)言來(lái)敘述就是忱屑,我們需要求:
這個(gè)概率,并找出那個(gè)使得這個(gè)概率最大的猜測(cè)單詞暇昂。
顯然莺戒,我們的猜測(cè)未必是唯一的。比如用戶輸入: thew 急波,那么他到底是想輸入 the 从铲,還是想輸入 thaw ?到底哪個(gè)猜測(cè)可能性更大呢澄暮?幸運(yùn)的是我們可以用Bayes公式來(lái)直接算出它們各自的概率名段,我們不妨將我們的多個(gè)猜測(cè)記為 (
代表 hypothesis),它們都屬于一個(gè)有限且離散的猜測(cè)空間
(單詞總共就那么多而已)泣懊,將用戶實(shí)際輸入的單詞記為
(
代表 Data 伸辟,即觀測(cè)數(shù)據(jù)),于是
可以抽象地記為:
馍刮,類(lèi)似地信夫,對(duì)于我們的猜測(cè)2,則是
渠退。不妨統(tǒng)一記為:
運(yùn)用一次Bayes公式忙迁,我們得到:
對(duì)于不同的具體猜測(cè) ,
都是一樣的碎乃,所以在比較
和
的時(shí)候我們可以忽略這個(gè)常數(shù)姊扔。即我們只需要知道:
這個(gè)式子的抽象含義是:對(duì)于給定觀測(cè)數(shù)據(jù),一個(gè)猜測(cè)是好是壞梅誓,取決于“這個(gè)猜測(cè)本身獨(dú)立的可能性大星∩摇(先驗(yàn)概率佛南,Prior )”和“這個(gè)猜測(cè)生成我們觀測(cè)到的數(shù)據(jù)的可能性大小”(似然,Likelihood )的乘積嵌言。具體到我們的那個(gè) thew 例子上嗅回,含義就是,用戶實(shí)際是想輸入 the 的可能性大小取決于 the 本身在詞匯表中被使用的可能性(頻繁程度)大写蒈睢(先驗(yàn)概率)和 想打 the 卻打成 thew 的可能性大忻嘣亍(似然)的乘積。
下面的事情就很簡(jiǎn)單了苛白,對(duì)于我們猜測(cè)為可能的每個(gè)單詞計(jì)算一下 這個(gè)值娃豹,然后取最大的,得到的就是最靠譜的猜測(cè)购裙。
類(lèi)似的方法可以用來(lái)處理自然語(yǔ)言的二義性問(wèn)題懂版,例如
The girl saw the boy with a telescope.
到底是 The girl saw-with-a-telescope the boy 這一語(yǔ)法結(jié)構(gòu),還是 The girl saw the-boy-with-a-telescope 呢躏率??jī)煞N語(yǔ)法結(jié)構(gòu)的常見(jiàn)程度都差不多(你可能會(huì)覺(jué)得后一種語(yǔ)法結(jié)構(gòu)的常見(jiàn)程度較低躯畴,這是事后偏見(jiàn),你只需想想 The girl saw the boy with a book 就知道了薇芝。當(dāng)然蓬抄,實(shí)際上從大規(guī)模語(yǔ)料統(tǒng)計(jì)結(jié)果來(lái)看后一種語(yǔ)法結(jié)構(gòu)的確稍稍不常見(jiàn)一丁點(diǎn),但是絕對(duì)不足以解釋我們對(duì)第一種結(jié)構(gòu)的強(qiáng)烈傾向)恩掷。那么到底為什么呢倡鲸?
比價(jià)合理的解釋是:如果語(yǔ)法結(jié)構(gòu)是 The girl saw the-boy-with-a-telecope 的話,怎么那個(gè)男孩偏偏手里拿的就是望遠(yuǎn)鏡——一個(gè)可以被用來(lái) saw-with 的東東捏黄娘?這也忒小概率了吧峭状。他咋就不會(huì)拿本書(shū)呢?拿什么都好逼争。怎么偏偏就拿了望遠(yuǎn)鏡优床?所以唯一的解釋是,這個(gè)“巧合”背后肯定有它的必然性,這個(gè)必然性就是,如果我們將語(yǔ)法結(jié)構(gòu)解釋為 The girl saw-with-a-telescope the boy 的話旁振,就跟數(shù)據(jù)完美吻合了——既然那個(gè)女孩是用某個(gè)東西去看這個(gè)男孩的,那么這個(gè)東西是一個(gè)望遠(yuǎn)鏡就完全可以解釋了(不再是小概率事件了)移层。
還有中文分詞的問(wèn)題,比如
給定一個(gè)句子(字串)赫粥,如:
南京市長(zhǎng)江大橋
如何對(duì)這個(gè)句子進(jìn)行分詞(詞串)才是最靠譜的观话。例如:
南京市/長(zhǎng)江大橋
南京/市長(zhǎng)/江大橋
這兩個(gè)分詞,到底哪個(gè)更靠譜呢越平?
顯然這個(gè)思想還可以推廣到機(jī)器翻譯的領(lǐng)域频蛔,甚至是圖像識(shí)別灵迫、垃圾郵件過(guò)濾