轉(zhuǎn)載：貝葉斯公式的直觀理解(先驗(yàn)概率/后驗(yàn)概率)
前言
以前在許學(xué)習(xí)貝葉斯方法的時(shí)候一直不得要領(lǐng),什么先驗(yàn)概率,什么后驗(yàn)概率,完全是跟想象脫節(jié)的東西,今天在聽(tīng)喜馬拉雅的音頻的時(shí)候突然領(lǐng)悟到,貝葉斯老人家當(dāng)時(shí)想到這么一種理論前提可能也是基于一種人的直覺(jué).
先驗(yàn)概率:是指根據(jù)以往經(jīng)驗(yàn)和分析得到的概率.[1]
意思是說(shuō)我們?nèi)擞幸粋€(gè)常識(shí),比如骰子,我們都知道概率是1/6,而且無(wú)數(shù)次重復(fù)實(shí)驗(yàn)也表明是這個(gè)數(shù),這是一種我們?nèi)说某ＷR(shí),也是我們?cè)诓恢廊魏吻闆r下必然會(huì)說(shuō)出的一個(gè)值.而所謂的先驗(yàn)概率是我們?nèi)嗽谖粗獥l件下對(duì)事件發(fā)生可能性猜測(cè)的數(shù)學(xué)表示!*
后驗(yàn)概率:事情已經(jīng)發(fā)生卓缰，要求這件事情發(fā)生的原因是由某個(gè)因素引起的可能性的大小[1]
舉個(gè)栗子
首先我想問(wèn)一個(gè)問(wèn)題,桌子上如果有一塊肉喝一瓶醋,你如果吃了一塊肉,然后你覺(jué)得是酸的,那你覺(jué)得肉里加了醋的概率有多大?你說(shuō):80%可能性加了醋.OK,你已經(jīng)進(jìn)行了一次后驗(yàn)概率的猜測(cè).沒(méi)錯(cuò),就這么簡(jiǎn)單.
形式化:
我們?cè)O(shè)A為加了醋的概率,B為吃了之后是酸的概率.C為肉變質(zhì)的概率
思考思考再思考
那么先驗(yàn)概率在這個(gè)公式中有沒(méi)有出現(xiàn)呢?有,P(A)就是一種先驗(yàn)概率.
那么什么是P(B|A)呢? 類條件概率.
那么P(B|A)為什么叫類條件概率呢?馬上解釋.
在寫(xiě)這個(gè)隨筆之時(shí),我腦子中又有一種構(gòu)想,所謂的后驗(yàn)概率,是一種果因概率,即在一個(gè)結(jié)果已經(jīng)發(fā)生的條件下,可能是其中某一個(gè)原因造成的概率有多大.這里引用一段"概率論與數(shù)理統(tǒng)計(jì)"[2]中關(guān)于貝葉斯公式的解釋:
"如果我們把事件A看做'結(jié)果',把諸事件B1,B2...看做導(dǎo)致這個(gè)結(jié)果的可能的'原因',則可以形象地把全概率公式看做成為'由原因推結(jié)果';而貝葉斯公式則恰好相反,其作用于'由結(jié)果推原因':現(xiàn)在有一個(gè)'結(jié)果'A以發(fā)生,在眾多可能的'原因'中,到底是哪一個(gè)導(dǎo)致了這結(jié)果"
,這也佐證了我構(gòu)想的正確性
那么這個(gè)P(原因1導(dǎo)致結(jié)果)和P(結(jié)果|原因1)之間到底有什么聯(lián)系呢?讓我們舉一個(gè)圖像識(shí)別的例子
再舉個(gè)栗子
假如給你一些圖片,這些圖片中有的圖上有動(dòng)物的角,這些圖片占了1/10(即先驗(yàn)概率),且已知在有角的條件下是犀牛的概率是0.8(類條件概率1,注意這個(gè)概率互補(bǔ)的概率是有角條件下不是犀牛的概率),已知在無(wú)角條件下是犀牛概率的是0.05(類條件概率2),現(xiàn)在拿起一張圖,發(fā)現(xiàn)是一張犀牛的圖,那么這張圖上帶角的概率有多大(求后驗(yàn)概率)
由圖中公式可知P(圖片上由動(dòng)物的角|是犀牛) = 0.80.1/(0.80.1+0.05*0.9)=0.64
可以看到P(圖片上由動(dòng)物的角且是犀牛)=0.08與P(是犀牛|圖片上由動(dòng)物的角)=0.8之間差別非常大.
再通過(guò)比較可以發(fā)現(xiàn),分母中的類條件概率實(shí)際上把一個(gè)完整的問(wèn)題集合S通過(guò)特征進(jìn)行了劃分,劃分成S1/S2/S3...,拿我剛剛提出的所謂果因概率來(lái)討論,類條件概率中的類指的是把造成結(jié)果的所有原因一(yi) 一(yi)進(jìn)行列舉,分別討論.
總結(jié):
"概率論只不過(guò)是把常識(shí)用數(shù)學(xué)公式表達(dá)了出來(lái)"---拉普拉斯
我想之所以貝葉斯方法在機(jī)器學(xué)習(xí)中如此重要,就是因?yàn)槿藗兿Ｍ麢C(jī)器人能像人那樣思考,而很多問(wèn)題是需要計(jì)算機(jī)在已知條件下做出最佳決策的決策,而貝葉斯公式就是對(duì)人腦在已知條件下做出直覺(jué)判斷的一種數(shù)學(xué)表示.
參考文獻(xiàn):
[1].百度百科-先驗(yàn)概率
[2].概率論與數(shù)理統(tǒng)計(jì) --陳希孺
