能把P(城市|省份)和P(省份|城市)聯(lián)系起來的公式叫貝葉斯公式焕梅。我們來看貝葉斯公式長什么樣子值漫。
用A表示省份,B表示城市椭蹄,套入公式,即能把P(城市|C)和P(C|城市)聯(lián)系起來净赴∩兀看到能夠聯(lián)系起來,上級工作人員很高興玖翅,但是這公式有什么意義嗎翼馆,是不是隨便編造的一個公式,為何叫貝葉斯公式而不是叫陳佩斯公式金度?
貝葉斯公式以托馬斯·貝葉斯(Thomas Bayes应媚,1701-1761)命名的,貝葉斯是和牛頓同時代的牧師猜极,同時也是一位業(yè)余數(shù)學(xué)家珍特,和牛頓不同的是,貝葉斯的理論當(dāng)時并未被重視魔吐,原因在于貝葉斯在統(tǒng)計當(dāng)中引入了主觀因素扎筒,即所謂的先驗概率,這對于數(shù)學(xué)來說是大忌酬姆,數(shù)學(xué)應(yīng)該是客觀的嗜桌,怎么能加入主觀因素。因此辞色,直到1950年左右骨宠,人們發(fā)現(xiàn)加入先驗概率效果更好,貝葉斯的理論才被廣泛接受相满。
????一個理論能被廣泛接受层亿,一定是因為能夠解決很多問題,那貝葉斯理論又解決了什么問題立美,為什么一個數(shù)學(xué)理論能夠加入主觀因素匿又?
? 如果問拋硬幣正面朝上的概率,很多人會肯定回答說概率是1/2建蹄,但這是想當(dāng)然了碌更,對于理想的硬幣,正反面概率是均勻的洞慎,但是如果硬幣動了手腳痛单,那就不一定了,這個時候劲腿,要怎么去確定概率是多少旭绒?有人想到通過做拋硬幣的試驗來確定,例如拋5次硬幣焦人,統(tǒng)計正面和反面出現(xiàn)的次數(shù)挥吵,如果拋5次都是正面向上,我們能說正面向上的概率是100%嗎垃瞧?有人說蔫劣,5次太少,那拋5000次以上總能計算概率大小吧个从,答案是可以脉幢,只是這種估計概率的方式成本太高了。事實上嗦锐,現(xiàn)實生活中嫌松,有很多類似的例子是不能通過做試驗來確定概率的,例如小明預(yù)測明天下雨的概率是30%,他無法重復(fù)過上明天100次渐逃,統(tǒng)計下雨的次數(shù)來計算下雨的概率抵恋。而貝葉斯理論钱慢,可以解決這種在有限信息條件下對概率的一個預(yù)估贾陷,貝葉斯理論的思路是缘眶,在主觀判斷的基礎(chǔ)上,先估計一個值(先驗概率)髓废,然后根據(jù)觀察的新信息不斷修正(可能性函數(shù))巷懈。
我們繼續(xù)來看貝葉斯公式,我們再用省份和城市來理解這個公式有點不太好理解慌洪,因為那個例子看起來我們所有的信息都知道了顶燕。這里再舉另外一個例子來理解。
曾經(jīng)有一個大神給我傳授表白理論冈爹,他說如果女神從來沒有單獨出去逛街吃飯涌攻,這說明女神根本不喜歡你,表白的成功概率很低的频伤,反之亦然恳谎。
我們以這個理論作為概率的例子,首先剂买,分析給定的已知信息和未知信息:
1)要求解的問題:女神喜歡你惠爽,記為A事件
2)已知條件:經(jīng)常和女神單獨出門吃過飯,記為B事件
那么瞬哼,P(A|B)就是女神經(jīng)常和你單獨出門吃飯這個事件(B)發(fā)生后婚肆,女神喜歡你的概率。把這個套入貝葉斯公式來理解一下坐慰。
貝葉斯可以分為三個部分较性,先驗概率、可能性函數(shù)和后驗概率结胀。
1)先驗概率
我們把P(A)稱為"先驗概率"(Prior probability)赞咙,先驗概率是根據(jù)以往經(jīng)驗和分析得到的概率。這個例子里就是在不知道女神經(jīng)常和你單獨出門逛街的前提下糟港,來主觀判斷出女神喜歡你的概率攀操。因為是主觀判斷,我們可以給任何值秸抚,例如高富帥可以把這個概率設(shè)定得很高速和,為80%,也可以設(shè)定低一點剥汤,例如50%颠放,這完全是根據(jù)個人經(jīng)驗做出的判斷。這也是前面說的貝葉斯公式的主觀因素部分吭敢。
2)可能性函數(shù)
P(B|A)/P(B)稱為"似然函數(shù)"(Likelyhood)碰凶,這是一個調(diào)整因子,即新信息B帶來的調(diào)整,作用是使得先驗概率更接近真實概率欲低。至于新信息帶來的調(diào)整作用大不大辕宏,還得看因子的值大不大。
如果"可能性函數(shù)"P(B|A)/P(B)>1伸头,意味著"先驗概率"被增強匾效,事件A的發(fā)生的可能性變大,例如女神平時很少和別人出門逛街吃飯恤磷,那么這個調(diào)整因子特別有用,肯定是大于1的野宜。
如果"可能性函數(shù)"=1扫步,意味著B事件無助于判斷事件A的可能性,例如女神偶爾也和他人出門逛街吃飯匈子,那么和女神出門吃飯沒有我們帶來任何信息河胎,對判斷女神是否喜歡你沒有重大意義;
如果"可能性函數(shù)"<1虎敦,意味著"先驗概率"被削弱游岳,事件A的可能性變小,例如知道女神實際上有喜歡的人了其徙,那該信息直接使得女神喜歡你的概率下降很厲害胚迫。
至于為什么似然函數(shù)的公式長這樣的,這個留在以后再解釋唾那。
3)后驗概率
P(A|B)稱為"后驗概率"(Posterior probability)访锻,即在B事件發(fā)生之后,我們對A事件概率的重新評估闹获。這個例子里就是在女神跟你出門逛街吃飯這個事件發(fā)生后期犬,對女神喜歡你的概率重新預(yù)測。
通過這個例子避诽,我們理解了貝葉斯公式龟虎,也知道了貝葉斯公式能夠通過似然函數(shù)不斷調(diào)整主觀概率得到后驗概率,使得預(yù)測更加準(zhǔn)確沙庐,這也是為什么帶有主觀因素還能在數(shù)學(xué)界呆著的原因鲤妥。也正因為這樣,貝葉斯可以出現(xiàn)在所有需要作出概率預(yù)測的地方轨功,例如垃圾郵件過濾旭斥,中文分詞,疾病檢查等古涧。特別是在機器學(xué)習(xí)領(lǐng)域垂券,貝葉斯理論更是一個繞不過去的門檻。