帶你3分鐘理解貝葉斯分類器的概率論知識(shí)
貝葉斯分類
?????? 貝葉斯分類是統(tǒng)計(jì)學(xué)分類方法盟猖,可預(yù)測(cè)類別所屬的概率讨衣,如:一個(gè)數(shù)據(jù)對(duì)象屬于某個(gè)類別的概率。
?????? 貝葉斯分類的基礎(chǔ)是貝葉斯定理式镐。
?????? 貝葉斯定理(Bayes theorem):是概率論中的一個(gè)結(jié)果反镇,跟隨機(jī)變量的條件概率以及邊緣(條件)概率分布有關(guān)。
?????? 在實(shí)際中娘汞,人們常會(huì)根據(jù)不確定性信息作出推理和決策歹茶,此時(shí)往往需要對(duì)各種結(jié)論出現(xiàn)的概率進(jìn)行估計(jì),這類推理?? 稱為概率推理你弦。貝葉斯推理的問(wèn)題是條件概率推理問(wèn)題惊豺。
貝葉斯分類概率論知識(shí)
??? ?? 概率論是研究隨機(jī)性或不確定性等現(xiàn)象的數(shù)學(xué)。更精確的說(shuō)禽作,是用來(lái)模擬實(shí)驗(yàn)在同一環(huán)境下會(huì)產(chǎn)生不同結(jié)果的情狀尸昧。
?? ? ? 隨機(jī)事件;
?? ?? 事件間的關(guān)系旷偿;
? ? ? 條件概率烹俗。
隨機(jī)事件
???? 隨機(jī)實(shí)驗(yàn):隨機(jī)實(shí)驗(yàn)是一個(gè)可觀察結(jié)果的人工或自然的過(guò)程,其產(chǎn)生的結(jié)果可能不止一個(gè)萍程,且不能事先確定會(huì)產(chǎn)生什 么結(jié)果幢妄。
???? 樣本空間:樣本空間是一個(gè)隨機(jī)實(shí)驗(yàn)的全部可能出現(xiàn)的結(jié)果的集合,通常記作Ω茫负,Ω中的點(diǎn)(即一個(gè)可能出現(xiàn)的實(shí)驗(yàn) 結(jié)果)稱為樣本點(diǎn)蕉鸳,通常記作ω。
???? 隨機(jī)事件:隨機(jī)事件是一個(gè)隨機(jī)實(shí)驗(yàn)的一些可能結(jié)果的集合忍法,是樣本空間的一個(gè)子集置吓。常用大寫字母A,B,C,…表示。
事件間的關(guān)系
條件概率
???? 條件概率:設(shè)A缔赠、B是兩個(gè)隨機(jī)事件衍锚,且P(B)>0,則在事件B已經(jīng)發(fā)生的條件夏嗤堰,事件A發(fā)生的條件概率:
??? 聯(lián)合概率:若對(duì)任意兩件事A戴质、B都有P(A)>0度宦,P(B)>0,則:
??? 邊際概率:若A1告匠、A2構(gòu)成互斥和完整的兩個(gè)事件戈抄,A1和A2中的一個(gè)出現(xiàn)的事件B發(fā)生的必要條件,則事件B的邊際概率公式為(全概率公式):
貝葉斯定理
???? 貝葉斯定理是關(guān)于隨機(jī)事件A和B的條件概率和邊緣概 率的一則定理后专。
???? 通常划鸽,事件A在事件B發(fā)生的條件下的概率,與事件B在事件A發(fā)生的條件下的概率是不一樣的戚哎,然而裸诽,這兩者是 有確定的關(guān)系的,貝葉斯定理就是這種關(guān)系的陳述型凳。
由前面的3個(gè)概率論公式可以得到貝葉斯公式:
兩個(gè)事件的貝葉斯公式:
n個(gè)事件兩個(gè)事件的貝葉斯公式:
假定存在一個(gè)互斥和完整的事件A1,A2,…,An丈冬, Ai中的某一個(gè)出現(xiàn)是事件B發(fā)生的必要條件,則n個(gè)事件的貝葉斯公式:
在貝葉斯定理中甘畅,每個(gè)名詞都有約定俗成的名稱:
?????????? P(A):事件A的先驗(yàn)概率或邊緣概率埂蕊。“先驗(yàn)”指其不考慮任何B方面的因素疏唾。
?????????? P(A|B):事件A的后驗(yàn)概率蓄氧,即已知B發(fā)生后A的條件概率。
?????????? P(B|A):事件B的后驗(yàn)概率槐脏,即已知A發(fā)生后B的條件概率喉童。
?????????? P(B):是事件B的先驗(yàn)概率或邊緣概率。