貝葉斯分類是機(jī)器學(xué)習(xí)中一個(gè)重要的分類算法板惑，由于其簡(jiǎn)單高效缀辩，所以在實(shí)戰(zhàn)中非常受歡迎势告。

本文將介紹貝葉斯分類中兩個(gè)比較典型的算法——樸素貝葉斯與貝葉斯信念網(wǎng)絡(luò)没佑。

** 由于簡(jiǎn)書(shū)對(duì)數(shù)學(xué)公式的支持不太好，所以很多公式顯示不出來(lái)务漩，感興趣的同學(xué)可以移步至我的CSDN文章地址:http://blog.csdn.net/qq756161569/article/details/72965440 **

基礎(chǔ)知識(shí)

在開(kāi)始介紹算法之前拄衰，我們先溫習(xí)幾個(gè)概率論上幾個(gè)基礎(chǔ)知識(shí)。

1.條件概率:P(A|B)

表示在B發(fā)生的情況下A發(fā)生的概率饵骨。

例如：在一堆棋子中有方形和圓形兩種翘悉，方形有紅色和白色，圓形有黃色和綠色居触。問(wèn)妖混，在已知一顆棋子是方形的情況下該棋子是紅色的概率是多少。

那么這個(gè)問(wèn)題就可以表示成——P(棋子是紅色|方形棋子)

2.先驗(yàn)概率

是在獲得某些信息或者依據(jù)前轮洋，對(duì) P 的不確定性進(jìn)行猜測(cè)制市。

例如：下雨之前會(huì)刮風(fēng)，那么在沒(méi)有觀察是否刮風(fēng)之前求下雨的概率就是先驗(yàn)概率砖瞧。

3.后驗(yàn)概率

"后驗(yàn)"在這里意思是息堂，考慮相關(guān)事件已經(jīng)被檢視并且能夠得到一些信息。比如在判斷到刮風(fēng)的情況下再預(yù)測(cè)下雨的概率块促。

后驗(yàn)概率包含了先驗(yàn)信息以及觀測(cè)樣本數(shù)據(jù)提供的后驗(yàn)信息荣堰，對(duì)先驗(yàn)概率進(jìn)行了修正，更接近真實(shí)情況竭翠。

貝葉斯定理

$$ P(A|B) = \frac{P(B|A)P(A)}{P(B)} $$

其中P(A|B)是在B發(fā)生的情況下A發(fā)生的可能性振坚。

在貝葉斯定理中，每個(gè)名詞都有約定俗成的名稱:

?   P(A|B)是已知B發(fā)生后A的條件概率斋扰，也由于得自B的取值而被稱作A的后驗(yàn)概率渡八。
?   P(B|A)是已知A發(fā)生后B的條件概率，也由于得自A的取值而被稱作B的后驗(yàn)概率传货。
?   P(A)是A的先驗(yàn)概率（或邊緣概率）屎鳍。之所以稱為"先驗(yàn)"是因?yàn)樗豢紤]任何B方面的因素。
?   P(B)是B的先驗(yàn)概率或邊緣概率问裕。

按這些術(shù)語(yǔ)逮壁，貝葉斯定理可表述為：
后驗(yàn)概率 = (相似度*先驗(yàn)概率)/標(biāo)準(zhǔn)化常量

也就是說(shuō)，后驗(yàn)概率與先驗(yàn)概率和相似度的乘積成正比粮宛。

另外窥淆，比例P(B|A)/P(B)也有時(shí)被稱作標(biāo)準(zhǔn)相似度（standardised likelihood），貝葉斯定理可表述為：

后驗(yàn)概率 = 標(biāo)準(zhǔn)相似度*先驗(yàn)概率

樸素貝葉斯

在實(shí)際應(yīng)用中巍杈，特征值可能會(huì)包含多個(gè)忧饭。比如，給定一個(gè)人的身高筷畦、體重词裤、膚色……等等特征，求這個(gè)人是女生的概率。

那么吼砂，概率表達(dá)式可以表示為:

$$ P(女生|F_1,F_2,\underbrace{\ldots}_{\rm n個(gè)特征} ,F_n)$$

那么根據(jù)貝葉斯定理作媚，這個(gè)概率表達(dá)式就可以表示成：

$$ \frac{P(F_1,F_2,\underbrace{\ldots}{\rm n個(gè)特征} ,F_n|女生)P(女生)}{P(F_1,F_2,\underbrace{\ldots}{\rm n個(gè)特征} ,F_n)} $$

由于P(女生)和P(F)的概率都是常數(shù)，所以我們只需要關(guān)注: $$P(F_1,F_2,\underbrace{\ldots}_{\rm n個(gè)特征} ,F_n|女生)$$

要計(jì)算上面這個(gè)條件概率帅刊，成本是非常高的。為了簡(jiǎn)化計(jì)算漂问，我們有了一個(gè)"樸素"的假設(shè)——特征F向量的所有屬性彼此獨(dú)立赖瞒。(所以該算法才被稱為樸素貝葉斯)

有了樸素的假設(shè)，就有了以下等式:

$$P(F_1,F_2,\underbrace{\ldots}{\rm n個(gè)特征} ,F_n|女生)=\prod{i=1}^nP(F_i|女生)$$

所以我們只需要挨個(gè)計(jì)算"在已知是女生情況下出現(xiàn)特征$ F_i $的概率蚤假，并求出它們的乘積即可栏饮。

最后要說(shuō)明的是，我們?cè)谔幚磉B續(xù)型特征時(shí)磷仰，我們一般會(huì)假設(shè)該屬性服從高斯分布袍嬉。

$$ P(F_i|女生)=\frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)}2}{2\sigma^2}$$

我們可以使用高斯分布函數(shù)去計(jì)算條件概率的值。

到這里灶平，關(guān)于樸素貝葉斯的內(nèi)容就已經(jīng)講完了伺通。但樸素貝葉斯也有其不足的地方，那就是"樸素"逢享。

在實(shí)際的應(yīng)用中罐监，所有特征值不太可能完全獨(dú)立，所以樸素貝葉斯在很多時(shí)候表現(xiàn)并不是太好瞒爬。
所以弓柱，在特征選項(xiàng)存在明顯依賴關(guān)系時(shí)，我們使用貝葉斯分類的效果往往不太理想侧但，所以我將在下一章介紹基于特征依賴的貝葉斯分類——貝葉斯信念網(wǎng)絡(luò)矢空。