算法描述

樸素貝葉斯算法是監(jiān)督學(xué)習(xí)中分類(lèi)算法中的一種提陶。需要先通過(guò)學(xué)習(xí)一批分類(lèi)正確的訓(xùn)練數(shù)據(jù)集得出模型才能進(jìn)行分類(lèi),算法大致如下：

假設(shè)待分類(lèi)的數(shù)據(jù)為X，類(lèi)別集合為Y={Y1...Yn},分類(lèi)算法其實(shí)是要確定一個(gè)規(guī)則Y=f(X)將X映射到Y(jié)中的一個(gè)元素上匹层，而樸素貝葉斯的f(x)是通過(guò)使用貝葉斯公式分別計(jì)算X分類(lèi)為Y1...Yn的概率隙笆，取概率最大分類(lèi) f(x) = Max(P(Y1|X),P(Y2|X)...P(Yn|X))。

樸素貝葉斯算法的學(xué)習(xí)的過(guò)程其實(shí)就是得出貝葉斯公式中各個(gè)概率常量的過(guò)程升筏。

貝葉斯公式：

    P(Y|X) = P(X|Y)P(Y)/P(X) 
    

通過(guò)訓(xùn)練數(shù)據(jù)可以很容易得到P(X|Y)撑柔、P(Y)、P(X)仰冠，然后將待分類(lèi)樣本代入其中乏冀，計(jì)算出P(Y|X)最最大值。

可以看出訓(xùn)練集的選擇對(duì)最終結(jié)果的影響非常非常大

最簡(jiǎn)單的情況下X只是一個(gè)事件洋只，但實(shí)際情況中分類(lèi)結(jié)果是受N多特征的共同影響下形成的辆沦，也就是說(shuō)上述公式中的X不是單一事件，而是一系列事件
即X=[F1...Fn]上面的公式一應(yīng)該寫(xiě)成:

P(Y|F1..Fn) = P(F1...Fn|Y)P(Y)/P(F1...Fn)

這些特征中也可能存在之間有一定影響關(guān)系的特征识虚，但在樸素貝葉斯算法中有一個(gè)關(guān)鍵假設(shè)是各特征相互獨(dú)立 肢扯。
相互獨(dú)立事件有：P(AB)= P(A)P(B) 由于F1...Fn相互獨(dú)立，所以可寫(xiě)成：

P(Y|F1..Fn) =
P(F1|Y)P(F2|Y)..P(Fn|Y)P(Y)/P(F1)P(F2)...P(Fn)

分別得出Y中的每個(gè)元素的概率P(Yi|F1..Fn),...,P(Y2|F1..Fn)比較大小担锤，得出最后結(jié)果,因?yàn)槭潜容^大小蔚晨，所以分母可以省略，所以上面公式可以簡(jiǎn)單化成計(jì)算

   P(Y|F1..Fn) = P(F1|Y)P(F2|Y)..P(Fn|Y)P(Y)

最后得出預(yù)測(cè)結(jié)果:

f(x) = Max(P(Y1|F1..Fn),...,P(Y2|F1..Fn))

另外可以通過(guò)等式兩邊取對(duì)數(shù)肛循，將乘法轉(zhuǎn)換成加法比較大小:

 Log(P(Y|F1..Fn)) = Log(P(F1|Y)P(F2|Y)..P(Fn|Y)P(Y))
                  = Log(P(F1|Y)) + ...+ Log(P(Fn|Y)) +　Log(P(Y))

以上大致就是樸素貝葉斯算法的原理與過(guò)程铭腕，但還有兩個(gè)問(wèn)題，當(dāng)特征值是連續(xù)值時(shí)概率如何計(jì)算;當(dāng)特特征值在訓(xùn)練數(shù)據(jù)中沒(méi)有出現(xiàn)時(shí)如計(jì)算多糠？

對(duì)于連續(xù)值的問(wèn)題有以下兩種方式處理：

1. 將連續(xù)值進(jìn)行離散化處理累舷。
2. 用概率密度函數(shù)（高斯分布)

gaussian.jpg

用概率密度函數(shù)來(lái)計(jì)算每一種分類(lèi)的概率大小，取最大值夹孔。

Y=P(F1)*P(F2)..P(Fn)

兩邊取對(duì)數(shù)被盈，轉(zhuǎn)換成加法，比如scikit-learn中naive_bayes.py/GaussianNB中就是這樣實(shí)現(xiàn)的

方差后面加1e-9避免除0?

代碼實(shí)現(xiàn)

實(shí)現(xiàn)比較簡(jiǎn)單搭伤，統(tǒng)計(jì)一下各個(gè)概率值只怎，代入公式即可。
見(jiàn)：https://github.com/longforfreedom/ml/blob/master/naivebayes.py

scikit-learn

自己實(shí)現(xiàn)不復(fù)雜怜俐，用現(xiàn)成的更簡(jiǎn)單scikit-learn中的樸素貝葉斯中用于處理連續(xù)值的高斯分布型模型(Gaussian)身堡、常用于處理分本分類(lèi)的常用于多項(xiàng)式模型(Multinomial)以及伯努力模型(BernoulliNB)都有實(shí)現(xiàn)，

可以參考:http://www.cnblogs.com/pinard/p/6074222.html

TODO: 多項(xiàng)式模型(Multinomial)

應(yīng)用場(chǎng)景

1. 文本分類(lèi)
2. 疾病預(yù)測(cè)
3. 點(diǎn)擊/接觸預(yù)測(cè)

數(shù)據(jù)集

以下是一些免費(fèi)公開(kāi)的測(cè)試用數(shù)據(jù)集佑菩，方便學(xué)習(xí)盾沫。

1. Pima Indians Diabetes Data Set(皮馬印第安人糖尿病 數(shù)據(jù)集)
   Attribute Information:

   1. Number of times pregnant
   2. Plasma glucose concentration a
      2 hours in an oral glucose tolerance test
   3. Diastolic blood pressure (mm Hg)
   4. Triceps skin fold thickness (mm)
   5. 2-Hour serum insulin (mu U/ml)
   6. Body mass index (weight in kg/(height in m)^2)
   7. Diabetes pedigree function
   8. Age (years)
   9. Class variable (0 or 1)

2. scikit-learn自帶鳶尾花數(shù)據(jù)集

from sklearn import datasets
iris = datasets.load_iris()
iris.feature_names
iris.data     
iris.target

參考資料

1. 算法雜貨鋪——分類(lèi)算法之樸素貝葉斯分類(lèi)(Naive Bayesian classification)
2. scikit-learn學(xué)習(xí) - 樸素貝葉斯
3. 百度百科：概率基礎(chǔ)知識(shí) :(

最新更新請(qǐng)見(jiàn)：https://github.com/longforfreedom/ml/blob/master/note/naivebayes.md