伯努利樸素貝葉斯

TIME : 2018-05-17

sklearn.naive_bayes.BernoulliNB

與多項(xiàng)式模型一樣吮蛹，伯努利模型適用于離散特征的情況咳焚，所不同的是枣申，伯努利模型中每個(gè)特征的取值只能是1和0(以文本分類為例还棱，某個(gè)單詞在文檔中出現(xiàn)過撤摸，則其特征值為1温眉，否則為0).
伯努利模型和多項(xiàng)式模型是一致的缸匪，BernoulliNB需要比MultinomialNB多定義一個(gè)二值化的方法，該方法會(huì)接受一個(gè)閾值并將輸入的特征二值化(1类溢，0).當(dāng)然也可以直接采用MultinomialNB凌蔬，但需要預(yù)先將輸入的特征二值化.

參數(shù):

BernoulliNB(alpha=1.0, binarize=0.0, fit_prior=True,class_prior=None)

alpha
binarize
fit_prior
class_prior

[其他參數(shù)說明見<<多項(xiàng)式樸素貝葉斯>>文章]

屬性:

class_log_prior_

參數(shù)說明:

參數(shù) binarize：將數(shù)據(jù)特征二值化的閾值
<=binarize的值處理為0,>binarize的值處理為1

import numpy as np  
from sklearn.naive_bayes import BernoulliNB  
x = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5]])
# 等價(jià)于 <=>  X = np.array([[0,0,0,1],[0,0,1,1],[0,1,1,1]]) 
y = np.array([1,1,2])  
clf = BernoulliNB(alpha=2.0,binarize = 3.0,fit_prior=True)  
clf.fit(x,y)

屬性說明:

屬性 class_log_prior_
類先驗(yàn)概率對(duì)數(shù)值，類先驗(yàn)概率=各類的個(gè)數(shù)/類的總個(gè)數(shù)

clf.class_log_prior_  
#>>output:
[-0.40546511, -1.09861229]  

等價(jià)于 <=>
print(np.log(1/3))
>>output:-1.0986122886681098

print(np.log(2/3))  
>>output:-0.40546510810816444

屬性 feature_log_prob_
指定類的各特征概率(條件概率)對(duì)數(shù)值闯冷，返回形狀為(n_classes, n_features)數(shù)組

計(jì)算過程：
假設(shè)X對(duì)應(yīng)的四個(gè)特征為A1砂心、A2、A3窃躲、A4计贰，類別為c1,c2,類別為c1時(shí)，特征A1的概率為：P(A1|c=c1) = P(A1=0|c=c1)* A1+P(A1=1|c=c1)* A1
由于A1=0, 所以:
P(A1|c=c1)=(類c1中含有A1特征的樣本數(shù) +α )/(當(dāng)前類別的樣本數(shù) + α*類別數(shù))

import numpy as np  
from sklearn.naive_bayes import BernoulliNB  
X = np.array([[1,2,3,4],[1,3,4,4],[2,4,5,5]])  
y = np.array([1,1,2])  
clf = BernoulliNB(alpha=2.0,binarize = 3.0,fit_prior=True)  
clf.fit(X,y)
print(clf.feature_log_prob_) 
>>output:
[[-1.09861229 -1.09861229 -0.69314718 -0.40546511]  
 [-0.91629073 -0.51082562 -0.51082562 -0.51082562]]  

print(
[np.log((2+2)/(2+2*2))*0+np.log((0 + 2 )/(2+    2 * 2))*1,
 np.log((2+2)/(2+2*2))*0+np.log((0 + 2 )/(2+    2 * 2))*1,
 np.log((1+2)/(2+2*2))*0+np.log((1 + 2 )/(2+    2 * 2))*1,
 np.log((0+2)/(2+2*2))*0+np.log((2 + 2 )/(2+    2 * 2))*1])
         ↑A                      ↑B  ↑α   ↑樣本  ↑α  ↑類別數(shù)     
#說明:
二值化后如下
[[0,0,0,1],   類別1
 [0,0,1,1],   類別1
 [0,1,1,1]]   類別2
A列為2,2,1,0  類別1中0個(gè)數(shù)        
B列為0,0,1,2  類別2中1個(gè)數(shù)
樣本:為當(dāng)前類別樣本數(shù)
>>output: 
[-1.0986122886681098, -1.0986122886681098, 
-0.69314718055994529, -0.40546510810816444]  

print(
[np.log((0+2)/(1+2*2))*1,
 np.log((1+2)/(1+2*2))*1,
 np.log((1+2)/(1+2*2))*1,
 np.log((1+2)/(1+2*2))*1])
>>output:
>[-0.916290731874155, -0.5108256237659907, 
  -0.5108256237659907, -0.5108256237659907]

屬性 class_count_
按類別順序輸出其對(duì)應(yīng)的個(gè)數(shù)

print(clf.class_count_)  

#>>output:[ 2.,  1.]

屬性 eature_count_
各類別各特征值之和蒂窒，按類的順序輸出躁倒，返回形狀為(n_classes, n_features) 的數(shù)組

clf.feature_count_  

#>>output:
[[ 0.,  0.,  1.,  2.],  
[ 0.,  1.,  1.,  1.]]

方法說明:

[見<<多項(xiàng)式樸素貝葉斯>>文章]

伯努利與多項(xiàng)式區(qū)別:

多項(xiàng)式模型中：

設(shè)某文檔d=(t1,t2,…,tk)，tk是該文檔中出現(xiàn)過的單詞洒琢，允許重復(fù)秧秉，則

(1)先驗(yàn)概率P(c)= 類c下樣本總數(shù)/整個(gè)訓(xùn)練樣本的樣本總數(shù)

(2)類條件概率P(tk|c) =(類c下單詞tk數(shù)目+α)/(指定類下所有特征出現(xiàn)次數(shù)之和+類別數(shù)*α)

伯努利模型中：