文章原創(chuàng),最近更新：2018-08-21
前言:
本文介紹機(jī)器學(xué)習(xí)分類算法中的樸素貝葉斯分類算法并給出偽代碼德绿，Python代碼實(shí)現(xiàn)耿眉。
學(xué)習(xí)參考鏈接:
1.第4章 基于概率論的分類方法：樸素貝葉斯
2.第五篇：樸素貝葉斯分類算法原理分析與代碼實(shí)現(xiàn)
本章節(jié)的主要內(nèi)容是:
重點(diǎn)介紹項(xiàng)目案例1:屏蔽社區(qū)留言板的侮辱性言論項(xiàng)目匯總代碼损痰。
1.樸素貝葉斯項(xiàng)目案例介紹:
項(xiàng)目案例1:
屏蔽社區(qū)留言板的侮辱性言論
項(xiàng)目概述:
構(gòu)建一個(gè)快速過濾器來屏蔽在線社區(qū)留言板上的侮辱性言論州藕。如果某條留言使用了負(fù)面或者侮辱性的語言，那么就將該留言標(biāo)識(shí)為內(nèi)容不當(dāng)欢揖。對(duì)此問題建立兩個(gè)類別: 侮辱類和非侮辱類，使用 1 和 0 分別表示玉凯。
樸素貝葉斯 工作原理:
提取所有文檔中的詞條并進(jìn)行去重
獲取文檔的所有類別
計(jì)算每個(gè)類別中的文檔數(shù)目
對(duì)每篇訓(xùn)練文檔:
對(duì)每個(gè)類別:
如果詞條出現(xiàn)在文檔中-->增加該詞條的計(jì)數(shù)值（for循環(huán)或者矩陣相加）
增加所有詞條的計(jì)數(shù)值（此類別下詞條總數(shù)）
對(duì)每個(gè)類別:
對(duì)每個(gè)詞條:
將該詞條的數(shù)目除以總詞條數(shù)目得到的條件概率（P(詞條|類別)）
返回該文檔屬于每個(gè)類別的條件概率（P(類別|文檔的所有詞條)）
開發(fā)流程：
- 收集數(shù)據(jù): 可以使用任何方法
- 準(zhǔn)備數(shù)據(jù): 從文本中構(gòu)建詞向量
- 分析數(shù)據(jù): 檢查詞條確保解析的正確性
- 訓(xùn)練算法: 從詞向量計(jì)算概率
- 測(cè)試算法: 根據(jù)現(xiàn)實(shí)情況修改分類器
- 使用算法: 對(duì)社區(qū)留言板言論進(jìn)行分類
數(shù)據(jù)集介紹
這個(gè)數(shù)據(jù)集是我們自己構(gòu)造的詞表.
2.詞向量的介紹
樸素貝葉斯分類算法常常用于 文檔的分類势腮，而且實(shí)踐證明效果挺不錯(cuò)的。
在說明原理之前漫仆，先介紹一個(gè)叫詞向量的概念捎拯。 --- 它一般是一個(gè)布爾類型的集合，該集合中每個(gè)元素都表示其對(duì)應(yīng)的單詞是否在文檔中出現(xiàn)盲厌。
比如說署照，詞匯表只有三個(gè)單詞：'apple', 'orange', 'melo'，某文檔中吗浩，apple和melo出現(xiàn)過建芙，那么其對(duì)應(yīng)的詞向量就是 {1, 0, 1}。
這種模型通常稱為詞集模型懂扼，如果詞向量元素是整數(shù)類型岁钓，每個(gè)元素表示相應(yīng)單詞在文檔中出現(xiàn)的次數(shù)(0表示不出現(xiàn))，那這種模型就叫做詞袋模型微王。
部分代碼可用于由文檔構(gòu)建詞向量以及測(cè)試結(jié)果,具體可參見第3部分的內(nèi)容.
3.相關(guān)代碼
3.1收集數(shù)據(jù): 可以使用任何方法
打開文本編輯器，創(chuàng)建一個(gè)叫 bayes.py的新文件,然后將下面的代碼添加到文件中品嚣。
具體知識(shí)點(diǎn)可參考如下鏈接:4-1節(jié) 樸素貝葉斯|準(zhǔn)備數(shù)據(jù)：從文本中構(gòu)建詞向量|機(jī)器學(xué)習(xí)實(shí)戰(zhàn)-學(xué)習(xí)筆記
import numpy as np
#用自定義函數(shù)loadDataSet創(chuàng)建實(shí)驗(yàn)文檔樣本
def loadDataSet():
"""
創(chuàng)建數(shù)據(jù)集
:return: 文檔包含單詞的列表postingList, 分類標(biāo)簽列表classVec
"""
#用列表postingList創(chuàng)建文檔列表
postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #[0,0,1,1,1......]
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
# 列表classVec創(chuàng)建標(biāo)簽炕倘，1代表侮辱性文字，0代表正常言論
classVec = [0, 1, 0, 1, 0, 1]
# 返回文檔列表postingList及標(biāo)簽classVec
return postingList, classVec
測(cè)試代碼及其結(jié)果如下:
listOPosts,listClasses =loadDataSet()
listOPosts
Out[73]:
[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
3.2準(zhǔn)備數(shù)據(jù): 從文本中構(gòu)建詞向量
打開文本編輯器翰撑，然后將下面的代碼添加到文件bayes.py罩旋。
具體知識(shí)點(diǎn)可參考如下鏈接:4-1節(jié) 樸素貝葉斯|準(zhǔn)備數(shù)據(jù)：從文本中構(gòu)建詞向量|機(jī)器學(xué)習(xí)實(shí)戰(zhàn)-學(xué)習(xí)筆記
def createVocabList(dataSet):
"""
獲取所有單詞的集合
:param dataSet: 數(shù)據(jù)集
:return: 所有單詞的集合(即不含重復(fù)元素的單詞列表)
"""
vocabSet = set()
for document in dataSet:
# 操作符 | 用于求兩個(gè)集合的并集
vocabSet=set(document)|vocabSet
return list(vocabSet)
def setOfWords2Vec(vocabList, inputSet):
"""
遍歷查看該單詞是否出現(xiàn)，出現(xiàn)該單詞則將該單詞置1,否則該單詞置0
:param vocabList: 所有單詞集合列表
:param inputSet: 輸入數(shù)據(jù)集
:return: 匹配列表[0,1,0,1...]眶诈，其中 1與0 表示詞匯表中的單詞是否出現(xiàn)在輸入的數(shù)據(jù)集中
"""
# 創(chuàng)建一個(gè)和詞匯表vocabList等長(zhǎng)的向量returnVec,向量中每一元素都為0
returnVec = [0]*len(vocabList)# [0,0......]
#用變量word遍歷輸入文檔inputSet中的所有單詞
for word in inputSet:
# 如果單詞在詞匯表vocabList中
if word in vocabList:
# 則將輸出文檔向量中的值設(shè)為1
returnVec[vocabList.index(word)]=1
else:
# 否則輸出“單詞不在詞匯表中”,%用作格式化字符串
print("the word:%s is not in my Vocabulary!"% word)
# 返回文檔向量returnVec
return returnVec
測(cè)試代碼及其結(jié)果如下:
listOPosts,listClasses =loadDataSet()
myVocabList = createVocabList(listOPosts)
myVocabList
Out[75]:
['is', 'licks', 'how', 'dalmation', 'my', 'cute', 'worthless', 'maybe', 'mr', 'stupid', 'help', 'problems', 'ate', 'quit', 'garbage', 'buying', 'steak', 'him', 'I', 'take', 'dog', 'flea', 'to', 'stop', 'please', 'food', 'park', 'has', 'not', 'posting', 'so', 'love']
setOfWords2Vec(myVocabList, listOPosts[0])
Out[76]:
[0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 0, 0, 1, 0, 0, 1, 0, 0, 0, 0]
3.3訓(xùn)練算法: 從詞向量計(jì)算概率
由貝葉斯準(zhǔn)則可知涨醋，某詞向量X為分類 Ci 的概率可用如下公式來進(jìn)行計(jì)算：
p(ci)表示該文檔為分類ci的概率；p(w)為該文檔對(duì)應(yīng)詞向量為w的概率逝撬；這兩個(gè)量是很好求的浴骂，這里不多解釋。關(guān)鍵要解決的是 p(w|ci)宪潮，也即在文檔為分類 ci 的條件下溯警，詞向量為w的概率。
這里就要談到為什么本文講解的算法名為 "樸素" 貝葉斯狡相。所謂樸素梯轻，就是整個(gè)形式化過程只做最原始假設(shè)。也就是說尽棕，假設(shè)不同的特征是相互獨(dú)立的喳挑。但這和現(xiàn)實(shí)世界不一致，也導(dǎo)致了其他各種形形色色的貝葉斯算法。
在這樣的假設(shè)前提下： p(w|ci) = p(w0|ci) * p(w1|ci) * p(w2|ci) * .... * p(wn|ci)伊诵。
而前面提到了w是指詞向量单绑，這里wn的含義就是詞向量中的某個(gè)單詞。
具體知識(shí)點(diǎn)可參考如下鏈接:4-2節(jié) 樸素貝葉斯|訓(xùn)練算法：從詞向量計(jì)算概率|機(jī)器學(xué)習(xí)實(shí)戰(zhàn)-學(xué)習(xí)筆記
可使用如下偽代碼計(jì)算條件概率 p(wn|ci):
對(duì)每篇訓(xùn)練文檔:
對(duì)每個(gè)類別：
增加該單詞計(jì)數(shù)值
增加所有單詞計(jì)數(shù)值
對(duì)每個(gè)類別:
對(duì)每個(gè)單詞:
將該單詞的數(shù)目除以單詞總數(shù)得到條件概率
返回所有單詞在各個(gè)類別下的條件概率
打開文本編輯器日戈，然后將下面的代碼添加到文件bayes.py询张。
def trainNB0(trainMatrix, trainCategory):
"""
訓(xùn)練數(shù)據(jù)原版
:param trainMatrix: 文件單詞矩陣 [[1,0,1,1,1....],[],[]...]
:param trainCategory: 文件對(duì)應(yīng)的標(biāo)簽類別[0,1,1,0....]，列表長(zhǎng)度等于單詞矩陣數(shù)浙炼，其中的1代表對(duì)應(yīng)的文件是侮辱性文件份氧，0代表不是侮辱性矩陣
:return:
p0Vect: 各單詞在分類0的條件下出現(xiàn)的概率
p1Vect: 各單詞在分類1的條件下出現(xiàn)的概率
pAbusive: 文檔屬于分類1的概率
"""
# 文件數(shù)
numTrainDocs = len(trainMatrix)
# 單詞數(shù)
numWords = len(trainMatrix[0])
# 侮辱性文件的出現(xiàn)概率,即trainCategory中所有的1的個(gè)數(shù)
# 代表的就是多少個(gè)侮辱性文件,與文件的總數(shù)相除就得到了侮辱性文件的出現(xiàn)概率
pAbusive = sum(trainCategory) / float(numTrainDocs)
p0Num = np.zeros(numWords); p1Num =np.zeros(numWords)
p1Num = np.zeros(numWords); p1Num =np.zeros(numWords)
#整個(gè)數(shù)據(jù)集單詞出現(xiàn)總數(shù)
p0Denom = 0.0
p1Denom = 0.0
for i in range(numTrainDocs):
if trainCategory[i]==1:
p1Num += trainMatrix[i] #[0,1,1,....] + [0,1,1,....]->[0,2,2,...]
# 對(duì)向量中的所有元素進(jìn)行求和，也就是計(jì)算所有侮辱性文件中出現(xiàn)的單詞總數(shù)
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
# 類別1弯屈，即侮辱性文檔的[P(F1|C1),P(F2|C1),P(F3|C1),P(F4|C1),P(F5|C1)....]列表
# 即 在1類別下蜗帜，每個(gè)單詞出現(xiàn)的概率
p1Vect = p1Num / p1Denom# [1,2,3,5]/90->[1/90,...]
# 類別0，即正常文檔的[P(F1|C0),P(F2|C0),P(F3|C0),P(F4|C0),P(F5|C0)....]列表
# 即 在0類別下资厉，每個(gè)單詞出現(xiàn)的概率
p0Vect = p0Num / p0Denom
return p0Vect, p1Vect, pAbusive
測(cè)試代碼及其結(jié)果如下:
import bayes
listOPosts,listClasses =loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat =[]
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
p0V,P1V,PAb=bayes.trainNB0(trainMat, listClasses)
p0V
Out[93]:
array([ 0.04166667, 0.04166667, 0.04166667, 0.04166667, 0.125 ,
0.04166667, 0. , 0. , 0.04166667, 0. ,
0.04166667, 0.04166667, 0.04166667, 0. , 0. ,
0. , 0.04166667, 0.08333333, 0.04166667, 0. ,
0.04166667, 0.04166667, 0.04166667, 0.04166667, 0.04166667,
0. , 0. , 0.04166667, 0. , 0. ,
0.04166667, 0.04166667])
P1V
Out[94]:
array([ 0. , 0. , 0. , 0. , 0. ,
0. , 0.10526316, 0.05263158, 0. , 0.15789474,
0. , 0. , 0. , 0.05263158, 0.05263158,
0.05263158, 0. , 0.05263158, 0. , 0.05263158,
0.10526316, 0. , 0.05263158, 0.05263158, 0. ,
0.05263158, 0.05263158, 0. , 0.05263158, 0.05263158,
0. , 0. ])
PAb
Out[95]: 0.5
3.4測(cè)試算法: 根據(jù)現(xiàn)實(shí)情況修改分類器
對(duì)此公式:
上一步做的工作僅僅是將各個(gè)分量求出來了(p(w)為1)厅缺，而沒有進(jìn)行p(w0|ci) * p(w1|ci) * p(w2|ci) * .... * p(wn|ci)的累乘，也沒有進(jìn)行概率大小的比較宴偿。
剩下的工作看似簡(jiǎn)單但在具體實(shí)現(xiàn)上也涉及到兩個(gè)問題湘捎。
問題一：p(wn|ci) 中有一個(gè)為0，導(dǎo)致整個(gè)累乘結(jié)果也為0窄刘。這是錯(cuò)誤的結(jié)論窥妇。
解決方法：將所有詞的出現(xiàn)次數(shù)初始化為1，并將分母初始化為2娩践。問題二：即使 p(wn|ci) 不為0了活翩，可是它的值也許會(huì)很小，這樣會(huì)導(dǎo)致浮點(diǎn)數(shù)值類型的下溢出等精度問題錯(cuò)誤翻伺。
解決方法：用 p(wn|ci) 的對(duì)數(shù)進(jìn)行計(jì)算材泄。
具體實(shí)現(xiàn)請(qǐng)參考下面代碼。針對(duì)這兩個(gè)問題吨岭，它對(duì)上一步的函數(shù)做了一點(diǎn)修改：
特別說明：在下面的代碼實(shí)現(xiàn)中拉宗，w只包含在待分類文檔中出現(xiàn)了的單詞的特征位。
具體知識(shí)點(diǎn)可參考如下鏈接:4-2節(jié) 樸素貝葉斯|訓(xùn)練算法：從詞向量計(jì)算概率|機(jī)器學(xué)習(xí)實(shí)戰(zhàn)-學(xué)習(xí)筆記
打開文本編輯器辣辫，然后將下面的代碼添加到文件bayes.py簿废。
def trainNB0(trainMatrix, trainCategory):
"""
訓(xùn)練數(shù)據(jù)原版
:param trainMatrix: 文件單詞矩陣 [[1,0,1,1,1....],[],[]...]
:param trainCategory: 文件對(duì)應(yīng)的標(biāo)簽類別[0,1,1,0....]，列表長(zhǎng)度等于單詞矩陣數(shù)络它，其中的1代表對(duì)應(yīng)的文件是侮辱性文件族檬，0代表不是侮辱性矩陣
:return:
p0Vect: 各單詞在分類0的條件下出現(xiàn)的概率
p1Vect: 各單詞在分類1的條件下出現(xiàn)的概率
pAbusive: 文檔屬于分類1的概率
"""
# 總文件數(shù)
numTrainDocs = len(trainMatrix)
# 每個(gè)文件中的單詞數(shù)
numWords = len(trainMatrix[0])
# 侮辱性文件的出現(xiàn)概率,即trainCategory中所有的1的個(gè)數(shù)
# 代表的就是多少個(gè)侮辱性文件,與文件的總數(shù)相除就得到了侮辱性文件的出現(xiàn)概率
pAbusive = sum(trainCategory) / float(numTrainDocs)
# p0Num 正常的統(tǒng)計(jì),p1Num 侮辱的統(tǒng)計(jì)
p0Num = np.ones(numWords); p1Num =np.ones(numWords)
# 整個(gè)數(shù)據(jù)集單詞出現(xiàn)總數(shù)，2.0根據(jù)樣本/實(shí)際調(diào)查結(jié)果調(diào)整分母的值（2主要是避免分母為0化戳，當(dāng)然值可以調(diào)整）
# p0Num 正常的統(tǒng)計(jì)
# p1Num 侮辱的統(tǒng)計(jì)
p0Denom = 2.0
p1Denom = 2.0
for i in range(numTrainDocs):
if trainCategory[i]==1:
# 累加辱罵詞的頻次
p1Num += trainMatrix[i]
# 對(duì)每篇文章的辱罵的頻次 進(jìn)行統(tǒng)計(jì)匯總
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
# 類別1单料，即侮辱性文檔的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表
# log下什么都不寫默認(rèn)是自然對(duì)數(shù)
p1Vect = np.log(p1Num/p1Denom)
# 類別0埋凯，即正常文檔的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表
p0Vect = np.log(p0Num/p0Denom)
return p0Vect, p1Vect, pAbusive
測(cè)試代碼及其結(jié)果如下:
import bayes
listOPosts,listClasses =loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat =[]
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
p0V,P1V,PAb=bayes.trainNB0(trainMat, listClasses)
p0V
Out[173]:
array([-2.56494936, -2.56494936, -2.56494936, -2.56494936, -1.87180218,
-2.56494936, -3.25809654, -3.25809654, -2.56494936, -3.25809654,
-2.56494936, -2.56494936, -2.56494936, -3.25809654, -3.25809654,
-3.25809654, -2.56494936, -2.15948425, -2.56494936, -3.25809654,
-2.56494936, -2.56494936, -2.56494936, -2.56494936, -2.56494936,
-3.25809654, -3.25809654, -2.56494936, -3.25809654, -3.25809654,
-2.56494936, -2.56494936])
P1V
Out[174]:
array([-3.04452244, -3.04452244, -3.04452244, -3.04452244, -3.04452244,
-3.04452244, -1.94591015, -2.35137526, -3.04452244, -1.65822808,
-3.04452244, -3.04452244, -3.04452244, -2.35137526, -2.35137526,
-2.35137526, -3.04452244, -2.35137526, -3.04452244, -2.35137526,
-1.94591015, -3.04452244, -2.35137526, -2.35137526, -3.04452244,
-2.35137526, -2.35137526, -3.04452244, -2.35137526, -2.35137526,
-3.04452244, -3.04452244])
PAb
Out[175]: 0.5
3.5使用算法: 對(duì)社區(qū)留言板言論進(jìn)行分類
具體知識(shí)點(diǎn)可參考如下鏈接:4-3節(jié) 樸素貝葉斯|樸素貝葉斯分類函數(shù)|機(jī)器學(xué)習(xí)實(shí)戰(zhàn)-學(xué)習(xí)筆記
打開文本編輯器，然后將下面的代碼添加到文件bayes.py扫尖。
def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
"""
使用算法：
# 將乘法轉(zhuǎn)換為加法
乘法：P(C|F1F2...Fn) = P(F1F2...Fn|C)P(C)/P(F1F2...Fn)
加法：P(F1|C)*P(F2|C)....P(Fn|C)P(C) -> log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C))
:param vec2Classify: 待測(cè)數(shù)據(jù)[0,1,1,1,1...]白对，即要分類的向量
:param p0Vec: 類別0，即正常文檔的[log(P(F1|C0)),log(P(F2|C0)),log(P(F3|C0)),log(P(F4|C0)),log(P(F5|C0))....]列表
:param p1Vec: 類別1换怖，即侮辱性文檔的[log(P(F1|C1)),log(P(F2|C1)),log(P(F3|C1)),log(P(F4|C1)),log(P(F5|C1))....]列表
:param pClass1: 類別1甩恼，侮辱性文件的出現(xiàn)概率
:return: 類別1 or 0
"""
# 計(jì)算公式 log(P(F1|C))+log(P(F2|C))+....+log(P(Fn|C))+log(P(C))
# 大家可能會(huì)發(fā)現(xiàn)，上面的計(jì)算公式沉颂，沒有除以貝葉斯準(zhǔn)則的公式的分母条摸，也就是 P(w) （P(w) 指的是此文檔在所有的文檔中出現(xiàn)的概率）就進(jìn)行概率大小的比較了，
# 因?yàn)?P(w) 針對(duì)的是包含侮辱和非侮辱的全部文檔铸屉，所以 P(w) 是相同的钉蒲。
# 使用 NumPy 數(shù)組來計(jì)算兩個(gè)向量相乘的結(jié)果，這里的相乘是指對(duì)應(yīng)元素相乘彻坛，即先將兩個(gè)向量中的第一個(gè)元素相乘顷啼，然后將第2個(gè)元素相乘，以此類推昌屉。
# 我的理解是：這里的 vec2Classify * p1Vec 的意思就是將每個(gè)詞與其對(duì)應(yīng)的概率相關(guān)聯(lián)起來
# P(w|c1) * P(c1) 钙蒙，即貝葉斯準(zhǔn)則的分子
p1=sum(vec2Classify*p1Vec)+np.log(pClass1)
# P(w|c0) * P(c0) ，即貝葉斯準(zhǔn)則的分子·
p0=sum(vec2Classify*p0Vec)+np.log(1.0-pClass1)
if p1>p0:
return 1
else:
return 0
def testingNB():
"""
測(cè)試樸素貝葉斯算法
"""
listOPosts,listClasses = loadDataSet()
# 創(chuàng)建包含在所有文檔中不出現(xiàn)重復(fù)詞對(duì)列表间驮，即創(chuàng)建特征
myVocabList = createVocabList(listOPosts)
# 獲取文檔向量仪搔，向量的每一個(gè)元素為1或者0，分別表示詞表中的單詞在輸入文檔中是否出現(xiàn)
trainMat=[]
for postinDoc in listOPosts:
# 訓(xùn)練貝葉斯分類器
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
p0V,P1V,PAb =trainNB0(trainMat, listClasses)
# 測(cè)試一
#創(chuàng)建測(cè)試樣本
testEntry = ['love', 'my', 'dalmation']
#獲取測(cè)試樣本特征向量
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
#輸出分類結(jié)果
print (testEntry,'分類結(jié)果: ',classifyNB(thisDoc,p0V,P1V,PAb))
# 測(cè)試二
#創(chuàng)建測(cè)試樣本
testEntry = ['stupid', 'garbage']
#獲取測(cè)試樣本特征向量
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
#輸出分類結(jié)果
print (testEntry,'分類結(jié)果: ',classifyNB(thisDoc,p0V,P1V,PAb))
測(cè)試代碼及其結(jié)果如下:
import bayes
bayes.testingNB()
['love', 'my', 'dalmation'] 分類結(jié)果: 0
['stupid', 'garbage'] 分類結(jié)果: 1
4.總結(jié)
為突出重點(diǎn)蜻牢，本文示例僅采用兩個(gè)分類做測(cè)試。更多分類是同理的偏陪。
程序設(shè)計(jì)中應(yīng)盡量以矩陣或者向量為單位來處理數(shù)據(jù)抢呆。這樣能簡(jiǎn)化代碼，增加效率笛谦，也能提高程序可讀性抱虐。
該分類算法的優(yōu)點(diǎn)是對(duì)于數(shù)據(jù)集較少的情況也能適用，能處理多類別問題饥脑；然而不足之處在于對(duì)數(shù)據(jù)集的準(zhǔn)備方式比較敏感恳邀。
