引言
這篇文章主要是貝葉斯分類(lèi)器的實(shí)戰(zhàn)篇，主要講的是樸素貝葉斯分類(lèi)器硕勿。
樸素貝葉斯分類(lèi)器
回顧上篇文章哨毁，我們知道直接基于貝葉斯分類(lèi)會(huì)比較麻煩，因?yàn)槲覀儽仨氁烙?jì)類(lèi)條件概率源武。首先我們要假定其具有某種確定的概率分布模型扼褪，然后再使用極大似然法來(lái)估計(jì)其參數(shù)。所以在實(shí)踐中粱栖，我們經(jīng)常增加限制條件：樣本的每個(gè)屬性之間都是獨(dú)立的话浇，從而使用樸素貝葉斯分類(lèi)器。從而對(duì)類(lèi)條件概率的估計(jì)如下所示：
從而貝葉斯的判定準(zhǔn)則為：
這些都是對(duì)上篇文章的簡(jiǎn)單回顧闹究，接下來(lái)我們來(lái)看看幔崖，我們?cè)趺从贸绦驅(qū)崿F(xiàn)。
我們將使用樸素貝葉斯分類(lèi)器對(duì)BBS中的帖子進(jìn)行過(guò)濾。我們的目標(biāo)在于使用貝葉斯分類(lèi)器將帖子分成侮辱類(lèi)帖子和非侮辱類(lèi)帖子赏寇。我們樣本的特征就是帖子中的文字吉嫩。下面我們來(lái)構(gòu)造一個(gè)demo數(shù)據(jù)，代碼如下：
def loadDataSet():
postingList = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'dog','park','stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit','buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #1:帶侮辱性帖子嗅定； 0：正常的帖子
return postingList, classVec
接下來(lái)我們寫(xiě)一個(gè)幫助函數(shù)率挣，它生成所有帖子中出現(xiàn)詞的集合，代碼如下：
def createVocabList(dataSet):
vocabSet = set([])
for document in dataSet:
vocabSet = vocabSet|set(document)
return list(vocabSet)
接下來(lái)露戒，我們需要知道一個(gè)帖子中椒功，各個(gè)詞在詞集出現(xiàn)的是否出現(xiàn)。如果出現(xiàn)智什，則用1表示动漾，如果不出現(xiàn)，則用0表示荠锭。在這里旱眯，我做了一個(gè)簡(jiǎn)化，即如果詞多次出現(xiàn)证九，也只記為1删豺，代碼如下：
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList)
for word in inputSet:
if word in vocabList:
returnVec[vocabList.index(word)] = 1
else:
print 'word: %s is not in my vocabbulary!' %word
return returnVec
現(xiàn)在我們這些前期的幫助函數(shù)已經(jīng)寫(xiě)完，現(xiàn)在正式進(jìn)入算法的核心部分了愧怜。首先是訓(xùn)練代碼呀页，為了更好的理解算法流程，我們先來(lái)看看訓(xùn)練代碼的偽代碼：
計(jì)算每個(gè)類(lèi)別中帖子的數(shù)目
對(duì)每篇訓(xùn)練文檔：
對(duì)每個(gè)類(lèi)別：
如果詞條出現(xiàn)在帖子中->增加該詞條的計(jì)數(shù)值
增加所有詞條的計(jì)數(shù)值
對(duì)每個(gè)類(lèi)別：
對(duì)每個(gè)詞條：
將詞條的數(shù)目除以總詞條數(shù)目得到條件概率
返回每個(gè)類(lèi)別的條件概率
從上面的偽代碼我們可以看到拥坛，訓(xùn)練過(guò)程主要是計(jì)算兩種概率值蓬蝶，一種是p(c): 每種類(lèi)別的類(lèi)先驗(yàn)概率；另一種就是類(lèi)條件概率：在每個(gè)類(lèi)中猜惋，每個(gè)詞條出現(xiàn)的概率丸氛。代碼如下：
def trainNB0(trainMatrix, trainCategory):
numTrainDoc = len(trainMatrix)
numWords = len(trainMatrix[0])
pAbusive = sum(trainCategory)/float(numTrainDoc)
p0Num = np.ones(numWords)
p1Num = np.ones(numWords)
p0Denom = 2.0
p1Denom = 2.0
for i in range(numTrainDoc):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
p1Vect = np.log(p1Num / p1Denom)
p0Vect = np.log(p0Num / p0Denom)
return p0Vect, p1Vect, pAbusive
其中，返回值p0Vect 和p1Vect表示類(lèi)條件概率著摔，而pAbusive表示類(lèi)先驗(yàn)概率缓窜。由于只要兩類(lèi)，兩種類(lèi)先驗(yàn)概率之和為1谍咆，所以類(lèi)先驗(yàn)概率值需要其中一種即可禾锤。
下面要講的就是核心的測(cè)試代碼了。代碼如下：
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify*p1Vec) + np.log(pClass1)
p2 = sum(vec2Classify*p0Vec) + np.log(1.-pClass1)
if p1 > p2:
return 1
else:
return 0
注意： 由于概率連乘容易導(dǎo)致下溢卧波，所有我們習(xí)慣上把它們轉(zhuǎn)換為log函數(shù)計(jì)算时肿。
下面的測(cè)試的完整代碼：
def testingNB():
listPosts, listClasses = loadDataSet()
myVocabList = createVocabList(listPosts)
trainMat = []
for postInDoc in listPosts:
trainMat.append(setOfWords2Vec(myVocabList, postInDoc))
p0V, p1V, pAb = trainNB0(trainMat, listClasses)
testEntry = ['love', 'my', 'dalmation']
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)
testEntry = ['stupid', 'garbage']
thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))
print testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb)
測(cè)試的結(jié)果如下：
