• 優(yōu)點(diǎn)：在數(shù)據(jù)較少的情況下仍然有效遗增，可以處理多類別問題结蟋。
• 缺點(diǎn)：對于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感招刹。
• 適用數(shù)據(jù)類型：標(biāo)稱型數(shù)據(jù)妥粟。

一般過程：
⑴收集數(shù)據(jù)：可以使用任何方法审丘。本章使用尺88源。
(2)準(zhǔn)備數(shù)據(jù)：需要數(shù)值型或者布爾型數(shù)據(jù)勾给。
(3)分析數(shù)據(jù)：有大量特征時滩报，繪制特征作用不大，此時使用直方圖效果更好播急。
(4)訓(xùn)練算法：計算不同的獨(dú)立特征的條件概率脓钾。
(5)測試算法：計算錯誤率。
(6)使用算法：一個常見的樸素貝葉斯應(yīng)用是文檔分類桩警】裳担可以在任意的分類場景中使用樸素貝葉斯命類器，不一定非要是文本捶枢。

基于貝葉斯決策理論的分類方法

貝葉斯決策理論

核心思想： 選擇高概率對應(yīng)的類別沉噩，即選擇具有最高概率的決策。
假設(shè)： 每個特征同等重要柱蟀。即一個特征或者單詞出現(xiàn)的可能性與它和其他單詞相鄰沒有關(guān)系川蒙。

使用Python進(jìn)行文本分類

要從文本中獲取特征，需要先拆分文本。然后將每一個文本片段表示為一個詞條向量凰锡，其中值為1表示詞條出現(xiàn)在文檔中吏口，0表示詞條未出現(xiàn)。
代碼實現(xiàn)
bayes.py

from numpy import *

'''
1.準(zhǔn)備數(shù)據(jù)：從文本中構(gòu)建詞向量
把文本看成單詞向量或者詞條向量康聂，也就是說將句子轉(zhuǎn)換為向量。
'''
#加載數(shù)據(jù)集
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1] #1表示侮辱性文字胞四，0表示正常言論（人工標(biāo)注的結(jié)果恬汁，用于訓(xùn)練）
    return postingList,classVec

#創(chuàng)建一個包含在所有文檔中出現(xiàn)的不重復(fù)詞的列表
def createVocabList(dataSet):
    vocabSet = set([])  #create empty set
    for document in dataSet:
        vocabSet = vocabSet | set(document) #創(chuàng)建兩個集合的并集
    return list(vocabSet)

#詞表到向量的轉(zhuǎn)換函數(shù)
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList) #創(chuàng)建一個其中所含元素都為0的向量
    for word in inputSet:
        if word in vocabList: #單詞在輸入文檔中出現(xiàn)
            returnVec[vocabList.index(word)] = 1
        else: print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec


'''
2.訓(xùn)練算法：從詞向量計算概率
偽代碼：
計算每個類別中的文檔數(shù)目
對每篇訓(xùn)練文檔：
    對每個類別：
        如果詞條出現(xiàn)在文檔中 -> 增加該詞條的計數(shù)值
        增加所有詞條的計數(shù)值
    對每個類別：
        對每個詞條：
            將該詞條中的數(shù)目除以總詞條數(shù)目得到條件概率
    返回每個類別的條件概率
'''
def trainNB0(trainMatrix,trainCategory):#參數(shù)：文檔矩陣，每篇文檔類別標(biāo)簽所構(gòu)成的向量
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    #計算文檔屬于侮辱性文檔的概率p1
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    '''
    問題一：初始化概率
    利用貝葉斯分類器對文檔進(jìn)行分類時辜伟，要計算多個概率的乘積以獲得文檔屬于某個類別的概率氓侧。
    如果其中一個概率值為0 ,那么最后的乘積也為0脊另。
    為降低這種影響，可以將所有詞的出現(xiàn)數(shù)初始化為1约巷，并將分母初始化為2偎痛。
    '''
    p0Num = ones(numWords); p1Num = ones(numWords)      #change to ones() 
    p0Denom = 2.0; p1Denom = 2.0                        #change to 2.0
    #遍歷訓(xùn)練集中的所有文檔
    for i in range(numTrainDocs):
        #若出現(xiàn)侮辱性詞匯
        if trainCategory[i] == 1:
            #向量相加
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    '''
    問題二：下溢出
    當(dāng)計算乘積時,由于大部分因子者3非常小，所以程序會下溢出或者得到不正確的答案独郎。
    一種解決辦法是對乘積取自然對數(shù)踩麦。 
    ln(a*b) = ln(a) + ln(b)
    于是通過求對數(shù)可以避免下溢出或者浮點(diǎn)數(shù)舍入導(dǎo)致的錯誤。
    同時氓癌，采用自然對數(shù)進(jìn)行處理不會有任何損失谓谦。
    '''
    p1Vect = log(p1Num/p1Denom)          #change to log()
    p0Vect = log(p0Num/p0Denom)          #change to log()
    return p0Vect,p1Vect,pAbusive


'''
3.測試算法
'''
#樸素貝葉斯分類函數(shù)
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): #輸入：要分類的向量，三個概率
    #兩個向量對應(yīng)元素相乘
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    #將詞匯表中所有詞的對應(yīng)值相加贪婉，然后將該值加到類別的對數(shù)概率上反粥。    
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    #比較類別的概率返回大概率對應(yīng)的類別標(biāo)簽
    if p1 > p0:
        return 1
    else: 
        return 0

#遍歷函數(shù)（封裝所有操作，節(jié)省輸入代碼時間）
def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print(testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))


'''
4.準(zhǔn)備數(shù)據(jù)：文檔詞袋模型
詞集模型：每個詞的出現(xiàn)與否作為一個特征
詞袋模型：如果每個詞在文檔中出現(xiàn)不止一次谓松，這可能意味著包含該詞是否出現(xiàn)在文檔中所不能表達(dá)的某種信息星压。
'''
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1 #每出現(xiàn)一次都加1，而不是設(shè)置成1
    return returnVec

main.py

import bayes
from numpy import *

listOPosts, listClasses = bayes.loadDataSet()
myVocabList = bayes.createVocabList(listOPosts) #創(chuàng)建一個包含所有詞的列表
print(myVocabList)

print(bayes.setOfWords2Vec(myVocabList, listOPosts[0]))

trainMat = []
for postinDoc in listOPosts:
    trainMat.append(bayes.setOfWords2Vec(myVocabList, postinDoc))

p0v, p1v, pAb = bayes.trainNB0(trainMat, listClasses)

#輸出任意文檔屬于侮辱性文檔的概率
print(pAb)

bayes.testingNB()

output:

['to', 'park', 'cute', 'flea', 'dog', 'has', 'my', 'stop', 'how', 'please', 'dalmation', 'love', 'is', 'stupid', 'ate', 'take', 'steak', 'maybe', 'not', 'so', 'problems', 'him', 'garbage', 'mr', 'buying', 'worthless', 'licks', 'help', 'food', 'quit', 'posting', 'I']
[0, 0, 0, 1, 1, 1, 1, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0]
0.5
['love', 'my', 'dalmation'] classified as:  0
['stupid', 'garbage'] classified as:  1