預(yù)備知識
條件概率
考慮這么一個問題有兩個箱子A,B,
A中有2個紅球夺英，2個白球 A=[r,r,w,w]
B中有3個紅球晌涕，2個白球 B=[r,r,r,w,w]
總共有4個紅球5個白球
問題1: 如果從這9個球中取一個球取到紅球，白球概率分別為多少痛悯？
顯然:$p(r) = \frac{5}{9}$, $p(w) = \frac{4}{9}$
問題2: 如果已知球取自A箱取到紅球概率為多少余黎？
顯然:$p(r|A) = \frac{2}{4}$
我們還知道 $p(r ; and ;A) =p(A) \times p(r|A)=\frac{4}{9} \times \frac{2}{4}=\frac{2}{9}$
問題3: 如果已知拿到的是白球，那么這個求是來自A箱的概率是多少呢载萌？
A中有三個白球驯耻，B中有1個白球，共有4個白球, 那么顯然這個球從A中取的概率是$p(A|w)=\frac{2}{4}$, 我們看看來自A并且是白球的概率:
$$p(w ; and ;A) =p(A) \times p(w|A)=\frac{4}{9} \times \frac{2}{4}\
= p(w) \times p(A|w)=\frac{4}{9} \times \frac{2}{4} = \frac{2}{9}\
$$
根據(jù)上式可以得出:
$$p(A|w) = \frac{p(w|A) \times p(A)}{p(w)}$$
這就是貝葉斯準則炒考。
文本分類問題
以在線社區(qū)留言為例可缚，下面是某社區(qū)留言本的留言統(tǒng)計,作為訓(xùn)練數(shù)據(jù),postingList是留言記錄，每一行是一條留言斋枢，classVec記錄對應(yīng)的分類帘靡，0表示非侮辱性留言$c_0$，1表示侮辱性留言$c_1$
postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
['stop', 'posting', 'stupid', 'worthless', 'garbage'],
['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
classVec = [0,1,0,1,0,1] #1 is abusive, 0 not
目標：
當輸入一條新的留言的時候判斷是否是侮辱性留言,設(shè)$w$為輸入的留言
那么問題就是$p(c_i|w) = \frac{p(w|c_i) \times p(c_i)}{p(w)}$瓤帚，計算出每一個$p(c_i|w)$后只需要找出概率最大的$p(c_i|w)$就可以確定類別了描姚， 由于是比較大小所以$p(w)$相同的情況下只需要計算$p(c_i|w) = p(w|c_i) \times p(c_i)$用于比較即可. 對于訓(xùn)練集數(shù)據(jù)，$p(w)$表示單詞在所有訓(xùn)練文本中出現(xiàn)的概率戈次，$p(c_i)$表示訓(xùn)練集中某一個類別出現(xiàn)的概率轩勘，$p(w|c_i)$
詞向量:
由于句子和單詞用來計算或者用來統(tǒng)計比較麻煩,所以我們可以把訓(xùn)練集中的單詞轉(zhuǎn)為詞向量來方便統(tǒng)計。詞向量$w$是一個元素為0或1的list怯邪，這個list對應(yīng)訓(xùn)練集中出現(xiàn)的所有單詞绊寻，每一個元素對應(yīng)一個單詞，0代表沒有出現(xiàn)悬秉，1代表出現(xiàn)澄步。
1.生成單詞表
首先需要一個包含所有單詞的單詞表vocablist,單詞表里不需要用一個單詞重復(fù)出現(xiàn)，因此對于訓(xùn)練集輸入的所有句子和泌，先用set保存單詞再轉(zhuǎn)換成list
def createVocablist(dataset):
vocablist = set()
for doc in dataset:
vocablist = vocablist | set(doc)
return list(vocablist)
2.生成詞向量
inputSet為當前輸入的句子村缸，返回的詞向量為句子中的單詞在單詞表中的出現(xiàn)情況，先構(gòu)建一個值為0長度和vocablist一樣的詞向量武氓，遍歷輸入的句子inputSet,中的所有單詞梯皿，如果單詞是單詞表里的就像對應(yīng)位置的詞向量元素置為1。這里輸入的句子中有可能會出現(xiàn)單詞表中不存在的單詞县恕，這里我們可以忽略這些單詞东羹。
def word2vec(vocablist,inputSet):
ret = [0]*len(vocablist)
for word in inputSet:
if word in vocablist:
ret[vocablist.index(word)] = 1
else:
pass
return ret
處理訓(xùn)練集:
首先需要將訓(xùn)練集中的原始數(shù)據(jù)轉(zhuǎn)換為詞向量的形式，對于每一個留言生成稱為一個詞向量
處理后的訓(xùn)練集trainMat = [ [0,1,0,0,1....1,0,1],
[1,1,0,0,1....1,1,1],
...
[0,1,0,1,0....1,0,1],
[0,0,0,0,1....0,0,1], ]
形式弱睦，每一個詞向量的長度和vocavlist長度一致百姓。
訓(xùn)練數(shù)據(jù):
訓(xùn)練數(shù)據(jù)就是統(tǒng)計$p(c_i)$ 和$p(w|c_i)$,
對于$p(c_i)$，classlist為0,1向量形式况木，只需要 pAbusive = sum(classlist)/float(len(classlist)),即可得到$p(c_1)$ ,$p(c_0) = 1-p(c_1)$
對于$p(w|c_i) = \frac{每一個單詞出現(xiàn)次數(shù)}{所有單詞出現(xiàn)次數(shù)} |c_i$, 由于可能這里除法出現(xiàn)極小的數(shù)垒拢，對計算不利旬迹，我們可以用log來轉(zhuǎn)換一下,后面的乘法也可以改為加法計算
訓(xùn)練結(jié)束后我們得到了$p(c_1)$和$p(c_0) = 1-p(c_1)$,以及$p(w|c_i)$,(p1Vec,p2Vec)注意這里的w是一個向量($w=[w_1,w_2...,w_n]$),表示每一個詞在$c_i$中出現(xiàn)的概率
for i in range(numTrainDocs):
if classlist[i] == 1:
perWordNum1 += trainMat[i]
totalWord1 += sum(trainMat[i])
else:
perWordNum0 += trainMat[i]
totalWord0 += sum(trainMat[i])
p1Vec = log(perWordNum1/totalWord1)
p0Vec = log(perWordNum0/totalWord0)
分類:
當有新的句子需要分類時，需要將句子先轉(zhuǎn)換為詞向量
testInput = word2vec(vocablist,['love','my','daltation'])
testInput = word2vec(vocablist,['stupid','garbege'])
然后將輸入的詞向量和p1Vec求类，p0Vec跟別相乘判斷拿一個類別概率更大即可
def classifyNB(inputVec,p0Vec,p1Vec,pClass1):
inputArray =array(inputVec)
p1 = sum(inputArray * p1Vec) + pClass1
p0 = sum(inputArray * p0Vec) + 1 - pClass1
if p1 > p0:return 1
else:return 0
