一贰锁、基于貝葉斯決策理論的分類(lèi)方法
樸素貝葉斯的優(yōu)點(diǎn)：在數(shù)據(jù)較少的情況下仍然有效窃祝，可以處理多類(lèi)別問(wèn)題沛简。
缺點(diǎn)：對(duì)于輸入數(shù)據(jù)的準(zhǔn)備方式較為敏感秽晚。
使用數(shù)據(jù)類(lèi)型：標(biāo)稱(chēng)型數(shù)據(jù)(一般在有限的數(shù)據(jù)中取呕缭，而且只存在是和否兩種不同的結(jié)果)堵泽。
樸素貝葉斯是貝葉斯決策理論的一部分。貝葉斯決策理論：假設(shè)有一個(gè)數(shù)據(jù)集恢总，它由兩類(lèi)數(shù)據(jù)組成迎罗，在判斷具體數(shù)據(jù)屬于哪個(gè)類(lèi)別時(shí)，會(huì)選擇高概率對(duì)應(yīng)的類(lèi)別片仿。這就是貝葉斯決策理論的核心思想纹安，即選擇具有最高概率的決策。
貝葉斯使用先驗(yàn)知識(shí)和邏輯推理來(lái)處理不確定性命題砂豌。頻數(shù)概率：它只從數(shù)據(jù)本身獲得結(jié)論厢岂，并不考慮邏輯推理及先驗(yàn)知識(shí)。
二阳距、條件概率
條件概率：P(A|B) = P(A and B) / P(B)
貝葉斯準(zhǔn)則計(jì)算條件概率：貝葉斯準(zhǔn)則告訴如何交換條件概率中的條件與結(jié)果塔粒。
P(c|x) =? P(x|c)P(c) / P(x)
三、使用條件概率來(lái)分類(lèi)
具體到(x, y)點(diǎn)屬于c1還是c2筐摘，計(jì)算公式是：P(ci|(x,y)) = P((x,y)|ci)P(ci) / P((x,y))
四窗怒、使用樸素貝葉斯進(jìn)行文檔分類(lèi)
樸素貝葉斯分類(lèi)器的兩個(gè)假設(shè)：1. 每個(gè)特征同等重要；2.特征之間相互獨(dú)立蓄拣。
五扬虚、使用python進(jìn)行文本分類(lèi)
1. 準(zhǔn)備數(shù)據(jù)：從文本中構(gòu)建詞向量
把文本看成單詞向量或者詞條向量，也就是講句子轉(zhuǎn)換為向量球恤。先將文檔切分成單詞辜昵；再將所有文檔中出現(xiàn)的單詞形成不重復(fù)的詞匯表；最后將某文檔通過(guò)詞匯表轉(zhuǎn)化為文檔向量咽斧。
2. 訓(xùn)練算法：從詞向量計(jì)算類(lèi)別概率
用w表示文檔向量
P(c|w) = P (w|c)P(c) / P(w)
對(duì)每個(gè)類(lèi)計(jì)算概率值堪置，然后比較概率值的大小躬存。
3. 測(cè)試算法：根據(jù)現(xiàn)實(shí)情況修改分類(lèi)器
問(wèn)題一：
概率為0的問(wèn)題。利用貝葉斯分類(lèi)器對(duì)文檔進(jìn)行分類(lèi)時(shí)舀锨，要計(jì)算多個(gè)概率的乘積以獲得文檔屬于某個(gè)類(lèi)別的概率岭洲，即計(jì)算p(w0|1)p(w1|1)p(w2|1)。如果其中一個(gè)概率值為0坎匿，那么最后的乘積也為0盾剩。為降低這種影響，可以將所有詞的出現(xiàn)數(shù)初始化為1替蔬，并將分母初始化為2告私。
問(wèn)題二：
下溢出的問(wèn)題。這是由于太多很小的數(shù)相乘造成的承桥。計(jì)算p(w0|ci)p(w1|ci)……p(wn|ci)時(shí)驻粟，由于大部分因子非常小，所以程序會(huì)下溢出或者得到不正確的答案(許多很小的數(shù)相乘凶异，結(jié)果會(huì)得到0)蜀撑。
解決方法一：對(duì)乘積取自然對(duì)數(shù)。ln(a*b) = ln(a) + ln(b)
下圖中f(x)與ln(f(x))的曲線(xiàn)剩彬，在相同區(qū)域內(nèi)同時(shí)增加或者減少酷麦，并且在相同點(diǎn)上取到極值。取值雖然不同襟衰，但不影響最終結(jié)果。
4. 準(zhǔn)備數(shù)據(jù)：文檔詞袋模型
將每個(gè)詞的出現(xiàn)與否作為一個(gè)特征粪摘，可以被描述為詞集模型瀑晒。
如果一個(gè)詞在文檔中出現(xiàn)不止一次，這可能意味著包含該詞是否出現(xiàn)在文檔中所不能表達(dá)的某種信息徘意，這種方法被稱(chēng)為詞袋模型苔悦。
在詞袋中每個(gè)單詞可以出現(xiàn)多次，而在詞集中椎咧，每個(gè)詞只能出現(xiàn)一次玖详。為適應(yīng)詞袋模型，將setOfWords2Vec()方法改為bagOfWords2Vec()勤讽。
bagOfWords2Vec相較于setOfWords2Vec的改變是蟋座，當(dāng)遇到一個(gè)單詞時(shí)，會(huì)增加詞向量中的對(duì)應(yīng)值脚牍，而不只是將對(duì)應(yīng)的數(shù)值設(shè)為1向臀。
六、示例：使用樸素貝葉斯過(guò)濾垃圾郵件
1. 收集數(shù)據(jù)：提供文本文件
2. 準(zhǔn)備數(shù)據(jù)：將文本文件解析成詞條向量
3. 分析數(shù)據(jù)：檢查詞條確保解析的正確性
4. 訓(xùn)練算法：使用之前建立的trainNB0函數(shù)
5. 測(cè)試算法：使用classifyNB()诸狭，并且構(gòu)建一個(gè)新的測(cè)試函數(shù)來(lái)計(jì)算文檔集的錯(cuò)誤率
6. 使用算法：構(gòu)建一個(gè)完整的程序?qū)σ唤M文檔進(jìn)行分類(lèi)券膀，將錯(cuò)分的文檔輸出在屏幕上
七君纫、本章小節(jié)
可以通過(guò)特征之間的條件獨(dú)立性假設(shè)，降低對(duì)數(shù)據(jù)量的需求芹彬。獨(dú)立性假設(shè)是指一個(gè)詞的出現(xiàn)概率并不依賴(lài)于文檔中的其他詞蓄髓。這個(gè)假設(shè)過(guò)于簡(jiǎn)單，這也就被稱(chēng)為樸素貝葉斯的原因舒帮。
還需要考慮實(shí)際的一些問(wèn)題会喝。比如下溢出，他可以通過(guò)對(duì)概率取對(duì)數(shù)來(lái)解決会前。詞袋模型在解決文檔分類(lèi)問(wèn)題上比詞集模型有所提高好乐。還有其他方面的改進(jìn)，比如說(shuō)移除停用詞瓦宜，當(dāng)然也可以話(huà)大量時(shí)間對(duì)切分器進(jìn)行優(yōu)化蔚万。
八、附加：python的一些使用方法
正則切分：
myDoc = 'This is a book . I have many books.'
import re
regEx = re.compile("\\W* ")
res = regEx.split(myDoc)
python中的內(nèi)嵌方法临庇，將字符串全部轉(zhuǎn)化成小寫(xiě)(.lower())或者大寫(xiě)(.upper())
