貝氏(Byes)

機率計算可以參考統(tǒng)計學筆記

貝氏定理

一個隨機事件或者一個不確定事件的後驗機率是在考慮和給出相關證據(jù)或數(shù)據(jù)後所得到的條件機率。同樣棋返，後驗機率分布是一個未知量（視為隨機變數(shù)）基於試驗和調查後得到的機率分布睛竣。

1. 相依 (dependent) – 事件 A 的發(fā)生會受事件 B 的影響射沟，反之亦然验夯。
   ??(??,??) = ??(??|??)×??(??) = ??(??|??)×??(??) = P(A∩B)
   ??(??|??) = ??(??,??)÷??(??) = ??(??|??)×??(??)÷??(??)
2. 獨立 (independent) – 事件 A 的發(fā)生與事件 B 的發(fā)生無任何關係或彼此不會互相影響挥转。
   ??(??,??) = ??(??)×??(??) = P(A∪B)
   ??(??|??) = ??(??)
   ??(??|??) = ??(??)
3. 互斥 (mutually exclusive) – 若事件 A 與事件 B 不可能同時發(fā)生扁位，則兩事件互斥域仇。
   ??(??,??) = 0 = P(A∩B) = 0 = A∩B = ?

• 事件互為相依關係時依貝氏定理:
  

貝氏分類器

單純貝氏

wiki百科

多項式模型泼掠、伯努利模型(離散資料)

• 資料
  
  
  多項式模型:P(便宜|垃圾郵件) = 垃圾郵件便宜詞數(shù)、所有郵件總詞數(shù)
  
  
  伯努利模型:P(便宜|垃圾郵件) = 包含便宜的垃圾郵件數(shù)腻豌、所有郵件總數(shù)

• 計算
  假設我們有一批標記好的郵件從郵件中隨機抽出一封郵件，我們用A表示此郵件為垃圾郵件事件苏携，B表示此郵件為包含優(yōu)惠這個詞事件右冻，兩事件是相依關係著拭。
  我們統(tǒng)計數(shù)據(jù)了一下郵件是垃圾郵件的機率儡遮，垃圾郵件有"優(yōu)惠"這個詞的機率峦萎，非垃圾郵件有"優(yōu)惠"這個詞的機率爱榔。

郵件包含"優(yōu)惠"為垃圾郵件的機率為:

• 缺點

1. 單純貝氏有個假設是郵件包含某個詞的機率與郵件包另一個個詞的機率完全獨立，所以郵件包含"優(yōu)惠"為垃圾郵件的機率=0.99唇聘，郵件包含"帳單"為垃圾郵件的機率=0.05迟郎，郵件包含"優(yōu)惠"及"帳單"為垃圾郵件的機率 = 0.99*0.050 = 0.0495=5%
   這有個明顯的問題是實上如果我們已經知道郵件中如果包含"優(yōu)惠"這個字(A事件)條件下宪肖，而在郵件中看到"便宜"這個字(B事件)的機率P(B)就會比較高控乾，所以實際上??(??|??) ≠ ??(??)蜕衡，??(??|??) ≠ ??(??)慨仿。

• 實作方法

1. 統(tǒng)計所有郵件、垃圾郵件桶现、非垃圾郵件總數(shù)骡和。
2. 統(tǒng)計所有出現(xiàn)的詞慰于，以及詞出現(xiàn)在垃圾郵件數(shù)量婆赠、詞出現(xiàn)在非垃圾郵件數(shù)量休里，我們可以用python字典key=詞妙黍，value=[垃圾郵件數(shù)量,非垃圾郵件數(shù)量]來保存統(tǒng)計每個詞的結果拭嫁。
3. 計算每個詞為垃圾郵件的機率做粤、與每個詞為非垃圾郵件的機率怕品。
4. 因為假設完全獨立堵泽，最後可以依據(jù)，計算郵件為垃圾郵件的機率杏死、郵件為非垃圾郵件的機率
   郵件為垃圾郵件的機率 = 所有詞的相乘()
   郵件為非垃圾郵件的機率 = 所有詞的相乘()
5. 判斷垃圾郵件的機率及非垃圾郵件的機率的大小來決定郵件類別

實作會有幾個問題:

1. 不同詞彙組合的機率相乘會造成underflow(下溢)塔粒，我們使用一個trick來避免
   
2. 我們在統(tǒng)計機率時可能會遇到某個詞只出現(xiàn)在非垃圾郵件卒茬，這樣就會等於0圃酵，造成任何只要有這個單詞出現(xiàn)我們都判為非垃圾郵件(為垃圾郵件機率等於0)郭赐，我們有個比較平滑的做法:
   
   
3. 郵件對於不同語言俘陷，我們需要進行不同的前處理拉盾，英文需要轉換大小寫、時態(tài)替蔬、移除停用詞承桥，中文需要斷詞凶异、移除停用詞剩彬。
4. 如果詞太多我們可以忽略出現(xiàn)次數(shù)低於某個min_count的詞喉恋，然後預測中沒見過的詞則忽略轻黑。

高斯模型(連續(xù)資料)

有些特徵可能是連續(xù)型變量氓鄙，比如說人的身高抖拦，物體的長度蟋座，這些特徵可以轉換成離散型的值向臀，比如如果身高在160cm以下券膀，特徵值為1芹彬；在160cm和170cm之間，特徵值為2舒帮；在170cm之上会喝，特徵值為3。也可以這樣轉換玩郊，將身高轉換為3個特徵肢执，分別是f1、f2译红、f3预茄，如果身高是160cm以下侦厚，這三個特徵的值分別是1耻陕、0拙徽、0，若身高在170cm之上诗宣，這三個特徵的值分別是0膘怕、0、1梧田。不過這些方式都不夠細膩淳蔼，高斯模型可以解決這個問題。

實作

Naive Bayes
sklearn範例
sklearn範例