樸素貝葉斯的公式推導

樸素貝葉斯分類是一種十分簡單的分類算法先紫,叫它樸素貝葉斯分類是因為這種方法的思想真的很Naive。

它有一個基本的假設:樣本的特征屬性相互獨立且權重相同诡曙。

樸素貝葉斯的思想基礎是這樣的:
對于給出的待分類項湿右,求解在此項出現(xiàn)的條件下各個類別出現(xiàn)的概率,哪個最大票髓,就認為此待分類項屬于哪個類別。
通俗來說铣耘,就好比這么個道理洽沟,你在街上看到一個黑人,我問你你猜這哥們哪里來的涡拘,你十有八九猜非洲。為什么呢据德?因為黑人中非洲人的比率最高鳄乏,當然人家也可能是美洲人或亞洲人,但在沒有其它可用信息下棘利,我們會選擇條件概率最大的類別橱野,這就是樸素貝葉斯的思想基礎。

樸素貝葉斯分類的正式定義如下:


條件假設.png

那么現(xiàn)在的關鍵就是如何計算第3步中的各個條件概率善玫。我們可以這么做:
1水援、找到一個已知分類的待分類項集合,這個集合叫做訓練樣本集茅郎。
2蜗元、統(tǒng)計得到在各類別下各個特征屬性的條件概率估計。即


鏈式條件概率估計.png

3系冗、如果各個特征屬性是條件獨立的奕扣,則根據(jù)貝葉斯定理有如下推導:


貝葉斯公式.png

因為分母對于所有類別為常數(shù),因為我們只要將分子最大化皆可掌敬。又因為各特征屬性是條件獨立的惯豆,所以有:


條件概率估計極大似然函數(shù).png

可以看到池磁,整個樸素貝葉斯分類分為三個階段:
第一階段——準備工作階段,這個階段的任務是為樸素貝葉斯分類做必要的準備楷兽,主要工作是根據(jù)具體情況確定特征屬性地熄,并對每個特征屬性進行適當劃分,然后由人工對一部分待分類項進行分類芯杀,形成訓練樣本集合端考。這一階段的輸入是所有待分類數(shù)據(jù),輸出是特征屬性和訓練樣本瘪匿。這一階段是整個樸素貝葉斯分類中唯一需要人工完成的階段跛梗,其質量對整個過程將有重要影響,分類器的質量很大程度上由特征屬性棋弥、特征屬性劃分及訓練樣本質量決定核偿。

第二階段——分類器訓練階段,這個階段的任務就是生成分類器顽染,主要工作是計算每個類別在訓練樣本中的出現(xiàn)頻率及每個特征屬性劃分對每個類別的條件概率估計漾岳,并將結果記錄。其輸入是特征屬性和訓練樣本粉寞,輸出是分類器尼荆。這一階段是機械性階段,根據(jù)前面討論的公式可以由程序自動計算完成唧垦。

第三階段——應用階段捅儒。這個階段的任務是使用分類器對待分類項進行分類,其輸入是分類器和待分類項振亮,輸出是待分類項與類別的映射關系巧还。這一階段也是機械性階段,由程序完成坊秸。

參考于貝葉斯模型及其應用總結

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末麸祷,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子褒搔,更是在濱河造成了極大的恐慌阶牍,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,348評論 6 491
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件星瘾,死亡現(xiàn)場離奇詭異走孽,居然都是意外死亡,警方通過查閱死者的電腦和手機琳状,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,122評論 2 385
  • 文/潘曉璐 我一進店門融求,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人算撮,你說我怎么就攤上這事生宛∠匕海” “怎么了?”我有些...
    開封第一講書人閱讀 156,936評論 0 347
  • 文/不壞的土叔 我叫張陵陷舅,是天一觀的道長倒彰。 經常有香客問我,道長莱睁,這世上最難降的妖魔是什么待讳? 我笑而不...
    開封第一講書人閱讀 56,427評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮仰剿,結果婚禮上创淡,老公的妹妹穿的比我還像新娘。我一直安慰自己南吮,他們只是感情好琳彩,可當我...
    茶點故事閱讀 65,467評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著部凑,像睡著了一般露乏。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上涂邀,一...
    開封第一講書人閱讀 49,785評論 1 290
  • 那天瘟仿,我揣著相機與錄音,去河邊找鬼比勉。 笑死劳较,一個胖子當著我的面吹牛,可吹牛的內容都是我干的浩聋。 我是一名探鬼主播观蜗,決...
    沈念sama閱讀 38,931評論 3 406
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼赡勘!你這毒婦竟也來了嫂便?” 一聲冷哼從身側響起捞镰,我...
    開封第一講書人閱讀 37,696評論 0 266
  • 序言:老撾萬榮一對情侶失蹤闸与,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后岸售,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體践樱,經...
    沈念sama閱讀 44,141評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,483評論 2 327
  • 正文 我和宋清朗相戀三年凸丸,在試婚紗的時候發(fā)現(xiàn)自己被綠了拷邢。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,625評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡屎慢,死狀恐怖瞭稼,靈堂內的尸體忽然破棺而出忽洛,到底是詐尸還是另有隱情,我是刑警寧澤环肘,帶...
    沈念sama閱讀 34,291評論 4 329
  • 正文 年R本政府宣布欲虚,位于F島的核電站,受9級特大地震影響悔雹,放射性物質發(fā)生泄漏复哆。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 39,892評論 3 312
  • 文/蒙蒙 一腌零、第九天 我趴在偏房一處隱蔽的房頂上張望梯找。 院中可真熱鬧,春花似錦益涧、人聲如沸锈锤。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,741評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽牙咏。三九已至,卻和暖如春嘹裂,著一層夾襖步出監(jiān)牢的瞬間妄壶,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,977評論 1 265
  • 我被黑心中介騙來泰國打工寄狼, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留丁寄,地道東北人。 一個月前我還...
    沈念sama閱讀 46,324評論 2 360
  • 正文 我出身青樓泊愧,卻偏偏與公主長得像伊磺,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子删咱,可洞房花燭夜當晚...
    茶點故事閱讀 43,492評論 2 348

推薦閱讀更多精彩內容