樸素貝葉斯

1.思路:
給定訓(xùn)練集后思灰,假設(shè)特征之間都是互相獨(dú)立的玷犹。
(1)計(jì)算輸入輸出的聯(lián)合概率分布
(2)對于給定的輸入x,利用貝葉斯原理求出后驗(yàn)概率最大的輸出y

2.優(yōu)缺點(diǎn):
優(yōu)點(diǎn):
(1)學(xué)習(xí)和預(yù)測的效率高洒疚,模型簡單歹颓,且易于實(shí)現(xiàn);在數(shù)據(jù)較少的情況下仍然有效油湖,可以處理多分類問題巍扛;
(2)對缺失數(shù)據(jù)不敏感。
缺點(diǎn):
(1)分類效果不一定很高乏德,特征獨(dú)立性假設(shè)會(huì)是樸素貝葉斯變得簡單撤奸,特征獨(dú)立在實(shí)際應(yīng)用中往往不成立,所以會(huì)犧牲一定的分類準(zhǔn)確率喊括,在屬性個(gè)數(shù)多并且相關(guān)性強(qiáng)的時(shí)候胧瓜,樸素貝葉斯的分類效率不如樹模型;
(2)需要已知先驗(yàn)概率

3.原理:
對于輸入空間x為n維向量的集合:
![][01]
[01]:http://latex.codecogs.com/png.latex?x:(x_1,x_2,x_3,...,x_n)
輸出空間c的標(biāo)簽集合為:
![][02]
[02]:http://latex.codecogs.com/png.latex?c:(c_1,c_2,c_3,...,c_n)

假設(shè)X是定義在輸入空間上的隨機(jī)變量郑什,C是定義在輸出空間上的隨機(jī)變量府喳,則X和Y的聯(lián)合概率分布為:
![][03]
[03]:http://latex.codecogs.com/png.latex?P(X,C)
樸素貝葉斯法通過訓(xùn)練數(shù)據(jù)集學(xué)習(xí)聯(lián)合概率分布,學(xué)習(xí)聯(lián)合概率分布主要是得到先驗(yàn)概率和條件概率分布蹦误。
先驗(yàn)概率分布:
![][04]
[04]:http://latex.codecogs.com/png.latex?P(Y=c_k),k=0,1,2...
條件分布概率為:
![][05]
[05]:http://latex.codecogs.com/png.latex?P(X=x|Y=c_k)
即可得后驗(yàn)概率分布劫拢,如下圖所示:

Bayes_rule.png

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市强胰,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌妹沙,老刑警劉巖偶洋,帶你破解...
    沈念sama閱讀 216,591評論 6 501
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異距糖,居然都是意外死亡玄窝,警方通過查閱死者的電腦和手機(jī)牵寺,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,448評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來恩脂,“玉大人帽氓,你說我怎么就攤上這事×┛椋” “怎么了黎休?”我有些...
    開封第一講書人閱讀 162,823評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長玉凯。 經(jīng)常有香客問我势腮,道長,這世上最難降的妖魔是什么漫仆? 我笑而不...
    開封第一講書人閱讀 58,204評論 1 292
  • 正文 為了忘掉前任捎拯,我火速辦了婚禮,結(jié)果婚禮上盲厌,老公的妹妹穿的比我還像新娘署照。我一直安慰自己,他們只是感情好吗浩,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,228評論 6 388
  • 文/花漫 我一把揭開白布藤树。 她就那樣靜靜地躺著,像睡著了一般拓萌。 火紅的嫁衣襯著肌膚如雪岁钓。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,190評論 1 299
  • 那天微王,我揣著相機(jī)與錄音屡限,去河邊找鬼。 笑死炕倘,一個(gè)胖子當(dāng)著我的面吹牛钧大,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播罩旋,決...
    沈念sama閱讀 40,078評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼啊央,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了涨醋?” 一聲冷哼從身側(cè)響起瓜饥,我...
    開封第一講書人閱讀 38,923評論 0 274
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎浴骂,沒想到半個(gè)月后乓土,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,334評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,550評論 2 333
  • 正文 我和宋清朗相戀三年趣苏,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了狡相。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,727評論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡食磕,死狀恐怖尽棕,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情彬伦,我是刑警寧澤滔悉,帶...
    沈念sama閱讀 35,428評論 5 343
  • 正文 年R本政府宣布,位于F島的核電站媚朦,受9級特大地震影響氧敢,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜询张,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,022評論 3 326
  • 文/蒙蒙 一孙乖、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧份氧,春花似錦唯袄、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,672評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至厅缺,卻和暖如春蔬顾,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背湘捎。 一陣腳步聲響...
    開封第一講書人閱讀 32,826評論 1 269
  • 我被黑心中介騙來泰國打工诀豁, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人窥妇。 一個(gè)月前我還...
    沈念sama閱讀 47,734評論 2 368
  • 正文 我出身青樓舷胜,卻偏偏與公主長得像,于是被迫代替她去往敵國和親活翩。 傳聞我的和親對象是個(gè)殘疾皇子烹骨,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,619評論 2 354

推薦閱讀更多精彩內(nèi)容