Task02-樸素貝葉斯(Naive Bayes)-基本理論(天池機(jī)器學(xué)習(xí)訓(xùn)練營D4)

本筆記為參加阿里云“天池龍珠計(jì)劃 機(jī)器學(xué)習(xí)訓(xùn)練營”所做的學(xué)習(xí)記錄,代碼及知識內(nèi)容均來源于訓(xùn)練營,本人稍作擴(kuò)充盾致。
具體活動(dòng)內(nèi)容請移步阿里云天池龍珠計(jì)劃; 同時(shí)感謝公眾號“機(jī)器學(xué)習(xí)煉丹術(shù)”的介紹主经、推廣和組織。

1. 實(shí)驗(yàn)室介紹

1.1 實(shí)驗(yàn)環(huán)境

1\. python3.7
2\. numpy >= '1.16.4'
3\. sklearn >= '0.23.1'

1.2 樸素貝葉斯的介紹

樸素貝葉斯算法(Naive Bayes, NB)是應(yīng)用最為廣泛的分類算法之一庭惜。它是基于貝葉斯定義和特征條件獨(dú)立假設(shè)的分類器方法罩驻。由于樸素貝葉斯法基于貝葉斯公式計(jì)算得到,有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)护赊,以及穩(wěn)定的分類效率惠遏。NB模型所需估計(jì)的參數(shù)很少,對缺失數(shù)據(jù)不太敏感骏啰,算法也比較簡單节吮。當(dāng)前的垃圾郵件分類都是基于樸素貝葉斯分類器識別的。

什么是條件概率判耕,我們從一個(gè)摸球的例子來理解透绩。我們有兩個(gè)桶:灰色桶和綠色桶,一共有7個(gè)小球壁熄,4個(gè)藍(lán)色3個(gè)紫色帚豪,分布如下圖:

NBFig1.png

從這7個(gè)球中,隨機(jī)選擇1個(gè)球是紫色的概率p是多少草丧?選擇過程如下:

  1. 先選擇桶
  2. 再從選擇的桶中選擇一個(gè)球


    NBFig2.jpg

上述我們選擇小球的過程就是條件概率的過程狸臣,在選擇桶的顏色的情況下是紫色的概率,另一種計(jì)算條件概率的方法是貝葉斯準(zhǔn)則昌执。

貝葉斯公式是英國數(shù)學(xué)家提出的一個(gè)數(shù)據(jù)公式:


NBFig3.jpg

p(A,B):表示事件A和事件B同時(shí)發(fā)生的概率烛亦。

p(B):表示事件B發(fā)生的概率;叫做先驗(yàn)概率懂拾;
p(A):表示事件A發(fā)生的概率煤禽。

p(A|B):表示當(dāng)事件B發(fā)生的條件下,事件A發(fā)生的概率委粉;叫做后驗(yàn)概率呜师。
p(B|A):表示當(dāng)事件A發(fā)生的條件下娶桦,事件B發(fā)生的概率贾节。

我們用一句話理解貝葉斯:世間很多事都存在某種聯(lián)系,假設(shè)事件A和事件B衷畦。注:原文如此人們常常使用已經(jīng)發(fā)生的某個(gè)事件去推斷我們想要知道的之間的概率栗涂。 例如,醫(yī)生在確診的時(shí)候祈争,會根據(jù)病人的舌苔斤程、心跳等來判斷病人得了什么病。對病人來說,只會關(guān)注得了什么病忿墅,醫(yī)生會通過已經(jīng)發(fā)生的事件來確診具體的病情扁藕。這里就用到了貝葉斯思想,A是已經(jīng)發(fā)生的病人癥狀疚脐,在A發(fā)生的條件下是B_i的概率亿柑。

1.3 樸素貝葉斯的應(yīng)用

樸素貝葉斯算法假設(shè)所有特征的出現(xiàn)相互獨(dú)立互不影響,每一特征同等重要棍弄,又因?yàn)槠浜唵瓮。乙话憔哂泻芎玫目山忉屝浴O鄬τ谄渌脑O(shè)計(jì)的更復(fù)雜的分類算法呼畸,樸素貝葉斯分類算法是學(xué)習(xí)效率和分類效果較好的分類器之一痕支。
樸素貝葉斯算法一般應(yīng)用在文本分類,垃圾郵件的分類蛮原,信用評估卧须,釣魚網(wǎng)站檢測等。

2. 實(shí)驗(yàn)室手冊

2.1 學(xué)習(xí)目標(biāo)

  1. 掌握貝葉斯公式
  2. 結(jié)合兩個(gè)實(shí)例了解樸素貝葉斯的參數(shù)估計(jì)
  3. 掌握貝葉斯估計(jì)

2.2 代碼流程

  • Part 1. 鶯尾花數(shù)據(jù)集--貝葉斯分類

    • Step1: 庫函數(shù)導(dǎo)入
    • Step2: 數(shù)據(jù)導(dǎo)入&分析
    • Step3: 模型訓(xùn)練
    • Step4: 模型預(yù)測
    • Step5: 原理簡析
  • Part 2. 模擬離散數(shù)據(jù)集--貝葉斯分類

    • Step1: 庫函數(shù)導(dǎo)入
    • Step2: 數(shù)據(jù)導(dǎo)入&分析
    • Step3: 模型訓(xùn)練&可視化
    • Step4: 原理簡析
參考資料:

B站的這個(gè)視頻有助于理解樸素貝葉斯的內(nèi)涵和應(yīng)用場景:使用貝葉斯公式的正確姿勢(up主: 小淵xyz)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末瞬痘,一起剝皮案震驚了整個(gè)濱河市故慈,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌框全,老刑警劉巖察绷,帶你破解...
    沈念sama閱讀 222,807評論 6 518
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異津辩,居然都是意外死亡拆撼,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,284評論 3 399
  • 文/潘曉璐 我一進(jìn)店門喘沿,熙熙樓的掌柜王于貴愁眉苦臉地迎上來闸度,“玉大人,你說我怎么就攤上這事蚜印≥航” “怎么了?”我有些...
    開封第一講書人閱讀 169,589評論 0 363
  • 文/不壞的土叔 我叫張陵窄赋,是天一觀的道長哟冬。 經(jīng)常有香客問我,道長忆绰,這世上最難降的妖魔是什么浩峡? 我笑而不...
    開封第一講書人閱讀 60,188評論 1 300
  • 正文 為了忘掉前任,我火速辦了婚禮错敢,結(jié)果婚禮上翰灾,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好纸淮,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,185評論 6 398
  • 文/花漫 我一把揭開白布平斩。 她就那樣靜靜地躺著,像睡著了一般咽块。 火紅的嫁衣襯著肌膚如雪双戳。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,785評論 1 314
  • 那天糜芳,我揣著相機(jī)與錄音飒货,去河邊找鬼。 笑死峭竣,一個(gè)胖子當(dāng)著我的面吹牛塘辅,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播皆撩,決...
    沈念sama閱讀 41,220評論 3 423
  • 文/蒼蘭香墨 我猛地睜開眼扣墩,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了扛吞?” 一聲冷哼從身側(cè)響起呻惕,我...
    開封第一講書人閱讀 40,167評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎滥比,沒想到半個(gè)月后亚脆,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,698評論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡盲泛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,767評論 3 343
  • 正文 我和宋清朗相戀三年濒持,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片寺滚。...
    茶點(diǎn)故事閱讀 40,912評論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡柑营,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出村视,到底是詐尸還是另有隱情官套,我是刑警寧澤,帶...
    沈念sama閱讀 36,572評論 5 351
  • 正文 年R本政府宣布蚁孔,位于F島的核電站奶赔,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏勒虾。R本人自食惡果不足惜纺阔,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,254評論 3 336
  • 文/蒙蒙 一瘸彤、第九天 我趴在偏房一處隱蔽的房頂上張望修然。 院中可真熱鬧,春花似錦、人聲如沸愕宋。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,746評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽中贝。三九已至囤捻,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間邻寿,已是汗流浹背蝎土。 一陣腳步聲響...
    開封第一講書人閱讀 33,859評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留绣否,地道東北人誊涯。 一個(gè)月前我還...
    沈念sama閱讀 49,359評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像蒜撮,于是被迫代替她去往敵國和親暴构。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,922評論 2 361

推薦閱讀更多精彩內(nèi)容