文章含有“program”的概率各個(gè)選集中調(diào)查如下：
p(Y1=1|X=dev) = 0.271
p(Y1=1|X=admin) = 0.136
條件概率p(Y1=1|X=dev) 是「dev選集中马胧，含有“program”的概率」。同理衔峰，X=admin 也是一樣佩脊。
確實(shí)p(Y1=1|X=dev) > p(Y1=1|X=admin) 成立。
同理垫卤，隨機(jī)變量 Y2 作為「文章中含有“application”」威彰，試求它的概率浦译。
p(Y2=1|X=dev) = 0.172
p(Y2=1|X=admin) = 0.523
這樣就可以判斷「含有“application”结榄，不含“program”的文章」術(shù)語(yǔ)哪個(gè)類別。
雖已知滿足這個(gè)條件的隨機(jī)變量是 Y1=0, Y2=1 魏滚，表示類別的隨機(jī)變量X還是未知的豹缀。這里，可以判斷：如果求出p(X=dev|Y1=0, Y2=1)?和 p(X=admin|Y1=0, Y2=1) 慨代，概率值大的一方被作為「可信用的 X 值」邢笙。
寫文章時(shí)，先寫完內(nèi)容再確定類別侍匙，是很少見(jiàn)的氮惯。總之想暗，p(X|Y1, Y2)就是事后概率妇汗，計(jì)算出該值就可以推斷出文章中隱藏的信息 （例：「文章是為了發(fā)表在dev文集而寫的！」）
這一系列的過(guò)程就是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)的一個(gè)典型思考方式说莫。
雖然得到了使用貝葉斯公式計(jì)算出事后概率的公式铛纬，但是使用乘法定理把聯(lián)合概率展開為2個(gè)式子是不是更容易理解一些呢？
p(X, Y1,Y2)
= p(X|Y1,Y2) p(Y1, Y2)
= p(Y1,Y2|X) p(X)
由第2式和第3式可以推導(dǎo)出p(X|Y1, Y2)等于下式：
想一下式子的右邊可以計(jì)算出來(lái)嗎?
關(guān)于分子中的p(Y1, Y2|X)唬滑，假定賦值給X時(shí)Y1, Y2是獨(dú)立。（也叫做「條件獨(dú)立」），從剛才的論證可得晶密，p(Y1, Y2|X)= p(Y1|X) p(Y2|X)成立擒悬。
p(X)和p(Y1|X)已知時(shí)，式子的右側(cè)可以計(jì)算出來(lái)稻艰。
至于分母的p(Y1, Y2)懂牧，可以通過(guò)把分子當(dāng)作「隨機(jī)變量X的邊緣化」計(jì)算出來(lái)。
具體講尊勿，利用乗法定理中p(Y1, Y2|X) p(X) = p(X, Y1, Y2)僧凤，然后使用加法定理消去X后，變成p(Y1, Y2)元扔。想起來(lái)最開始說(shuō)的「機(jī)器學(xué)習(xí)中反復(fù)使用加法定理和乗法定理」「加法定理也叫做邊緣化」了嗎躯保？
但是，因?yàn)榉帜傅膒(Y1, Y2)中并沒(méi)有X（與X無(wú)關(guān)）澎语，如果「想求出p(X|Y1, Y2)最大的X」途事，僅僅比較分子就足夠了。
最后擅羞，「包含“application”尸变，不包含“program”的文章」，也就是計(jì)算Y1=0, Y2=1兩種情況的事后概率减俏。
想分別求出各個(gè)X的值召烂，先求出分子。
p(Y1=0,Y2=1|X=dev) p(X=dev)
= (1 - 0.271) *0.172 * 0.652
= 0.082
p(Y1=0,Y2=1|X=admin) p(X=admin)
= (1 - 0.136) *0.523 * 0.348
= 0.157
把分母邊緣化后得到的娃承，就是2個(gè)值得和奏夫。
p(Y1=0,Y2=1)
= p(X=dev, Y1=0,Y2=1) + p(X=admin, Y1=0, Y2=1)
= 0.082 + 0.157
= 0.239
接著，事后概率如下所示：
p(X=dev|Y1=0,Y2=1)
= p(Y1=0,Y2=1|X=dev) p(X=dev) / p(Y1=0, Y2=1)
= 0.082 / 0.239
= 0.343
p(X=admin|Y1=0,Y2=1)
= p(Y1=0,Y2=1|X=admin) p(X=admin) / p(Y1=0, Y2=1)
= 0.157 / 0.239
= 0.657
哪個(gè)才是更適合的分類草慧，已經(jīng)明白了吧桶蛔？
這里的「基于條件概率的獨(dú)立性」被稱作「條件獨(dú)立」或者「樸素貝葉斯」「單純貝葉斯」。
當(dāng)然漫谷，這里的「條件獨(dú)立」是假設(shè)的仔雷，并不是真的獨(dú)立。盡管做了如此大膽的假設(shè)舔示，樸素貝葉斯還是有很高的精準(zhǔn)度的碟婆。通過(guò)簡(jiǎn)單計(jì)算并得到好的結(jié)果的就是「好的模型」。
實(shí)際上惕稻，樸素貝葉斯在文本分類和信用過(guò)濾中經(jīng)常使用竖共。樸素貝葉斯不僅限與用在類別和單詞種類為2的情況，更普通的情況也適用俺祠。
下篇為實(shí)踐課程公给，以樸素貝葉斯為題材借帘，動(dòng)手實(shí)現(xiàn)概率的計(jì)算。
