課程來(lái)源
知乎live-貝葉斯概率思維
目錄
- 貝葉斯概率
- 貝葉斯定理
- 貝葉斯估計(jì)
- 貝葉斯網(wǎng)絡(luò)
- 推薦書籍
- 涉及名詞
前言
規(guī)則VS統(tǒng)計(jì)
基于規(guī)則的理性主義：如專家系統(tǒng)
基于統(tǒng)計(jì)的經(jīng)驗(yàn)主義：如貝葉斯
基于規(guī)則需要專業(yè)知識(shí)體系，容易定義退疫，但通用性不高渠缕。
基于統(tǒng)計(jì)則需要數(shù)據(jù)，并且相關(guān)性容易造成誤導(dǎo)褒繁。
規(guī)則-演繹（柯南破案）
經(jīng)驗(yàn)-歸納（神農(nóng)嘗百草）
貝葉斯思維
頻率派VS貝葉斯派
頻率派
通過(guò)長(zhǎng)期亦鳞、大量、重復(fù)實(shí)驗(yàn)：發(fā)生的頻率（大數(shù)定律）
參數(shù)是常數(shù)
概率是客觀存在的常數(shù)
貝葉斯派
信則有，不信則無(wú)
參數(shù)是隨機(jī)變量
貝葉斯概率
先驗(yàn)概率：P(A)
后驗(yàn)概率：P(A|B)（已知B的前提下對(duì)A的信念）
貝葉斯定理
貝葉斯定理：
已知先驗(yàn)燕差，計(jì)算后驗(yàn)
通俗解釋
問(wèn)題：白馬上坐著的不一定是王子遭笋，還可能是唐僧。那么徒探，如何確定是王子還是唐僧瓦呼。
P(A): 已知白馬上坐著的可能是王子，也可能是唐僧测暗。
P(B|A): 坐著的是王子時(shí)央串，后邊大概率跟著的是儀仗隊(duì)。如果是唐僧偷溺，后邊跟著的大概率是三個(gè)徒弟蹋辅。這樣就可以根據(jù)白馬后的場(chǎng)景（P(B)）來(lái)判斷白馬上坐的是誰(shuí)（P(A|B)）
頻率派和貝葉斯派的比較
對(duì)于一種病來(lái)說(shuō)，如果藥物對(duì)病癥的有效率有95%挫掏，但是對(duì)非病者有5%的中毒率侦另，那頻率派認(rèn)為這個(gè)藥是可以使用的。但是如果這個(gè)病是罕見病尉共，則貝葉斯定理會(huì)得出一個(gè)很小的數(shù)褒傅。因?yàn)镻(A)太低了。對(duì)正常人來(lái)說(shuō)袄友，雖然中毒率低殿托，但是基數(shù)過(guò)大，因此對(duì)最后結(jié)果有很大的影響剧蚣。
貝葉斯估計(jì)
最大似然估計(jì)
最大似然估計(jì)（頻率派思維）
參數(shù)：
數(shù)據(jù):
當(dāng)你已知一組數(shù)據(jù)時(shí)支竹，要去分析參數(shù)是多少，才能使這組數(shù)據(jù)出現(xiàn)的概率最大鸠按。就叫最大似然估計(jì)礼搁。
這屬于頻率派思維，但是它沒(méi)有考慮數(shù)據(jù)D出現(xiàn)的概率是多少目尖。
最大后驗(yàn)估計(jì)
最大后驗(yàn)估計(jì)（MAP）（貝葉斯派）（如果知道先驗(yàn)概率）
需要考慮先驗(yàn)概率
像是在最大似然估計(jì)上加一個(gè)修正項(xiàng)馒吴。有一些貝葉斯的思想
貝葉斯估計(jì)
最大后驗(yàn)估計(jì)還不是純正的貝葉斯思維，如果按照貝葉斯定理瑟曲，則
貝葉斯估計(jì)公式：
(積分理解成求和饮戳，可以連續(xù)可以離散)
貝葉斯適合解決數(shù)據(jù)不平衡的問(wèn)題
總結(jié)
最大似然估計(jì)對(duì)數(shù)據(jù)量需求最大，因?yàn)闆](méi)有任何先驗(yàn)知識(shí)的修正洞拨，但是也會(huì)因此導(dǎo)致過(guò)擬合扯罐。
最大后驗(yàn)估計(jì)和貝葉斯估計(jì)有先驗(yàn)知識(shí)的修正，所以對(duì)數(shù)據(jù)量需求不大烦衣。但是壞處是需要好的先驗(yàn)知識(shí)篮赢。
貝葉斯網(wǎng)絡(luò)
與神經(jīng)網(wǎng)絡(luò)沒(méi)有關(guān)系齿椅，和概率圖模型更接近琉挖。
推薦書籍
《貝葉斯方法：概率編程與貝葉斯推斷》
《統(tǒng)計(jì)學(xué)習(xí)方法》
《像計(jì)算機(jī)科學(xué)家一樣思考python》
涉及名詞
達(dá)特茅斯會(huì)議
Alpha-go 蒙特卡洛樹搜索【基于統(tǒng)計(jì)的概率計(jì)算】
拉斯維加斯算法
馬爾科夫性
隱式馬爾可夫鏈
