1或油、貝葉斯決策論
貝葉斯決策論是在概率框架下試試決策的基本方法寞忿。對(duì)分類任務(wù)來說，在所有相關(guān)概率都已知的理想情形下顶岸，貝葉斯決策論考慮如何基于這些概率和誤判損失來選擇最優(yōu)的類別標(biāo)記腔彰，下面以多分類任務(wù)來解釋其基本原理叫编。
假設(shè)有N種可能的類別標(biāo)記，λij是將一個(gè)真實(shí)標(biāo)記為cj的樣本誤分類為ci所產(chǎn)生的損失霹抛，基于后驗(yàn)概率P(ci|x)可獲得將樣本x分類為xi所產(chǎn)生的期望損失宵溅，那么樣本x上的條件風(fēng)險(xiǎn)(conditional risk)為：
我們的任務(wù)是尋找一個(gè)判定準(zhǔn)則h，X->Y以最小化總體風(fēng)險(xiǎn)：
顯然上炎，對(duì)每個(gè)樣本來說恃逻，若h能最小化條件風(fēng)險(xiǎn)R(h(x)|x)，則總體風(fēng)險(xiǎn)R(h)也將被最小化藕施，這就產(chǎn)生了貝葉斯判定準(zhǔn)則：為最小化總體風(fēng)險(xiǎn)寇损，只需在每個(gè)樣本上選擇那個(gè)能使條件風(fēng)險(xiǎn)R(c|x)最小的類別標(biāo)記，即：
此時(shí)h稱為貝葉斯最優(yōu)分類器裳食，與之對(duì)應(yīng)的總體風(fēng)險(xiǎn)R(h) 被稱為貝葉斯風(fēng)險(xiǎn)矛市。1-R(h*) 反映了分類其所能達(dá)到的最好性能，即通過機(jī)器學(xué)習(xí)所能產(chǎn)生的模型精度的理論上限诲祸。
具體來說浊吏，若目標(biāo)是最小化分類錯(cuò)誤率，則誤判損失λij可寫為：
此時(shí)條件風(fēng)險(xiǎn)：
于是救氯，最小化分類錯(cuò)誤率的貝葉斯最優(yōu)分類器為：
即對(duì)每個(gè)樣本x找田，選擇能使后驗(yàn)概率P(c|x)最大的類別標(biāo)記。
不難看出着憨，欲使用貝葉斯判定準(zhǔn)則來最小化決策風(fēng)險(xiǎn)墩衙，首先要獲得后驗(yàn)概率P(c|x)，然后甲抖，在現(xiàn)實(shí)任務(wù)中這通常難以直接獲得漆改。從這個(gè)角度看，機(jī)器學(xué)習(xí)所要實(shí)現(xiàn)的是基于有限的訓(xùn)練樣本集盡可能準(zhǔn)確地估計(jì)出后驗(yàn)概率P(c|x)准谚。大體來說挫剑，主要有兩種策略：給定x，可通過直接建模P(c|x)來預(yù)測c柱衔，這樣得到的是判別式模型樊破；也可以先對(duì)聯(lián)合概率分布P(c,x)建模，然后由此得到P(c|x)秀存，這樣得到的是生成式模型捶码。
