筆記：http://blog.csdn.net/Andrewseu/article/details/48493807
風(fēng)險：模型與與問題真實解之間的誤差的積累糖声。
經(jīng)驗風(fēng)險：我們選擇了一個假設(shè)之后（更直觀點說，我們得到了一個分類器以后）郎任，真實誤差無從得知，但我們可以用某些可以掌握的量來逼近它尚困。最直觀的想法就是使用分類器在樣本數(shù)據(jù)上的分類的結(jié)果與真實結(jié)果（因為樣本是已經(jīng)標(biāo)注過的數(shù)據(jù)山憨，是準(zhǔn)確的數(shù)據(jù)）之間的差值來表示。這個差值叫做經(jīng)驗風(fēng)險Remp(w)抽减。
泛化誤差界：就是指真實風(fēng)險應(yīng)該由兩部分內(nèi)容刻畫，一是經(jīng)驗風(fēng)險橄碾，代表了分類器在給定樣本上的誤差卵沉；二是置信風(fēng)險，代表了我們在多大程度上可以信任分類器在未知文本上分類的結(jié)果法牲。
泛化誤差界的公式為：R(w)≤Remp(w)+Ф(n/h)
</br>
Hoeffding不等式：
Hoeffding刻畫的是某個事件的真實概率及其m個獨立重復(fù)試驗中觀察到的頻率之間的差異史汗，更準(zhǔn)確的說，它是應(yīng)用于m個不同的Bernoulli試驗拒垃。
該不等式給出了一個概率邊界停撞，它說明任意選擇的假設(shè)訓(xùn)練錯誤率不能代表真實情況。
