在第二章里我們學(xué)到了有限假設(shè)集
回顧：
經(jīng)驗(yàn)風(fēng)險(xiǎn)：Ls代表了在假設(shè)為h的情況下?lián)p失的表達(dá)式
可以選擇使得經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的假設(shè)，作為選擇的假設(shè)
當(dāng)H是有限集的時(shí)候审轮，模型不會(huì)有過擬合的風(fēng)險(xiǎn)，并且如果ERM是在這個(gè)有限集中被提供了大量數(shù)據(jù)的話辽俗，可以認(rèn)為最后得到的假設(shè)是一個(gè)概率近似準(zhǔn)確的假設(shè)（PAC（Probably Approximately Correct））
PAC learninability 的定義:
%5E2%20%5Crightarrow%20N)
以及一個(gè)具有如下條件的學(xué)習(xí)算法：%5C%2C%20%20and%5C%3B%20%20for%5C%2Cevery%5C%2C%5Cmathcal%7BD%5C%2C%7D%20over%5Cmathcal%7BX%5C%2C%7D%2Cand%20%5C%2Cfor%20%5C%2C%20every%5C%2Clabel%5C%2Cfunction%5C%3Bf%3A%5Cmathcal%7BX%7D%5Crightarrow%20%5C%2C%5C%7B0%2C1%5C%7D)
如果訓(xùn)練過程滿足以上
疾渣，即樣本采樣自分布
,真正的映射關(guān)系是
，那么最后預(yù)估出來的假設(shè)h以至少
的概率使得%7D(h)%3C%5Cepsilon)
這個(gè)定義中崖飘，
衡量了最后學(xué)習(xí)出來的h有多接近f榴捡，即h的準(zhǔn)確度。
衡量了h接近
的置信度朱浴。實(shí)際上吊圾，因?yàn)楸M管訓(xùn)練集可以采樣再多來自真實(shí)分布的樣本，但畢竟不能用這些大量的數(shù)據(jù)去完全代表真實(shí)的分布翰蠢，那么采用這個(gè)訓(xùn)練集去訓(xùn)練或多或少會(huì)有一些偏差项乒，所以上面的兩個(gè)參數(shù)，在實(shí)際訓(xùn)練中都是不可避免的會(huì)遇見的梁沧。而可以讓看作學(xué)習(xí)過程中的少量偏差的接受程度檀何。
%5E2%20%5Crightarrow%20N)
決定了學(xué)習(xí)過程中的采樣復(fù)雜度，換句話說廷支，這個(gè)方程可以看作是频鉴，為了保證PAC的話，至少需要采樣多少樣本恋拍。實(shí)際訓(xùn)練中垛孔，其實(shí)上m的方程有很多都是滿足條件的，一般選擇最小的m滿足芝囤，的PAC學(xué)習(xí)似炎。
一般情況下這個(gè)m可以被一個(gè)關(guān)于，悯姊，的方程bound住
對(duì)于任意有限假設(shè)集羡藐，都存在這樣的一個(gè)m滿足要求
General Learning Model：
剛才描述的模型其實(shí)很容易推廣，可以通過以下兩個(gè)角度讓模型更加一般化
1悯许，刪除可實(shí)現(xiàn)性假設(shè)：上面的PAC模型所需要的條件其實(shí)是非常強(qiáng)的仆嗦，不僅需要在真實(shí)分布中采樣，而且標(biāo)注的內(nèi)容也需要十分準(zhǔn)確先壕。下面會(huì)介紹Agnostic PAC模型
2瘩扼，之前介紹的基本都是二分類模型谆甜，模型其實(shí)可以被推廣到各類學(xué)習(xí)任務(wù)當(dāng)中
Agnostic PAC：
在第一章里面做了這樣的一個(gè)假設(shè)，
![\exists h^{\star} \in \mathcal{h} \; such\,that\, \mathbb{P}_{x\sim\mathcal{D}}[h^\star(x) = f(x)] = 1](https://math.jianshu.com/math?formula=%5Cexists%20h%5E%7B%5Cstar%7D%20%5Cin%20%5Cmathcal%7Bh%7D%20%5C%3B%20such%5C%2Cthat%5C%2C%20%5Cmathbb%7BP%7D_%7Bx%5Csim%5Cmathcal%7BD%7D%7D%5Bh%5E%5Cstar(x)%20%3D%20f(x)%5D%20%3D%201)
這個(gè)假設(shè)在很多現(xiàn)實(shí)問題里面是不成立的集绰，那么更現(xiàn)實(shí)的假設(shè)是什么呢规辱？
現(xiàn)在設(shè)定為x,y的聯(lián)合分布（之前可以看作是訓(xùn)練數(shù)據(jù)的真實(shí)分布）
是的邊緣分布，代表沒標(biāo)注的x的分布栽燕，D((x,y)|x)代表label y 的條件分布罕袋。這樣去設(shè)計(jì)模型實(shí)際上允許不同的數(shù)據(jù)具有相同的特征時(shí)，屬于不同的預(yù)測(cè)結(jié)果碍岔。
這樣假設(shè)的情況下浴讯，誤差將會(huì)被寫成如下的形式：
跟之前PAC不同的點(diǎn)就是，在這里括號(hào)里不是h(x) 不等于 f(x)
同理蔼啦，經(jīng)驗(yàn)風(fēng)險(xiǎn)如下：
