到現(xiàn)在為止呻顽， 我們介紹了一些分類回歸的模型， 當(dāng)然還有許許多多的模型沒(méi)有介紹丹墨， 同時(shí)我們到現(xiàn)在還沒(méi)有對(duì)數(shù)據(jù)有過(guò)任何的加工廊遍，真實(shí)情況下，數(shù)據(jù)是需要清洗提煉贩挣，特征也是需要挖掘和選擇的喉前。這些我們暫時(shí)先不討論没酣。我們假設(shè)我們拿到的就是比較干凈的數(shù)據(jù)，我們通過(guò)合適的模型被饿， 實(shí)現(xiàn)了分類或回歸四康， 那我們要如何判斷模型的好壞呢？
模型性能的度量
首先我們需要去定義一些標(biāo)準(zhǔn)去衡量我們模型的好壞狭握，比如同一個(gè)分類問(wèn)題闪金，我們拿LR也可以分類，SVM也可以分類论颅，如何去判斷模型的好壞哎垦，其實(shí)需要根據(jù)具體的使用場(chǎng)景。但首先恃疯，我們肯定需要一些指標(biāo)去衡量漏设，不同的場(chǎng)景，選擇不同的指標(biāo)即可今妄。這篇會(huì)簡(jiǎn)單介紹一些常用的度量指標(biāo)郑口。
（1）錯(cuò)誤率與精度
分類問(wèn)題中，錯(cuò)誤率就是指被誤分類的概率盾鳞，
精度是指被正確分類的概率犬性， 顯然?
（2）但如果我們想看分類為正的樣本內(nèi)，真實(shí)為正的概率腾仅， 那錯(cuò)誤率與精度是不能滿足需求的乒裆，這兩個(gè)指標(biāo)有它的局限性，這時(shí)候我們引入一個(gè)混淆矩陣
由此我們可以新定義一些指標(biāo)：
精確率?鹤耍， 預(yù)測(cè)為正的樣本， 真實(shí)為正的概率验辞。
召回率?稿黄， 多少正樣本被預(yù)測(cè)為了正。
這兩個(gè)指標(biāo)往往是一對(duì)矛盾的指標(biāo)受神，比如全部預(yù)測(cè)為正抛猖， 那召回率就會(huì)很高，但精確率就會(huì)比較低鼻听。除非是一些比較容易的任務(wù)财著。
綜合考慮了精確率和召回率，往往作為用來(lái)評(píng)判模型的好壞的標(biāo)準(zhǔn)撑碴。
但是在一些場(chǎng)景下撑教， 精確率和召回率側(cè)重點(diǎn)是不一樣的，有時(shí)候精確率重要一些醉拓，有時(shí)候召回率重要一些
這時(shí)候可以引入一個(gè)權(quán)重系數(shù)β
度量了召回率對(duì)精確率的相對(duì)重要性伟姐，?
的時(shí)候收苏，就是
，
的時(shí)候愤兵， 召回率更重要鹿霸，?
的時(shí)候， 精確率更重要秆乳。
（3）接下來(lái)是ROC與AUC懦鼠， 正如之前所介紹的，很多模型是軟分類屹堰，即給出相應(yīng)的預(yù)測(cè)概率肛冶， 然后將預(yù)測(cè)概率和分類閾值（例如0.5）比較， 進(jìn)行分類扯键。
借助混淆矩陣睦袖，我們需要新定義兩個(gè)指標(biāo)， 分別是真正例率（TPR）和假正例率（FPR）
這個(gè)ROC曲線怎么理解呢荣刑，假設(shè)我們有N個(gè)樣本馅笙，所有樣本都對(duì)應(yīng)著一個(gè)概率，將其從大到小排序 厉亏。 我們將分類閾值從概率最大值慢慢往下降延蟹，
一開(kāi)始分類閾值無(wú)窮大， 則TPR和FPR都是0叶堆， 就是原點(diǎn)，然后將分類閾值慢慢下調(diào)斥杜，先降到p1,再降到p2虱颗，依次往下降。每一次下降蔗喂，都會(huì)有一個(gè)樣本預(yù)測(cè)從負(fù)樣本變成正樣本忘渔，即每次都可以算出當(dāng)前的TPR和FPR，就可以在圖上相應(yīng)的描點(diǎn)缰儿，最后當(dāng)閾值為的時(shí)候畦粮， 所有樣本都是正的， TPR和FPR都是1了乖阵。把所有N+1個(gè)點(diǎn)連起來(lái)宣赔，就是ROC曲線了。ROC曲線的面積瞪浸，就是AUC儒将。可以拿AUC的大小作為模型評(píng)判的好壞对蒲。
過(guò)擬合與模型選擇
我們始終要面臨一個(gè)模型選擇的問(wèn)題贡翘，如果一味追求樣本內(nèi)的預(yù)測(cè)能力，所選的模型往往會(huì)比較復(fù)雜砰逻，這就是過(guò)擬合鸣驱，過(guò)擬合的模型，對(duì)于測(cè)試集樣本會(huì)有比較大的測(cè)試誤差蝠咆，是我們要避免的踊东。接下來(lái)介紹兩種模型選擇的方法：正則化與交叉驗(yàn)證。
(1)正則化
這個(gè)方法我們?cè)诰€性回歸中做過(guò)介紹了勺美， 就是給參數(shù)增加懲罰系數(shù)递胧，懲罰系數(shù)越大， 模型就越趨于簡(jiǎn)單赡茸，越不會(huì)過(guò)擬合缎脾，但可能就會(huì)導(dǎo)致欠擬合了。
(2)交叉驗(yàn)證
簡(jiǎn)單的交叉驗(yàn)證：即將訓(xùn)練數(shù)據(jù)集按比例隨機(jī)劃分成兩部分占卧，訓(xùn)練集和測(cè)試集遗菠， 用訓(xùn)練集訓(xùn)練模型，再根據(jù)測(cè)試集的結(jié)果選擇模型
k折交叉驗(yàn)證：講訓(xùn)練數(shù)據(jù)切分為k份华蜒，每次拿k-1份學(xué)習(xí)模型辙纬，剩下的1份當(dāng)做測(cè)試集， 可以重復(fù)進(jìn)行k次叭喜，將每次的結(jié)果平均贺拣，選擇最好的那個(gè)模型
留一交叉驗(yàn)證： k折交叉驗(yàn)證的極限情況， 分為N份數(shù)據(jù)捂蕴，每次留一個(gè)樣本作為測(cè)試集譬涡， 往往是數(shù)據(jù)比較少的時(shí)候用。如果數(shù)據(jù)多的時(shí)候使用啥辨，學(xué)習(xí)時(shí)間會(huì)很長(zhǎng)涡匀。
模型的泛化能力
正如上面所講，我們關(guān)心的是模型的泛化能力溉知，樣本內(nèi)精確度很高不一定可信陨瘩，因?yàn)榭赡苁沁^(guò)擬合的， 我們希望模型在預(yù)測(cè)新樣本時(shí)级乍，能有很好的能力舌劳。
模型的泛化誤差，可以分解為偏差卡者，方差和噪聲蒿囤。
（1）偏差度量了學(xué)習(xí)算法的期望預(yù)測(cè)和真實(shí)結(jié)果的偏離程度，刻畫了模型本身的擬合能力崇决。例如一個(gè)二次項(xiàng)回歸材诽， 拿一次項(xiàng)擬合底挫，擬合的誤差始終會(huì)比較大×辰模或者說(shuō)模型加了太大的懲罰項(xiàng)建邓，模型欠擬合。
（2）方差度量了同樣大小的訓(xùn)練集變動(dòng)導(dǎo)致的模型的變化睁枕，刻畫了數(shù)據(jù)擾動(dòng)的影響官边。例如一個(gè)二次項(xiàng)回歸，拿更高次去擬合外遇，在當(dāng)前樣本內(nèi)可以擬合的很好注簿，但換一個(gè)同分布的數(shù)據(jù)集，結(jié)果就會(huì)變得很差跳仿，因?yàn)檫^(guò)擬合了诡渴。
（3）噪聲刻畫了泛化誤差的下界，這個(gè)比較好理解菲语。
所以要取得好的泛化性能妄辩， 需要較小的偏差與較小的方差。（欠擬合是太大的偏差山上，過(guò)擬合是太大的方差）
下一篇開(kāi)始眼耀，會(huì)介紹集成學(xué)習(xí)， 將很多基模型組合成一個(gè)模型佩憾，可以很好的提升模型的性能哮伟。
