| Class | Content |
|---|---|
| layout | post |
| title | 機(jī)器學(xué)習(xí)中的性能度量指標(biāo)匯總 |
| categories | Blog |
| description | 對(duì)機(jī)器學(xué)習(xí)中常用的度量模型的指標(biāo)進(jìn)行匯總，并對(duì)其附上代碼便于以后使用 |
| keywords | 錯(cuò)誤率和精度仰坦、查準(zhǔn)率、查全率、F值盼铁、ROC和AUC |
前言
在機(jī)器學(xué)習(xí)中要考察選擇模型的優(yōu)劣，需要對(duì)模型的泛化能力進(jìn)行評(píng)估尝偎，這就是性能度量饶火。本篇文章主要介紹分類、回歸以及聚類中的性能度量以及編寫代碼以便于以后使用致扯。
分類任務(wù)常用的性能度量
1. 錯(cuò)誤率和精度
顧名思義肤寝，錯(cuò)誤率是指分類錯(cuò)誤的樣本占總樣本的比例，精度則是分類正確的樣本占樣本總數(shù)的比例
錯(cuò)誤率表示為：精度表示為：
其中
為指示函數(shù)抖僵，滿足要求則為1鲤看，不滿足為0，且
更一般的,對(duì)于數(shù)據(jù)分布和概率密度
錯(cuò)誤率表示為：精度表示為：
實(shí)現(xiàn)代碼:-
2. 召回率Recall耍群、準(zhǔn)確率Precision义桂、F值
單純靠錯(cuò)誤率和精度衡量模型的是遠(yuǎn)遠(yuǎn)不夠的，在分類中常用Recall蹈垢、Precision以及F值去度量模型慷吊，如下圖二分類混淆矩陣，將召回率和準(zhǔn)確率以及F值定義如下：
圖1. 二分類混淆矩陣
Precision表示為：
Recall表示為：
F值是召回率和準(zhǔn)確率的調(diào)和平均值曹抬，表示為：即F值表示為：
下圖是樣本總體上的查全率溉瓶、查準(zhǔn)率，當(dāng)前一個(gè)學(xué)習(xí)器的P-R曲線被另外的學(xué)習(xí)器完全包住時(shí)谤民，則說明后一個(gè)學(xué)習(xí)器性能更優(yōu)堰酿，如果發(fā)生交叉，則不能斷言赖临。
PR曲線
平衡點(diǎn)（BEP）即查全率=查準(zhǔn)率時(shí)胞锰。平衡點(diǎn)相對(duì)更為簡(jiǎn)單，所以使用F1值或者加權(quán)調(diào)和平均兢榨。
加權(quán)調(diào)和平均定義為：
標(biāo)準(zhǔn)F1,
查全率有更大影響,
查準(zhǔn)率有更大影響
補(bǔ)充：
在n個(gè)二分類混淆矩陣上綜合考察查全率查準(zhǔn)率有兩種方式：
1嗅榕。宏查準(zhǔn)率、宏查全率吵聪、宏F1
先在各混淆矩陣上分別計(jì)算出查準(zhǔn)率和查全率記為
2凌那。微查準(zhǔn)率、微查全率吟逝、微F1
將各個(gè)混淆矩陣的對(duì)應(yīng)元素進(jìn)行平均帽蝶，得到的平均值
，再計(jì)算微查全率块攒、微查準(zhǔn)率和微F1励稳。
-
3. ROU與AUC
ROU(Receiver Operating Characteristic佃乘，受試者工作特征)
很多學(xué)習(xí)器是為了測(cè)試樣本產(chǎn)生一個(gè)實(shí)值或概率預(yù)測(cè)，然后將這個(gè)預(yù)測(cè)值與分類器閾值比較驹尼，大于閾值則分為正類趣避，否則為反類。在不同的分類任務(wù)中新翎，根據(jù)需求采取不同的閾值程帕，對(duì)所有測(cè)試樣本進(jìn)行排序，采用不同的截?cái)帱c(diǎn)(就是閾值)地啰，例如更重視查準(zhǔn)率愁拭，排序位置靠前截?cái)啵匾暡闇?zhǔn)率亏吝，排序位置靠后截?cái)唷?br> ROC曲線的縱軸是“真正例率”（TPR）也稱為靈敏度岭埠，橫軸是“假正例率”（FPR）也稱為1-特異度
ROC曲線與AUC示意圖
與PR曲線相似，如果ROC曲線完全被另外學(xué)習(xí)器的曲線包住顺呕，則另外學(xué)習(xí)器的性能更優(yōu)枫攀，如果交叉則不能判定括饶。如果需要繼續(xù)進(jìn)行比較株茶，可以使用曲線下的面積，即AUC（Area Under ROC Curve）
ROC曲線的優(yōu)點(diǎn)是能夠盡量降低不同測(cè)試集帶來的干擾图焰，更加客觀地衡量模型本身的性能
PR曲線與ROC的使用場(chǎng)合：
如果沒有數(shù)據(jù)不均衡,傾向于用ROC启盛；
如正樣本遠(yuǎn)小于負(fù)樣本，PR更敏感技羔，因?yàn)橛玫搅藀recision=(TP/(TP+FP))僵闯，所以應(yīng)該用PRC.
正樣本遠(yuǎn)大于負(fù)樣本，PRC和ROC差別不大藤滥，都不敏感
