1 混淆矩陣
準(zhǔn)確率對于分類器的性能分析來說念祭，并不是一個很好地衡量指標(biāo)，因為如果數(shù)據(jù)集不平衡（每一類的數(shù)據(jù)樣本數(shù)量相差太大）绷蹲，很可能會出現(xiàn)誤導(dǎo)性的結(jié)果棒卷。例如，如果在一個數(shù)據(jù)集中有95只貓祝钢，但是只有5條狗诅挑，那么某些分類器很可能偏向于將所有的樣本預(yù)測成貓棺滞。整體準(zhǔn)確率為95%，但是實際上該分類器對貓的識別率是100%，而對狗的識別率是0%扇雕。所以我們先引入一個概念腿椎，混淆矩陣 參考文檔思灌，我們直接看一個例子照激。
1.2 多分類的例子
假設(shè)有一個用來對貓（cats）、狗（dogs）铃拇、兔子（rabbits）進行分類的系統(tǒng)钞瀑，混淆矩陣就是為了進一步分析性能而對該算法測試結(jié)果做出的總結(jié)。假設(shè)總共有 27 只動物：8只貓慷荔， 6條狗雕什， 13只兔子。結(jié)果的混淆矩陣如下圖：
在這個混淆矩陣中显晶，實際有 8只貓贷岸，但是系統(tǒng)將其中3只預(yù)測成了狗；對于 6條狗磷雇，其中有 1條被預(yù)測成了兔子偿警，2條被預(yù)測成了貓。從混淆矩陣中我們可以看出系統(tǒng)對于區(qū)分貓和狗存在一些問題唯笙，但是區(qū)分兔子和其他動物的效果還是不錯的螟蒸。所有正確的預(yù)測結(jié)果都在對角線上，所以從混淆矩陣中可以很方便直觀的看出哪里有錯誤崩掘，因為他們呈現(xiàn)在對角線外面七嫌。
混淆矩陣是用來總結(jié)一個分類器結(jié)果的矩陣。對于k元分類呢堰，其實它就是一個k x k的表格，用來記錄分類器的預(yù)測結(jié)果凡泣，對于最常見的二分類來說枉疼，它的混淆矩陣是2乘2的皮假。本次主要也是使用二分類來進行分析。
2.2 二分類的例子
我們先看一個圖
再對比下我們的0-1預(yù)測：
| 預(yù)測值=1 | 預(yù)測值=0 | |
|---|---|---|
| 真實值=1 | True Positive(TP) | False Negative(FN) |
| 真實值=0 | False Positive (FP) | True Negative(TN) |
各類定義：
真陽性（True Positive骂维，TP）：樣本的真實類別是正例惹资，并且模型預(yù)測的結(jié)果也是正例
真陰性（True Negative，TN）：樣本的真實類別是負(fù)例航闺，并且模型將其預(yù)測成為負(fù)例
假陽性（False Positive褪测，F(xiàn)P）：樣本的真實類別是負(fù)例，但是模型將其預(yù)測成為正例
假陰性（False Negative潦刃，F(xiàn)N）：樣本的真實類別是正例侮措，但是模型將其預(yù)測成為負(fù)例
混淆矩陣延伸出的各個評價指標(biāo)：
準(zhǔn)確度(Accuracy) = (TP+TN) / (TP+TN+FN+TN)
正確率(Precision) = TP / (TP + FP)
真陽性率(True Positive Rate，TPR)乖杠，靈敏度(Sensitivity)分扎，召回率(Recall) = TP / (TP + FN)
真陰性率(True Negative Rate，TNR)胧洒，特異度(Specificity) = TN / (TN + FP)
假陰性率(False Negatice Rate畏吓，F(xiàn)NR)，漏診率( = 1 - 靈敏度) = FN / (TP + FN) = 1 - TPR
假陽性率(False Positice Rate卫漫，F(xiàn)PR)菲饼，誤診率( = 1 - 特異度) = FP / (FP + TN) = 1 - TNR
F1-值(F1-score) = 2 * TP / (2 * TP+FP+FN)
2.3 二分類真實數(shù)值計算
| 預(yù)測值=1 | 預(yù)測值=0 | |
|---|---|---|
| 真實值=1 | 5 | 2 |
| 真實值=0 | 4 | 4 |
在上面例子中各項評價指標(biāo)的計算
- 準(zhǔn)確度(Accuracy) = (TP+TN) / (TP+TN+FN+TN)， 準(zhǔn)確度 = (5+4) / 15 = 0.6
- 正確率(Precision) = TP / (TP + FP)列赎，精度 = 5 / (5+4) = 0.556
- 真陽性率(True Positive Rate宏悦，TPR)，靈敏度(Sensitivity)粥谬，召回率(Recall) = TP / (TP + FN)肛根， 召回 = 5 / (5+2) = 0.714
- 真陰性率(True Negative Rate，TNR)漏策，特異度(Specificity) = TN / (TN + FP)派哲， 特異度 = 4 / (4+2) = 0.667
- 假陰性率(False Negatice Rate，F(xiàn)NR)掺喻，漏診率( = 1 - 靈敏度) = FN / (TP + FN) = 1 - TPR芭届， 特異度 = 2 / (5+2) = 0.286
- 假陽性率(False Positice Rate，F(xiàn)PR)感耙，誤診率( = 1 - 特異度) = FP / (FP + TN) = 1 - TNR 特異度 = 2 / (4+2) = 0.333
- F1-值(F1-score) = 2 * TP / (2 * TP+FP+FN)褂乍， F1-值 = 2 * 5 / (2 * 5+4+2) = 0.625
