一、 分類器評(píng)估指標(biāo)：準(zhǔn)確率行贪、查準(zhǔn)率和查全率

在介紹ROC曲線之前漾稀，很有必要介紹一下準(zhǔn)確率、查準(zhǔn)率（精確率）和查全率（召回率）的概念建瘫。
針對(duì)一個(gè)二分類問(wèn)題崭捍，將樣例分成正例(postive)或者負(fù)例(negative)，那么實(shí)際分類時(shí)啰脚，會(huì)出現(xiàn)四種情況：
(1)若一個(gè)樣例是正例且被預(yù)測(cè)為正例殷蛇，即為真正例(True Postive TP)
(2)若一個(gè)樣例是正例，但被預(yù)測(cè)成為負(fù)例拣播，即為假負(fù)例(False Negative FN)
(3)若一個(gè)樣例是負(fù)例晾咪，但被預(yù)測(cè)成為正例收擦，即為假正例(False Postive FP)
(4)若一個(gè)樣例是負(fù)例且被預(yù)測(cè)成為負(fù)例贮配，即為真負(fù)例(True Negative TN)
列聯(lián)表如下，1代表正例塞赂，0代表負(fù)例：

圖1 分類結(jié)果混淆矩陣

那么泪勒，
準(zhǔn)確率的定義是分類正確的樣本數(shù)占樣本總數(shù)的比例。定義公式如下：

圖2 準(zhǔn)確率計(jì)算公式

查準(zhǔn)率（精確率）是指分類正確的正樣本個(gè)數(shù)占分類器判定為正樣本的樣本個(gè)數(shù)的比例.

圖3 查準(zhǔn)率計(jì)算公式

查全率（召回率）是指分類正確的正樣本個(gè)數(shù)占真正的正樣本個(gè)數(shù)的比例.

圖4 查全率計(jì)算公式

二宴猾、 ROC曲線的由來(lái)

很多學(xué)習(xí)器是為測(cè)試樣本產(chǎn)生一個(gè)實(shí)值或概率預(yù)測(cè)圆存，然后將這個(gè)預(yù)測(cè)值與一個(gè)分類閾值進(jìn)行比較，若大于閾值則分為正類仇哆，否則為反類沦辙。例如，神經(jīng)網(wǎng)絡(luò)在一般情形下是對(duì)每個(gè)測(cè)試樣本預(yù)測(cè)出一個(gè)[0.0讹剔，1.0]之間的實(shí)值油讯，然后將這個(gè)值與閾值0.5進(jìn)行比較详民，大于0.5則判為正例，否則為反例陌兑。這個(gè)閾值設(shè)置的好壞沈跨，直接決定了學(xué)習(xí)器的泛化能力。

在不同的應(yīng)用任務(wù)中兔综，我們可根據(jù)任務(wù)需求來(lái)采用不同的閾值饿凛。例如，若我們更重視“查準(zhǔn)率”软驰，則可以把閾值設(shè)置的大一些涧窒，讓分類器的預(yù)測(cè)結(jié)果更有把握；若我們更重視“查全率”锭亏，則可以把閾值設(shè)置的小一些杀狡，讓分類器預(yù)測(cè)出更多的正例。因此贰镣，閾值設(shè)置的好壞呜象，體現(xiàn)了綜合考慮學(xué)習(xí)器在不同任務(wù)下的泛化性能的好壞。為了形象的描述這一變化碑隆，在此引入ROC曲線恭陡，ROC曲線則是從閾值選取角度出發(fā)來(lái)研究學(xué)習(xí)器泛化性能的有力工具。

三上煤、 什么是ROC曲線

ROC全稱是“受試者工作特征”(Receiver OperatingCharacteristic)曲線休玩。我們根據(jù)學(xué)習(xí)器的預(yù)測(cè)結(jié)果，把閾值從0變到最大劫狠，即剛開始是把每個(gè)樣本作為正例進(jìn)行預(yù)測(cè)拴疤，隨著閾值的增大，學(xué)習(xí)器預(yù)測(cè)正樣例數(shù)越來(lái)越少独泞，直到最后沒(méi)有一個(gè)樣本是正樣例呐矾。在這一過(guò)程中，每次計(jì)算出兩個(gè)重要量的值懦砂，分別以它們?yōu)闄M蜒犯、縱坐標(biāo)作圖，就得到了“ROC曲線”荞膘。

ROC曲線的縱軸是“真正例率”(True Positive Rate, 簡(jiǎn)稱TPR)罚随，是指正確預(yù)測(cè)為正例的樣本占所有正例的比例；橫軸是“假正例率”(False Positive Rate,簡(jiǎn)稱FPR)羽资，是指錯(cuò)誤預(yù)測(cè)為正例的樣本（即本來(lái)是負(fù)例的樣本）占所有負(fù)例的比例淘菩。基于第一節(jié)的定義，兩者分別定義為：

圖5 ROC坐標(biāo)軸計(jì)算公式

在一個(gè)二分類模型中屠升，對(duì)于所得到的連續(xù)結(jié)果潮改，假設(shè)已確定一個(gè)閥值费奸，比如說(shuō) 0.6，大于這個(gè)值的實(shí)例劃歸為正類进陡，小于這個(gè)值則劃到負(fù)類中愿阐。如果減小閥值，減到0.5趾疚，固然能識(shí)別出更多的正類缨历，也就是提高了識(shí)別出的正例占所有正例 的比類，即TPR,但同時(shí)也將更多的負(fù)實(shí)例當(dāng)作了正實(shí)例糙麦，即提高了FPR辛孵。為了形象化這一變化，在此引入ROC赡磅，ROC曲線可以用于評(píng)價(jià)一個(gè)分類器魄缚。

圖6 ROC曲線和它相關(guān)的比率

(a)理想情況下，TPR應(yīng)該接近1焚廊，F(xiàn)PR應(yīng)該接近0冶匹。

ROC曲線上的每一個(gè)點(diǎn)對(duì)應(yīng)于一個(gè)threshold，對(duì)于一個(gè)分類器咆瘟，每個(gè)threshold下會(huì)有一個(gè)TPR和FPR嚼隘。

比如Threshold最大時(shí)，TP=FP=0袒餐，對(duì)應(yīng)于原點(diǎn)飞蛹；Threshold最小時(shí)，TN=FN=0灸眼，對(duì)應(yīng)于右上角的點(diǎn)(1,1)

(b)隨著閾值theta增加卧檐，TP和FP都減小，TPR和FPR也減小焰宣，ROC點(diǎn)向左下移動(dòng)霉囚；

現(xiàn)實(shí)任務(wù)中通常是利用有限個(gè)測(cè)試樣例來(lái)繪制ROC圖，此時(shí)僅能獲得有限個(gè)(真正例率宛徊，假正例率)坐標(biāo)對(duì)佛嬉，無(wú)法產(chǎn)生圖1中的光滑ROC曲線，只能繪制出圖7所示的近似ROC曲線闸天。

圖7 利用scikitplot畫的ROC曲線與AUC面積

四、 如何畫roc曲線

假設(shè)已經(jīng)得出一系列樣本被劃分為正類的概率斜做，然后按照大小排序苞氮，下圖是一個(gè)示例，圖中共有20個(gè)測(cè)試樣本瓤逼，“Class”一欄表示每個(gè)測(cè)試樣本真正的標(biāo)簽（p表示正樣本笼吟，n表示負(fù)樣本）库物，“Score”表示每個(gè)測(cè)試樣本屬于正樣本的概率。

圖8

接下來(lái)贷帮，我們從高到低戚揭，依次將“Score”值作為閾值threshold，當(dāng)測(cè)試樣本屬于正樣本的概率大于或等于這個(gè)threshold時(shí)撵枢，我們認(rèn)為它為正樣本民晒，否則為負(fù)樣本。舉例來(lái)說(shuō)锄禽，對(duì)于圖中的第4個(gè)樣本潜必，其“Score”值為0.6，那么樣本1沃但，2磁滚，3，4都被認(rèn)為是正樣本宵晚，因?yàn)樗鼈兊摹癝core”值都大于等于0.6垂攘，而其他樣本則都認(rèn)為是負(fù)樣本。每次選取一個(gè)不同的threshold淤刃，我們就可以得到一組FPR和TPR搜贤，即ROC曲線上的一點(diǎn)。這樣一來(lái)钝凶，我們一共得到了20組FPR和TPR的值仪芒，將它們畫在ROC曲線的結(jié)果如下圖：

圖9

五、 ROC曲線的意義

（1）主要作用

1. ROC曲線能很容易的查出任意閾值對(duì)學(xué)習(xí)器的泛化性能影響耕陷。

2.有助于選擇最佳的閾值掂名。ROC曲線越靠近左上角，模型的查全率就越高哟沫。最靠近左上角的ROC曲線上的點(diǎn)是分類錯(cuò)誤最少的最好閾值饺蔑，其假正例和假反例總數(shù)最少。

3.可以對(duì)不同的學(xué)習(xí)器比較性能嗜诀。將各個(gè)學(xué)習(xí)器的ROC曲線繪制到同一坐標(biāo)中猾警，直觀地鑒別優(yōu)劣，靠近左上角的ROC曲所代表的學(xué)習(xí)器準(zhǔn)確性最高隆敢。

（2）優(yōu)點(diǎn)

1. 該方法簡(jiǎn)單发皿、直觀、通過(guò)圖示可觀察分析方法的準(zhǔn)確性拂蝎，并可用肉眼作出判斷穴墅。ROC曲線將真正例率和假正例率以圖示方法結(jié)合在一起，可準(zhǔn)確反映某種學(xué)習(xí)器真正例率和假正例率的關(guān)系，是檢測(cè)準(zhǔn)確性的綜合代表玄货。

2. 在生物信息學(xué)上的優(yōu)點(diǎn)：ROC曲線不固定閾值皇钞，允許中間狀態(tài)的存在，利于使用者結(jié)合專業(yè)知識(shí)松捉，權(quán)衡漏診與誤診的影響夹界，選擇一個(gè)更加的閾值作為診斷參考值。

六隘世、 AUC面積的由來(lái)

如果兩條ROC曲線沒(méi)有相交可柿，我們可以根據(jù)哪條曲線最靠近左上角哪條曲線代表的學(xué)習(xí)器性能就最好。但是以舒，實(shí)際任務(wù)中趾痘，情況很復(fù)雜，如果兩條ROC曲線發(fā)生了交叉蔓钟，則很難一般性地?cái)嘌哉l(shuí)優(yōu)誰(shuí)劣永票。在很多實(shí)際應(yīng)用中，我們往往希望把學(xué)習(xí)器性能分出個(gè)高低來(lái)滥沫。在此引入AUC面積侣集。

在進(jìn)行學(xué)習(xí)器的比較時(shí)，若一個(gè)學(xué)習(xí)器的ROC曲線被另一個(gè)學(xué)習(xí)器的曲線完全“包住”兰绣，則可斷言后者的性能優(yōu)于前者世分；若兩個(gè)學(xué)習(xí)器的ROC曲線發(fā)生交叉，則難以一般性的斷言兩者孰優(yōu)孰劣缀辩。此時(shí)如果一定要進(jìn)行比較臭埋，則比較合理的判斷依據(jù)是比較ROC曲線下的面積，即AUC(Area Under ROC Curve)臀玄，如圖7所示瓢阴。

七、 AUC面積的意義

AUC是衡量二分類模型優(yōu)劣的一種評(píng)價(jià)指標(biāo)健无，表示預(yù)測(cè)的正例排在負(fù)例前面的概率荣恐。

看到這里，是不是很疑惑累贤，根據(jù)AUC定義和計(jì)算方法叠穆，怎么和預(yù)測(cè)的正例排在負(fù)例前面的概率扯上聯(lián)系呢？如果從定義和計(jì)算方法來(lái)理解AUC的含義臼膏，比較困難硼被，實(shí)際上AUC和Mann-WhitneyU test(曼-慧特尼U檢驗(yàn))有密切的聯(lián)系。從Mann-Whitney U statistic的角度來(lái)解釋讶请，AUC就是從所有正樣本中隨機(jī)選擇一個(gè)樣本祷嘶，從所有負(fù)樣本中隨機(jī)選擇一個(gè)樣本屎媳，然后根據(jù)你的學(xué)習(xí)器對(duì)兩個(gè)隨機(jī)樣本進(jìn)行預(yù)測(cè)夺溢，把正樣本預(yù)測(cè)為正例的概率p1论巍，把負(fù)樣本預(yù)測(cè)為正例的概率p2，p1>p2的概率就等于AUC风响。所以AUC反映的是分類器對(duì)樣本的排序能力嘉汰。根據(jù)這個(gè)解釋，如果我們完全隨機(jī)的對(duì)樣本分類状勤，那么AUC應(yīng)該接近0.5鞋怀。

另外值得注意的是，AUC的計(jì)算方法同時(shí)考慮了學(xué)習(xí)器對(duì)于正例和負(fù)例的分類能力持搜，在樣本不平衡的情況下密似，依然能夠?qū)Ψ诸惼髯龀龊侠淼脑u(píng)價(jià)。AUC對(duì)樣本類別是否均衡并不敏感葫盼，這也是不均衡樣本通常用AUC評(píng)價(jià)學(xué)習(xí)器性能的一個(gè)原因残腌。例如在癌癥預(yù)測(cè)的場(chǎng)景中，假設(shè)沒(méi)有患癌癥的樣本為正例贫导，患癌癥樣本為負(fù)例抛猫，負(fù)例占比很少(大概0.1%)，如果使用準(zhǔn)確率評(píng)估孩灯，把所有的樣本預(yù)測(cè)為正例便可以獲得99.9%的準(zhǔn)確率闺金。但是如果使用AUC，把所有樣本預(yù)測(cè)為正例峰档，TPR為1败匹，F(xiàn)PR為1。這種情況下學(xué)習(xí)器的AUC值將等于0.5讥巡，成功規(guī)避了樣本不均衡帶來(lái)的問(wèn)題掀亩。

參考：
————————————————
CSDN博主「Microstrong0305」ROC曲線和AUC面積理解
原文鏈接：https://blog.csdn.net/program_developer/article/details/79946787
————————————————
CSDN博主「Rachel-Zhang」ROC曲線-閾值評(píng)價(jià)標(biāo)準(zhǔn)
原文鏈接：https://blog.csdn.net/abcjennifer/article/details/7359370