之前有篇文章返修的時候審稿人就問了這樣一個問題：為什么使用ROC曲線而不考慮PR曲線见转，有沒有嘗試過其它方法進行分類診斷？于是就有了今天總結的內容蒜哀。

1.ROC診斷曲線

背景

ROC的全稱是“受試者工作特征”（Receiver Operating Characteristic）曲線斩箫，首先是由二戰(zhàn)中的電子工程師和雷達工程師發(fā)明的，用來偵測戰(zhàn)場上的敵軍載具（飛機撵儿、船艦）乘客，也就是信號檢測理論。之后很快就被引入了心理學來進行信號的知覺檢測淀歇。此后被引入機器學習領域易核，用來評判分類、檢測結果的好壞浪默。因此牡直，ROC曲線是非常重要和常見的統(tǒng)計分析方法。

定義

ROC能衡量某種診斷方法對疾病的識別能力纳决，是確定診斷試驗標準（即區(qū)分正常和異常的界值）的重要手段碰逸。接受者操作特性曲線就是以假陽性概率（False positive rate）為橫軸，擊中概率為縱軸所組成的坐標圖阔加，和被試在特定刺激條件下由于采用不同的判斷標準得出的不同結果畫出的曲線饵史。

主要用途

1.ROC曲線能很容易地查出任意界限值時的對性能的識別能力。
2.選擇最佳的診斷界限值胜榔。ROC曲線越靠近左上角,試驗的準確性就越高胳喷。最靠近左上角的ROC曲線的點是錯誤最少的最好閾值，其假陽性和假陰性的總數(shù)最少夭织。
3.兩種或兩種以上不同診斷試驗對算法性能的比較吭露。在對同一種算法的兩種或兩種以上診斷方法進行比較時，可將各試驗的ROC曲線繪制到同一坐標中尊惰，以直觀地鑒別優(yōu)劣奴饮，靠近左上角的ROC曲線所代表的受試者工作最準確纬向。亦可通過分別計算各個試驗的ROC曲線下的面積(AUC)進行比較，哪一種試驗的 AUC最大戴卜，則哪一種試驗的診斷價值最佳逾条。

優(yōu)點

該方法簡單、直觀投剥，通過圖示可觀察分析方法的準確性师脂，并可用肉眼作出判斷。ROC曲線將靈敏度與特異性以圖示方法結合在一起江锨，可準確反映某分析方法特異性和敏感性的關系吃警，是試驗準確性的綜合代表。ROC曲線不固定分類界值啄育，允許中間狀態(tài)存在酌心，利于使用者結合專業(yè)知識，權衡漏診與誤診的影響挑豌，選擇一更佳截斷點作為診斷參考值安券。提供不同試驗之間在共同標尺下的直觀的比較，ROC曲線越凸越近左上角表明其診斷價值越大氓英，利于不同指標間的比較侯勉。曲線下面積可評價診斷準確性

基本概念

橫坐標：1-Specificity，1-特異性铝阐，偽正類率(False positive rate址貌， FPR)，預測為正但實際為負的樣本占所有負例樣本的比例徘键，X軸越接近零準確率越高练对；
縱坐標：Sensitivity，真正類率(True positive rate吹害， TPR)螟凭，預測為正且實際為正的樣本占所有正例樣本的比例，Y軸越大代表準確率越好赠制。
TPR和FPR：TPR（敏感度，真陽性率）：在所有實際為陽性的樣本中挟憔，被正確地判斷為陽性之比率：TPR=TP/(TP+FN)钟些；FPR（1-特異性，假陽性率）：在所有實際為陰性的樣本中绊谭，被錯誤地判斷為陽性之比率：FPR=FP/(FP+TN)政恍。四個指標，分別為：真陽（TP）达传、偽陽（FP）篙耗、偽陰（FN）迫筑、真陰（TN）。
AUC(Area Under Curve)被定義為ROC曲線下與坐標軸圍成的面積宗弯，顯然這個面積的數(shù)值不會大于1脯燃。又由于ROC曲線一般都處于y=x這條直線的上方，所以AUC的取值范圍在0.5和1之間蒙保。AUC越接近1.0辕棚，檢測方法真實性越高;等于0.5時，則真實性最低邓厕，無應用價值逝嚎。
在AUC＞0.5的情況下，AUC越接近于1详恼，說明診斷效果越好补君；AUC在0.5～0.7時有較低準確性，AUC在0.7～0.9時有一定準確性昧互，AUC在0.9以上時有較高準確性挽铁。

優(yōu)點：兼顧正例和負例的權衡。因為TPR聚焦于正例硅堆，F(xiàn)PR聚焦于與負例屿储，使其成為一個比較均衡的評估方法。
ROC曲線選用的兩個指標渐逃， TPR和FPR够掠，都不依賴于具體的類別分布。
缺點：ROC曲線的優(yōu)點是不會隨著類別分布的改變而改變茄菊，但這在某種程度上也是其缺點疯潭。因為負例N增加了很多，而曲線卻沒變面殖，這等于產(chǎn)生了大量FP竖哩。像信息檢索中如果主要關心正例的預測準確性的話，這就不可接受了脊僚。在類別不平衡的背景下相叁，負例的數(shù)目眾多致使FPR的增長不明顯，導致ROC曲線呈現(xiàn)一個過分樂觀的效果估計辽幌。ROC曲線的橫軸采用FPR增淹，根據(jù)公式 ，當負例N的數(shù)量遠超正例P時乌企，F(xiàn)P的大幅增長只能換來FPR的微小改變虑润。結果是雖然大量負例被錯判成正例，在ROC曲線上卻無法直觀地看出來加酵。（當然也可以只分析ROC曲線左邊一小段）

2.P-R曲線

P-R曲線刻畫查準率和查全率之間的關系拳喻，查準率指的是在所有預測為正例的數(shù)據(jù)中哭当，真正例所占的比例，查全率是指預測為真正例的數(shù)據(jù)占所有正例數(shù)據(jù)的比例冗澈。
即：查準率P=TP／(TP + FP) 查全率=TP／（TP+FN）
查準率和查全率是一對矛盾的度量钦勘，一般來說，查準率高時渗柿，查全率往往偏低个盆，查全率高時，查準率往往偏低朵栖，例如颊亮，若希望將好瓜盡可能多選出來，則可通過增加選瓜的數(shù)量來實現(xiàn)陨溅，如果希望將所有的西瓜都選上终惑，那么所有的好瓜必然都被選上了，但這樣查準率就會較低门扇；若希望選出的瓜中好瓜比例盡可能高雹有，則可只挑選最有把握的瓜，但這樣就難免會漏掉不少好瓜臼寄，使得查全率較低霸奕。

PR曲線與ROC曲線的相同點是都采用了TPR (Recall)，都可以用AUC來衡量分類器的效果吉拳。不同點是ROC曲線使用了FPR质帅，而PR曲線使用了Precision，因此PR曲線的兩個指標都聚焦于正例留攒。類別不平衡問題中由于主要關心正例煤惩，所以在此情況下PR曲線被廣泛認為優(yōu)于ROC曲線。

使用場景

1.ROC曲線由于兼顧正例與負例炼邀，所以適用于評估分類器的整體性能魄揉，相比而言PR曲線完全聚焦于正例。
2.如果有多份數(shù)據(jù)且存在不同的類別分布拭宁，比如信用卡欺詐問題中每個月正例和負例的比例可能都不相同洛退，這時候如果只想單純地比較分類器的性能且剔除類別分布改變的影響，則ROC曲線比較適合杰标，因為類別分布改變可能使得PR曲線發(fā)生變化時好時壞兵怯，這種時候難以進行模型比較；反之在旱，如果想測試不同類別分布下對分類器的性能的影響摇零，則PR曲線比較適合推掸。
3.如果想要評估在相同的類別分布下正例的預測情況桶蝎，則宜選PR曲線驻仅。
4.類別不平衡問題中，ROC曲線通常會給出一個樂觀的效果估計登渣，所以大部分時候還是PR曲線更好噪服。
5.最后可以根據(jù)具體的應用，在曲線上找到最優(yōu)的點胜茧，得到相對應的precision粘优，recall，f1 score等指標呻顽，去調整模型的閾值雹顺，從而得到一個符合具體應用的模型。

作者：解琪琪廊遍；袁文華
鏈接：http://www.reibang.com/u/bcb81276c29d
來源：簡書
參考學習資源：全面理解ROC
機器學習基礎（1）- ROC曲線理解
AUC嬉愧，ROC我看到的最透徹的講解
機器學習之分類性能度量指標 : ROC曲線、AUC值喉前、正確率没酣、召回率
ROC Analysis: Key Statistical Tool for Evaluating Detection Technologies
Advantages of ROC curves
為什么ROC曲線不受樣本不均衡問題的影響
二戰(zhàn)周志華《機器學習》-PR曲線和ROC曲線
深度學習面試題解答
簡書著作權歸作者所有，任何形式的轉載都請聯(lián)系作者獲得授權并注明出處卵迂。