文章作者：Tyan
博客：noahsnail.com ?|? CSDN ?|? 簡(jiǎn)書(shū)
1. 基本概念
1.1 ROC與AUC
ROC曲線(xiàn)和AUC常被用來(lái)評(píng)價(jià)一個(gè)二值分類(lèi)器（binary classifier）的優(yōu)劣，ROC曲線(xiàn)稱(chēng)為受試者工作特征曲線(xiàn) （receiver operating characteristic curve刀疙，簡(jiǎn)稱(chēng)ROC曲線(xiàn)）舶赔，又稱(chēng)為感受性曲線(xiàn)（sensitivity curve），AUC（Area Under Curve）是ROC曲線(xiàn)下的面積庙洼。在計(jì)算ROC曲線(xiàn)之前顿痪，首先要了解一些基本概念镊辕。在二元分類(lèi)模型的預(yù)測(cè)結(jié)果有四種，以判斷人是否有病為例：
- 真陽(yáng)性（TP）：診斷為有蚁袭，實(shí)際上也有病征懈。
- 偽陽(yáng)性（FP）：診斷為有，實(shí)際卻沒(méi)有病揩悄。
- 真陰性（TN）：診斷為沒(méi)有卖哎，實(shí)際上也沒(méi)有病。
- 偽陰性（FN）：診斷為沒(méi)有删性，實(shí)際卻有病亏娜。
其關(guān)系如下圖所示：
ROC空間將偽陽(yáng)性率（FPR）定義為X軸，真陽(yáng)性率（TPR）定義為Y軸巴帮。TPR：在所有實(shí)際為陽(yáng)性的樣本中溯泣，被正確地判斷為陽(yáng)性之比率， 榕茧。FPR：在所有實(shí)際為陰性的樣本中垃沦，被錯(cuò)誤地判斷為陽(yáng)性之比率，
用押。
1.2 Precision肢簿、Recall與F1
對(duì)于二分類(lèi)問(wèn)題另一個(gè)常用的評(píng)價(jià)指標(biāo)是精確率（precision）與召回率（recall）以及F1值。精確率表示在預(yù)測(cè)為陽(yáng)性的樣本中蜻拨，真正有陽(yáng)性的樣本所占的比例池充。精確率的定義為。召回率表示所有真正呈陽(yáng)性的樣本中官觅，預(yù)測(cè)為陽(yáng)性所占的比例纵菌。召回率的定義為
阐污，F(xiàn)1值是精確率和召回率的調(diào)和均值休涤，公式為
。精確率和召回率都高時(shí)笛辟，F(xiàn)1值也會(huì)高功氨。通常情況下，Precision與Recall是相互矛盾的手幢。
2. 曲線(xiàn)介紹
2.1 ROC曲線(xiàn)
ROC曲線(xiàn)坐標(biāo)系如下圖所示捷凄，虛線(xiàn)為隨機(jī)猜測(cè)的概率，即猜對(duì)跟猜錯(cuò)的概率是一樣的围来。理想情況下跺涤，我們是希望FPR為0匈睁，沒(méi)有一個(gè)假陽(yáng)性，TPR為1桶错，即全為真陽(yáng)性航唆，此時(shí)所有樣本都被正確分類(lèi)，點(diǎn)位于左上角(0,1)位置處院刁，沒(méi)有一個(gè)分錯(cuò)的數(shù)據(jù)糯钙，這是最完美的情況，實(shí)際情況中基本不可能退腥。如果點(diǎn)位于虛線(xiàn)下方任岸，例如C點(diǎn)，說(shuō)明分類(lèi)錯(cuò)誤的多狡刘，分類(lèi)正確的少享潜，此時(shí)不是我們想要的。如果點(diǎn)位于虛線(xiàn)上方嗅蔬，例如點(diǎn)米碰，說(shuō)明分類(lèi)錯(cuò)誤的少，分類(lèi)正確的多购城，此時(shí)是我們想要的吕座，因此我們希望ROC曲線(xiàn)盡可能的靠近左上角。對(duì)于一個(gè)特定的分類(lèi)器和測(cè)試數(shù)據(jù)集瘪板，只能得到一個(gè)分類(lèi)結(jié)果吴趴，即ROC曲線(xiàn)坐標(biāo)系中的一點(diǎn)，那么如何得到一條ROC曲線(xiàn)呢侮攀？分類(lèi)問(wèn)題中我們經(jīng)常會(huì)得到某個(gè)樣本是正樣本的概率锣枝，根據(jù)概率值與閾值的比較來(lái)判斷某個(gè)樣本是否是正樣本。在不同的閾值下可以得到不同的TPR和FPR值兰英，即可以得到一系列的點(diǎn)撇叁，將它們?cè)趫D中繪制出來(lái)，并依次連接起來(lái)就得到了ROC曲線(xiàn)畦贸，閾值取值越多陨闹，ROC曲線(xiàn)越平滑。
AUC為ROC曲線(xiàn)下的面積薄坏，它的面積不會(huì)大于1趋厉，由于ROC曲線(xiàn)一般都處于直線(xiàn)y=x的上方，因此AUC的取值范圍通常在(0.5胶坠，1)之間君账。由于ROC曲線(xiàn)不能很好的看出分類(lèi)器模型的好壞，因此采用AUC值來(lái)進(jìn)行分類(lèi)器模型的評(píng)估與比較沈善。通常AUC值越大乡数，分類(lèi)器性能越好椭蹄。
在基本概念中我們提到了精確率、召回率以及F1值净赴，既然有它們作為二分類(lèi)的評(píng)價(jià)指標(biāo)塑娇，為什么還要使用ROC和AUC呢？這是因?yàn)镽OC曲線(xiàn)有個(gè)很好的特性：當(dāng)測(cè)試集中的正負(fù)樣本分布發(fā)生變化時(shí)劫侧，即正負(fù)樣本數(shù)量相差較大時(shí)埋酬，ROC曲線(xiàn)仍能保持不變。實(shí)際數(shù)據(jù)集中經(jīng)常會(huì)出現(xiàn)樣本數(shù)量不平衡現(xiàn)象烧栋，并且測(cè)試數(shù)據(jù)中的正負(fù)樣本的分布也可能隨著時(shí)間發(fā)生變化写妥。下圖是兩個(gè)分類(lèi)器模型（算法）的ROC曲線(xiàn)比較圖：
2.2 P-R曲線(xiàn)
在P-R曲線(xiàn)中，Recall為橫坐標(biāo)审姓，Precision為縱坐標(biāo)珍特。在ROC曲線(xiàn)中曲線(xiàn)越凸向左上角約好，在P-R曲線(xiàn)中魔吐，曲線(xiàn)越凸向右上角越好扎筒。P-R曲線(xiàn)判斷模型的好壞要根據(jù)具體情況具體分析，有的項(xiàng)目要求召回率較高酬姆、有的項(xiàng)目要求精確率較高嗜桌。P-R曲線(xiàn)的繪制跟ROC曲線(xiàn)的繪制是一樣的，在不同的閾值下得到不同的Precision辞色、Recall骨宠，得到一系列的點(diǎn)，將它們?cè)赑-R圖中繪制出來(lái)相满，并依次連接起來(lái)就得到了P-R圖层亿。兩個(gè)分類(lèi)器模型（算法）P-R曲線(xiàn)比較的一個(gè)例子如下圖所示：
2.3 ROC與P-R對(duì)比
從公式計(jì)算中可以看出，ROC曲線(xiàn)中真陽(yáng)性率TPR的計(jì)算公式與P-R曲線(xiàn)中的召回率Recall計(jì)算公式是一樣的立美，即二者是同一個(gè)東西在不同環(huán)境下的不同叫法匿又。當(dāng)正負(fù)樣本差距不大的情況下，ROC曲線(xiàn)和P-R的趨勢(shì)是差不多的建蹄，但是當(dāng)負(fù)樣本很多的時(shí)候碌更，ROC曲線(xiàn)效果依然較好，但是P-R曲線(xiàn)效果一般躲撰。
