本文結(jié)構(gòu)：
- 什么是 ROC勒叠？
- 怎么解讀 ROC 曲線兜挨？
- 如何畫 ROC 曲線膏孟？
- 代碼？
- 什么是 AUC拌汇？
- 代碼柒桑？
ROC 曲線和 AUC 常被用來評(píng)價(jià)一個(gè)二值分類器的優(yōu)劣。
先來看一下混淆矩陣中的各個(gè)元素噪舀，在后面會(huì)用到：
1. ROC ：
縱軸為 TPR 真正例率魁淳，預(yù)測為正且實(shí)際為正的樣本占所有正例樣本的比例。
橫軸為 FPR 假正例率与倡，預(yù)測為正但實(shí)際為負(fù)的樣本占所有負(fù)例樣本的比例界逛。
對(duì)角線對(duì)應(yīng)的是 “隨機(jī)猜想”
當(dāng)一個(gè)學(xué)習(xí)器的 ROC 曲線被另一個(gè)學(xué)習(xí)器的包住，那么后者性能優(yōu)于前者纺座。
有交叉時(shí)息拜，需要用 AUC 進(jìn)行比較。
2. 先看圖中的四個(gè)點(diǎn)和對(duì)角線：
- 第一個(gè)點(diǎn)净响，(0,1)少欺，即 FPR=0, TPR=1，這意味著 FN（false negative）=0别惦，并且FP（false positive）=0狈茉。這意味著分類器很完美，因?yàn)樗鼘⑺械臉颖径颊_分類掸掸。
- 第二個(gè)點(diǎn)氯庆，(1,0)，即 FPR=1扰付，TPR=0堤撵，這個(gè)分類器是最糟糕的，因?yàn)樗晒Ρ荛_了所有的正確答案羽莺。
- 第三個(gè)點(diǎn)实昨，(0,0)，即 FPR=TPR=0盐固，即 FP（false positive）=TP（true positive）=0荒给，此時(shí)分類器將所有的樣本都預(yù)測為負(fù)樣本（negative）。
- 第四個(gè)點(diǎn)（1,1）刁卜，分類器將所有的樣本都預(yù)測為正樣本志电。
- 對(duì)角線上的點(diǎn)表示分類器將一半的樣本猜測為正樣本，另外一半的樣本猜測為負(fù)樣本蛔趴。
因此挑辆，ROC 曲線越接近左上角，分類器的性能越好。
3. 如何畫 ROC 曲線
例如有如下 20 個(gè)樣本數(shù)據(jù)鱼蝉，Class 為真實(shí)分類洒嗤，Score 為分類器預(yù)測此樣本為正例的概率。
- 按 Score 從大到小排列
- 依次將每個(gè) Score 設(shè)定為閾值魁亦，然后這 20 個(gè)樣本的標(biāo)簽會(huì)變化渔隶，當(dāng)它的 score 大于或等于當(dāng)前閾值時(shí)，則為正樣本吉挣，否則為負(fù)樣本派撕。
- 這樣對(duì)每個(gè)閾值，可以計(jì)算一組 FPR 和 TPR睬魂，此例一共可以得到 20 組终吼。
- 當(dāng)閾值設(shè)置為 1 和 0 時(shí)， 可以得到 ROC 曲線上的 (0,0) 和 (1,1) 兩個(gè)點(diǎn)氯哮。
4. 代碼：
輸入 y 的真實(shí)標(biāo)簽际跪，還有 score，設(shè)定標(biāo)簽為 2 時(shí)是正例：
y = np.array([1, 1, 2, 2])
scores = np.array([0.1, 0.4, 0.35, 0.8])
fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)
就會(huì)得到相應(yīng)的 TPR, FPR, 截?cái)帱c(diǎn) ：
fpr = array([ 0. , 0.5, 0.5, 1. ])
tpr = array([ 0.5, 0.5, 1. , 1. ])
thresholds = array([ 0.8 , 0.4 , 0.35, 0.1 ])#截?cái)帱c(diǎn)
5. AUC：
是 ROC 曲線下的面積喉钢，它是一個(gè)數(shù)值姆打，當(dāng)僅僅看 ROC 曲線分辨不出哪個(gè)分類器的效果更好時(shí)，用這個(gè)數(shù)值來判斷肠虽。
The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example.
從上面定義可知幔戏，意思是隨機(jī)挑選一個(gè)正樣本和一個(gè)負(fù)樣本，當(dāng)前分類算法得到的 Score 將這個(gè)正樣本排在負(fù)樣本前面的概率就是 AUC 值税课。AUC 值是一個(gè)概率值闲延，AUC 值越大，分類算法越好韩玩。
6. 代碼：
import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
roc_auc_score(y_true, y_scores)
0.75
學(xué)習(xí)資料：
《機(jī)器學(xué)習(xí)》垒玲，周志華
http://alexkong.net/2013/06/introduction-to-auc-and-roc/
http://scikit-learn.org/stable/modules/generated/sklearn.metrics.roc_curve.html
推薦閱讀 歷史技術(shù)博文鏈接匯總
http://www.reibang.com/p/28f02bb59fe5
也許可以找到你想要的：
[入門問題][TensorFlow][深度學(xué)習(xí)][強(qiáng)化學(xué)習(xí)][神經(jīng)網(wǎng)絡(luò)][機(jī)器學(xué)習(xí)][自然語言處理][聊天機(jī)器人]
