在信號(hào)檢測(cè)理論中趴泌，接收者操作特征曲線(receiver operating characteristic curve泄私，或者叫ROC曲線)是坐標(biāo)圖式的分析工具粥烁，用于 (1) 選擇最佳的信號(hào)偵測(cè)模型棚瘟、舍棄次佳的模型。 (2) 在同一模型中設(shè)定最佳閾值。
在做決策時(shí)俐末，ROC分析能不受成本／效益的影響料按，給出客觀中立的建議。
ROC曲線首先是由二戰(zhàn)中的電子工程師和雷達(dá)工程師發(fā)明的卓箫，用來偵測(cè)戰(zhàn)場(chǎng)上的敵軍載具(飛機(jī)载矿、船艦)，也就是信號(hào)檢測(cè)理論烹卒。之后很快就被引入了心理學(xué)來進(jìn)行信號(hào)的知覺檢測(cè)恢准。數(shù)十年來，ROC分析被用于醫(yī)學(xué)甫题、無線電、生物學(xué)涂召、犯罪心理學(xué)領(lǐng)域中坠非，而且最近在機(jī)器學(xué)習(xí)(machine learning)和數(shù)據(jù)挖掘(data mining)領(lǐng)域也得到了很好的發(fā)展。
術(shù)語
陽性 (P, positive)
陰性 (N, Negative)
真陽性 (TP, true positive) 正確的肯定果正。又稱：命中 (hit)
真陰性 (TN, true negative) 正確的否定炎码。又稱：正確拒絕 (correct rejection)
偽陽性 (FP, false positive) 錯(cuò)誤的肯定，又稱：假警報(bào) (false alarm)秋泳，第一型錯(cuò)誤
偽陰性 (FN, false negative) 錯(cuò)誤的否定潦闲，又稱：未命中 (miss)，第二型錯(cuò)誤
真陽性率 (TPR, true positive rate) 又稱：命中率 (hit rate)迫皱、敏感度(sensitivity)
TPR = TP / P = TP / (TP+FN)偽陽性率(FPR, false positive rate) 又稱：錯(cuò)誤命中率歉闰，假警報(bào)率 (false alarm rate) FPR = FP / N = FP / (FP + TN)
準(zhǔn)確度 (ACC, accuracy) ACC = (TP + TN) / (P + N) 即：(真陽性+真陰性) / 總樣本數(shù)
真陰性率 (TNR) 又稱：特異度 (SPC, specificity) SPC = TN / N = TN / (FP + TN) = 1 - FPR
陽性預(yù)測(cè)值 (PPV) PPV = TP / (TP + FP)
陰性預(yù)測(cè)值 (NPV) NPV = TN / (TN + FN) 假發(fā)現(xiàn)率 (FDR) FDR = FP / (FP + TP)
參考資料
- 討論qq群630011153 144081101
- 本文最新版本地址
- 本文涉及的python測(cè)試開發(fā)庫(kù) 謝謝點(diǎn)贊！
- 本文相關(guān)海量書籍下載
- 2018最佳人工智能機(jī)器學(xué)習(xí)工具書及下載(持續(xù)更新)
基本概念
分類模型(又稱分類器卓起，或診斷)將實(shí)例映射到特定類和敬。ROC分析的是二元分類模型，也就是輸出結(jié)果只有兩種類別的模型戏阅，例如：(陽性/陰性) (有病/沒病) (垃圾郵件/非垃圾郵件) (敵軍/非敵軍)昼弟。
當(dāng)訊號(hào)偵測(cè)(或變量測(cè)量)的結(jié)果是連續(xù)值時(shí)，類與類的邊界必須用閾值來界定奕筐。舉例來說舱痘，用血壓值來檢測(cè)一個(gè)人是否有高血壓，測(cè)出的血壓值是連續(xù)的實(shí)數(shù)（從0~200都有可能）离赫，以收縮壓140／舒張壓90為閾值芭逝，閾值以上便診斷為有高血壓，閾值未滿者診斷為無高血壓笆怠。二元分類模型的個(gè)案預(yù)測(cè)有四種結(jié)局：
真陽性(TP)：診斷為有铝耻，實(shí)際上也有高血壓。
偽陽性（FP）：診斷為有，實(shí)際卻沒有高血壓瓢捉。
真陰性（TN）：診斷為沒有频丘，實(shí)際上也沒有高血壓。
偽陰性（FN）：診斷為沒有泡态，實(shí)際卻有高血壓搂漠。
這四種結(jié)局可以畫成2 × 2的混淆矩陣
ROC空間
ROC空間將偽陽性率(FPR)定義為 X 軸，真陽性率(TPR)定義為 Y 軸某弦。
給定二元分類模型和它的閾值桐汤，就能從所有樣本的(陽性/陰性)真實(shí)值和預(yù)測(cè)值計(jì)算出(X=FPR, Y=TPR) 座標(biāo)點(diǎn)。
從 (0, 0) 到 (1,1) 的對(duì)角線將ROC空間劃分為左上/右下兩個(gè)區(qū)域靶壮，在這條線的以上的點(diǎn)代表了一個(gè)好的分類結(jié)果(勝過隨機(jī)分類)怔毛，而在這條線以下的點(diǎn)代表了差的分類結(jié)果(劣于隨機(jī)分類)。
完美的預(yù)測(cè)是在左上角的點(diǎn)腾降，在ROC空間座標(biāo) (0,1)點(diǎn)拣度，X=0 代表著沒有偽陽性，Y=1 代表著沒有偽陰性(所有的陽性都是真陽性)螃壤；也就是說抗果，不管分類器輸出結(jié)果是陽性或陰性，都是100%正確奸晴。一個(gè)隨機(jī)的預(yù)測(cè)會(huì)得到位于從 (0, 0) 到 (1, 1) 對(duì)角線(也叫無識(shí)別率線)上的一個(gè)點(diǎn)冤馏；最直觀的隨機(jī)預(yù)測(cè)的例子就是拋硬幣。
讓我們來看在實(shí)際有100個(gè)陽性和100個(gè)陰性的案例時(shí)寄啼，四種預(yù)測(cè)方法(可能是四種分類器逮光，或是同一分類器的四種閾值設(shè)定)的結(jié)果差異：
將這4種結(jié)果畫在ROC空間里：
點(diǎn)與隨機(jī)猜測(cè)線的距離，是預(yù)測(cè)力的指標(biāo)：離左上角越近的點(diǎn)預(yù)測(cè)(診斷)準(zhǔn)確率越高墩划。離右下角越近的點(diǎn)睦霎，預(yù)測(cè)越不準(zhǔn)。
在A走诞、B副女、C三者當(dāng)中，最好的結(jié)果是A方法蚣旱。
B方法的結(jié)果位于隨機(jī)猜測(cè)線(對(duì)角線)上碑幅，在例子中我們可以看到B的準(zhǔn)確度(ACC，定義見前面表格)是50%塞绿。
C雖然預(yù)測(cè)準(zhǔn)確度最差沟涨，甚至劣于隨機(jī)分類，也就是低于0.5(低于對(duì)角線)异吻。然而裹赴，當(dāng)將C以 (0.5, 0.5) 為中點(diǎn)作一個(gè)鏡像后喜庞，C'的結(jié)果甚至要比A還要好。這個(gè)作鏡像的方法棋返，簡(jiǎn)單說延都，不管C(或任何ROC點(diǎn)低于對(duì)角線的情況)預(yù)測(cè)了什么，就做相反的結(jié)論睛竣。
ROC曲線
上述ROC空間里的單點(diǎn)晰房，是給定分類模型且給定閾值后得出的。但同一個(gè)二元分類模型的閾值可能設(shè)定為高或低射沟，每種閾值的設(shè)定會(huì)得出不同的FPR和TPR殊者。
將同一模型每個(gè)閾值的(FPR, TPR)座標(biāo)都畫在ROC空間里，就成為特定模型的ROC曲線验夯。
例如右圖猖吴，人體的血液蛋白濃度是呈正態(tài)分布的連續(xù)變數(shù)，病人的分布是紅色挥转，平均值為A g/dL距误，健康人的分布是藍(lán)色，平均值是C g/dL扁位。健康檢查會(huì)測(cè)量血液樣本中的某種蛋白質(zhì)濃度，達(dá)到某個(gè)值(閾值趁俊，threshold)以上診斷為有疾病征兆域仇。研究者可以調(diào)整閾值的高低(將左上圖的B垂直線往左或右移動(dòng))，便會(huì)得出不同的偽陽性率與真陽性率寺擂，總之即得出不同的預(yù)測(cè)準(zhǔn)確率暇务。
由于每個(gè)不同的分類器(診斷工具、偵測(cè)工具)有各自的測(cè)量標(biāo)準(zhǔn)和測(cè)量值的單位(標(biāo)示為：“健康人－病人分布圖”的橫軸)怔软，所以不同分類器的“健康人－病人分布圖”都長(zhǎng)得不一樣垦细。
比較不同分類器時(shí)，ROC曲線的實(shí)際形狀挡逼，便視兩個(gè)實(shí)際分布的重疊范圍而定括改，沒有規(guī)律可循。
但在同一個(gè)分類器之內(nèi)家坎，閾值的不同設(shè)定對(duì)ROC曲線的影響嘱能，仍有一些規(guī)律可循：
當(dāng)閾值設(shè)定為最高時(shí)，亦即所有樣本都被預(yù)測(cè)為陰性虱疏，沒有樣本被預(yù)測(cè)為陽性惹骂，此時(shí)在偽陽性率 FPR = FP / ( FP + TN ) 算式中的 FP = 0，所以 FPR = 0%做瞪。同時(shí)在真陽性率(TPR)算式中对粪， TPR = TP / ( TP + FN ) 算式中的 TP = 0，所以 TPR = 0%
→ 當(dāng)閾值設(shè)定為最高時(shí)，必得出ROC座標(biāo)系左下角的點(diǎn) (0, 0)著拭。
當(dāng)閾值設(shè)定為最低時(shí)纱扭，亦即所有樣本都被預(yù)測(cè)為陽性，沒有樣本被預(yù)測(cè)為陰性茫死，此時(shí)在偽陽性率FPR = FP / ( FP + TN ) 算式中的 TN = 0跪但，所以 FPR = 100%。同時(shí)在真陽性率 TPR = TP / ( TP + FN ) 算式中的 FN = 0峦萎，所以 TPR=100%
→ 當(dāng)閾值設(shè)定為最低時(shí)屡久，必得出ROC座標(biāo)系右上角的點(diǎn) (1, 1)。
因?yàn)門P爱榔、FP被环、TN、FN都是累積次數(shù)详幽，TN和FN隨著閾值調(diào)低而減少(或持平)筛欢，TP和FP隨著閾值調(diào)低而增加(或持平)，所以FPR和TPR皆必隨著閾值調(diào)低而增加(或持平)唇聘。
→ 隨著閾值調(diào)低版姑，ROC點(diǎn) 往右上(或右／或上)移動(dòng)，或不動(dòng)迟郎；但絕不會(huì)往左下(或左／或下)移動(dòng)剥险。
曲線下面積(AUC)
例示三種AUC值(曲線下面積)
在比較不同的分類模型時(shí)，可以將每個(gè)模型的ROC曲線都畫出來宪肖，比較曲線下面積做為模型優(yōu)劣的指標(biāo)表制。
意義
ROC曲線下方的面積(英語：Area under the Curve of ROC (AUC ROC))，其意義是：
因?yàn)槭窃?x1的方格里求面積控乾，AUC必在0~1之間么介。
假設(shè)閾值以上是陽性，以下是陰性蜕衡；
若隨機(jī)抽取一個(gè)陽性樣本和一個(gè)陰性樣本壤短，分類器正確判斷陽性樣本的值高于陰性樣本之機(jī)率。
簡(jiǎn)單說：AUC值越大的分類器慨仿，正確率越高鸽扁。
從AUC判斷分類器(預(yù)測(cè)模型)優(yōu)劣的標(biāo)準(zhǔn)：
AUC = 1，是完美分類器镶骗，采用這個(gè)預(yù)測(cè)模型時(shí)桶现，存在至少一個(gè)閾值能得出完美預(yù)測(cè)。絕大多數(shù)預(yù)測(cè)的場(chǎng)合鼎姊，不存在完美分類器骡和。
0.5 < AUC < 1相赁，優(yōu)于隨機(jī)猜測(cè)。這個(gè)分類器(模型)妥善設(shè)定閾值的話慰于，能有預(yù)測(cè)價(jià)值钮科。
AUC = 0.5，跟隨機(jī)猜測(cè)一樣(例：丟銅板)婆赠，模型沒有預(yù)測(cè)價(jià)值绵脯。
AUC < 0.5，比隨機(jī)猜測(cè)還差休里；但只要總是反預(yù)測(cè)而行蛆挫，就優(yōu)于隨機(jī)猜測(cè)。
計(jì)算
AUC的計(jì)算有兩種方式妙黍，都是以逼近法求近似值悴侵。
梯形法
梯形法(英語：trapezoid method)：簡(jiǎn)單地將每個(gè)相鄰的點(diǎn)以直線連接，計(jì)算連線下方的總面積拭嫁。因?yàn)槊恳痪€段下方都是一個(gè)梯形可免，所以叫梯形法。
優(yōu)點(diǎn)：簡(jiǎn)單做粤，所以常用浇借。
缺點(diǎn)：傾向于低估AUC。
ROC AUCH法
潛在問題
AUC of ROC是機(jī)器學(xué)習(xí)的社群最常使用來比較不同模型優(yōu)劣的方法 怕品。然而近來這個(gè)做法開始受到質(zhì)疑妇垢，因?yàn)橛行C(jī)器學(xué)習(xí)的研究指出，AUC的噪聲太多堵泽，并且很常求不出可信又有效的AUC值(此時(shí)便不能保證AUC傳達(dá)本節(jié)開頭所述之意義)，使得AUC在模型比較時(shí)產(chǎn)生的問題比解釋的問題更多恢总。
分析軟件
所有常用于統(tǒng)計(jì)分析的軟件(例：SPSS迎罗、SAS、SYSTAT片仿、S-Plus纹安、ROCKIT、RscorePlus)都有依據(jù)不同閾值自動(dòng)計(jì)算真陽性和偽陽性比率砂豌、并依此繪制ROC曲線的功能厢岂。
離散分類器(英語：discrete，或稱“間斷分類器”)阳距，如決策樹塔粒，產(chǎn)生的是離散的數(shù)值或者一個(gè)二元標(biāo)簽。應(yīng)用到實(shí)例中筐摘，這樣的分類器最后只會(huì)在ROC空間產(chǎn)生單一的點(diǎn)卒茬。而一些其他的分類器船老，如樸素貝葉斯分類器，邏輯回歸或者人工神經(jīng)網(wǎng)絡(luò)圃酵，產(chǎn)生的是實(shí)例屬于某一類的可能性柳畔，對(duì)于這些方法，一個(gè)閾值就決定了ROC空間中點(diǎn)的位置郭赐。舉例來說薪韩，如果可能值低于或者等于0.8這個(gè)閾值就將其認(rèn)為是陽性的類，而其他的值被認(rèn)為是陰性類捌锭。這樣就可以通過畫每一個(gè)閾值的ROC點(diǎn)來生成一個(gè)生成一條曲線俘陷。MedCalc是較好的ROC曲線分析軟件。
