在選擇診斷試驗時绍在，許多研究者會在靈敏度和特異度之間進行艱難的取舍勺届。那么，是否可以綜合考慮靈敏度和特異度的特點桑滩，根據(jù)一個指標(biāo)評價診斷試驗的準確性呢？受試者工作特征曲線（receiver operating characteristic curve允睹，簡稱ROC曲線）运准，用來描述診斷試驗的內(nèi)在真實程度幌氮，應(yīng)用十分廣泛。
ROC曲線是以真陽性率（靈敏度）為縱坐標(biāo)戳吝，假陽性率（1-特異度）為橫坐標(biāo)繪制的浩销。每一個點都對應(yīng)診斷試驗的一個截點，我們將這些可能的點連接起來即可制作出經(jīng)驗ROC曲線（empirical ROC curve）听哭。該方法可以幫助研究者簡單慢洋、直觀地分析診斷試驗的臨床準確性，選擇更加合適的截點陆盘。
一普筹、背景介紹
在介紹ROC曲線之前，首先來介紹一下預(yù)測模型的背景隘马。
（一）預(yù)測模型建模流程簡介
1.利用數(shù)據(jù)中的訓(xùn)練集進行模擬的生成太防。
2.利用測試集進行模型的評測。
3.將評測的結(jié)果反饋給生成模型酸员。
4.若評測結(jié)果比較滿意蜒车，進行生成模型的輸出，否則重新生成幔嗦。
那么測試集如何評測預(yù)測模型酿愧？這里引出混淆矩陣的概念。
（二）混淆矩陣
混淆矩陣也稱誤差矩陣邀泉，是表示精度評價的一種標(biāo)準格式嬉挡，常用來預(yù)測模型的準確率。
圖1 混淆矩陣
P：樣本中的正例汇恤，n：樣本中的負例 Y：通過模型預(yù)測出來樣本中的正列庞钢，N：通過模型預(yù)測出來樣本中的負列 TP(True Positives)：本來是正列，通過模型預(yù)測出來也是正列FP(False Positives)：本來是負列因谎，通過模型預(yù)測出來也是正列預(yù)測模型準確率accuracy=(TP+TN)/(P+n)（三）案例分析
表1 原始數(shù)據(jù)
從表1可以看出基括，有20個觀測值，結(jié)局有1和0兩種狀態(tài)蓝角，分別代表著陽性和陰性阱穗。類似于Logistic回歸當(dāng)中某個人是否患疾病，患病為1使鹅，不患病為0揪阶。預(yù)測概率是通過Logistic回歸預(yù)測的結(jié)果。那怎么去預(yù)測這組概率的準確率呢患朱？
首先將這組數(shù)據(jù)的預(yù)測概率按照從大到小的順序進行排列鲁僚。一般的二分類的實現(xiàn)方法就是選擇一個閾值，將大于這個閾值的樣本認為是正例，小于這個閾值的樣本認為是反例冰沙。如果以0.54為閾值侨艾，將預(yù)測概率0.54設(shè)置為陽性，預(yù)測概率小于0.54設(shè)置為陰性拓挥。 表2 以0.54為閾值的預(yù)測結(jié)局從表2中可以看出前6個數(shù)據(jù)預(yù)測結(jié)局為陽性唠梨，其他14個數(shù)據(jù)預(yù)測結(jié)局為陰性。計算它的混淆矩陣如表3侥啤，真實結(jié)局中有10個1和10個0当叭。但是預(yù)測結(jié)局的陽性數(shù)有6個，其中有5個是真實陽性盖灸，有1個是真實陰性蚁鳖。第三個觀測值結(jié)局本來是陰性的，但預(yù)測結(jié)局是陽性的赁炎，這個觀測值預(yù)測錯誤醉箕。同理，預(yù)測結(jié)局的陰性數(shù)有14個徙垫，其中有9個是真實陰性讥裤，有5個是真實陽性。第九個觀測值結(jié)局本來是陽性的姻报，但預(yù)測結(jié)局是陰性的坞琴，這個觀測值預(yù)測錯誤。
表3 混淆矩陣表
真陽率是指本來是陽性的逗抑，預(yù)測出的結(jié)果也是陽性的。假陽率是指本來是陰性的寒亥，但預(yù)測出的結(jié)果是陽性的邮府。從表3中可以看出，在真實陽性數(shù)這一豎列中溉奕，預(yù)測正確的觀測值有5個褂傀，所以真陽率(TPR)=5/P=5/10=0.5。在真實陰性數(shù)這一豎列中加勤，預(yù)測正確的觀測值有1個仙辟，所以假陽率(FPR)=1/n=1/10=0.1。
同理真陰率(TNR)=9/10=0.1鳄梅，假陰率(FNR)=5/10=0.5叠国。
表4 真陽率和假陽率
從表4可以看出，以0.54為閾值戴尸，作出來的混淆矩陣真陽率為0.5粟焊，假陽率為0.1。真陽率和假陽率是以每一次相應(yīng)的預(yù)測概率為閾值，算出混淆矩陣而得到的项棠。
將1-20每個樣本的評分均作為分類器的判定閾值悲雳，可以得到20組TPR和FPR的有序數(shù)對。然后以TPR和FPR為兩個坐標(biāo)軸建立一個直角坐標(biāo)系香追，就可以得到圖2合瓢。
圖2 TPR和FPR的有序數(shù)對
二、ROC曲線概念
ROC曲線：受試者工作特征曲線(receiver operating characteristic curve透典，簡稱ROC曲線)晴楔，又稱為感受性曲線(sensitivity curve)。
采用真陽性率和假陽性率作出的曲線掷匠，適用于診斷試驗結(jié)果為連續(xù)變量滥崩。試驗的真陽性率（Sen）為縱坐標(biāo)（Y），假陽性率（1-Spe）為橫坐標(biāo)（X）讹语，坐標(biāo)軸上的率值由01或0%100%钙皮。
圖3 ROC曲線示意圖橫軸FPR：1-TPR，1-Specificity顽决，F(xiàn)PR越大短条，預(yù)測正類中實際負類越多〔挪ぃ縱軸TPR：Sensitivity茸时，TPR越大，預(yù)測正類中實際正類越多赋访。理想目標(biāo)：TPR=1可都，TPR=0，即圖中(0,1)點蚓耽，故ROC曲線越靠攏(0,1)點渠牲，越偏離45°對角線越好，Sensitivity步悠、Specificity越大效果越好签杈。
三、最佳閾值的確定——約登指數(shù)
約登指數(shù)（Youden index鼎兽，YI）：是評價篩查試驗真實性的方法答姥，假設(shè)其假陰性和假陽性的危害性同等意義時，即可應(yīng)用約登指數(shù)谚咬。約登指數(shù)=靈敏度Sensitivity+特異度Specificit-1=[a/(a+c)+d/(b+d)]-1鹦付。指數(shù)越大說明篩查試驗的效果越好，真實性越大择卦。從表中可以看出睁壁，真陽率與假陽率的差值就是約登指數(shù)背苦，最大的約登指數(shù)為0.4，0.4對應(yīng)的預(yù)測概率為0.54潘明，大于0.54認為是陽性的行剂，小于0.54認為是陰性的。0.54就是最佳閾值钳降。
四厚宰、AUC概念
AUC(Area Under Curve)值為ROC曲線下方的面積大小。顯然遂填，AUC越大铲觉，預(yù)測效果越好。AUC=1吓坚，是完美分類器撵幽，采用這個預(yù)測模型時，不管設(shè)定什么截斷點都能得出完美預(yù)測礁击。絕大多數(shù)預(yù)測的場合盐杂，不存在完美分類器。0.5<AUC<1哆窿，優(yōu)于隨機猜測链烈。這個預(yù)測模型妥善設(shè)定截斷點的話，能有預(yù)測價值挚躯。AUC=0.5强衡，跟隨機猜測一樣（例：拋硬幣），模型沒有預(yù)測價值码荔。AUC<0.5漩勤，比隨機猜測還差，但只要總是反預(yù)測而行缩搅，就優(yōu)于隨機預(yù)測锯七。
圖4 包含AUC值的ROC曲線
