Science這篇文章《Functional characterization of IgA-targeted bacterial taxa from undernourished Malawian children that produce diet-dependent enteropathy.》
關(guān)注了非洲馬拉維兒童 營養(yǎng)不良與腸道菌群及腸粘膜免疫功能之間的關(guān)系，發(fā)現(xiàn)以特定細(xì)菌為靶點(diǎn)的lgA對于兒童營養(yǎng)不良的診斷及治療具有特殊意義。
下面這幅圖展示了檢測致病性大腸桿菌的兩種模型的比較腥椒，紫色代表以腸桿菌的相對豐度為指標(biāo)的檢測方法屯烦，橙色代表以腸桿菌為靶點(diǎn)的lgA的指標(biāo)的檢測方法嚼酝，由圖中可以看出篙骡，lgA index的檢測模型更好囚似。
WHAT? 這是為啥嘞闻伶，而且這是什么圖......
請往下看~~
在微生態(tài)研究中滨攻，尋找生物標(biāo)志物建立模型時，你是否在糾結(jié)于特異度與靈敏度的取舍。怎樣綜合評價不同模型的準(zhǔn)確性呢光绕？下面由小昌上臺表演~~
劃重點(diǎn)
1. 初識ROC曲線
2. 深入了解ROC
3. AUC值作為評價標(biāo)準(zhǔn)
4. 最優(yōu)零界點(diǎn)咋么找
5. ROC的好基友——PR曲線
一 初識ROC曲線
1. ROC的前世今生：
ROC的全稱是“受試者工作特征”（Receiver Operating Characteristic）曲線女嘲，首先是由二戰(zhàn)中的電子工程師和雷達(dá)工程師發(fā)明的，用來偵測戰(zhàn)場上的敵軍載具（飛機(jī)诞帐、船艦）欣尼，也就是信號檢測理論。之后很快就被引入了心理學(xué)來進(jìn)行信號的知覺檢測景埃。此后被引入機(jī)器學(xué)習(xí)領(lǐng)域媒至，用來評判分類、檢測結(jié)果的好壞谷徙。因此拒啰，ROC曲線是非常重要和常見的統(tǒng)計分析方法。
2. “ROC 曲線”思路：
根據(jù)學(xué)習(xí)器的預(yù)測結(jié)果對樣例進(jìn)行排序完慧，按此順序逐個把樣本作為正例進(jìn)行預(yù)測谋旦，每次計算出兩個重要量的值（TPR、FPR）屈尼，分別以它們?yōu)闄M册着、縱坐標(biāo)作圖。
3. AUC (Area under Curve)：
ROC曲線下的面積脾歧，介于0.1和1之間甲捏，作為數(shù)值可以直觀的評價分類器的好壞，值越大越好鞭执。
4. “混淆矩陣”：
對于二分類問題司顿，可將樣本根據(jù)其真實(shí)類別與學(xué)習(xí)器預(yù)測類別的組合劃分為TP(true positive)、FP(false positive)兄纺、TN(true negative)大溜、FN(false negative)四種情況，TP+FP+TN+FN=樣本總數(shù)估脆。
http://zhwhong.ml/2017/04/14/ROC-AUC-Precision-Recall-analysis/
(1) 真陽性(True Positive钦奋，TP)：檢測不健康慰于，且實(shí)際不健康着撩；正確肯定的匹配數(shù)目；
(2) 假陽性(False Positive我磁，F(xiàn)P)：檢測不健康圃阳，但實(shí)際健康伞租；誤報，給出的匹配是不正確的限佩；
(3) 真陰性(True Negative葵诈，TN)：檢測健康裸弦，且實(shí)際健康；正確拒絕的非匹配數(shù)目作喘；
(4) 假陰性(False Negative理疙，F(xiàn)N)：檢測健康，但實(shí)際不健康泞坦；漏報窖贤，沒有正確找到的匹配的數(shù)目。
二 深入了解ROC曲線
ROC曲線其實(shí)是多個混淆矩陣的結(jié)果組合贰锁。
以疾病檢測為例赃梧，這是一個有監(jiān)督的二分類模型，模型對每個樣本的預(yù)測結(jié)果為一個概率值豌熄，我們需要從中選取一個閾值來判斷健康與否授嘀。
定好一個閾值之后，超過此閾值定義為不健康锣险，低于此閾值定義為健康蹄皱，就可以得出混淆矩陣。
而如果在上述模型中我們沒有定好閾值芯肤，而是將模型預(yù)測結(jié)果從高到低排序巷折，將每次概率值依次作為閾值，那么就可以得到多個混淆矩陣崖咨。對于每個混淆矩陣锻拘，我們計算兩個指標(biāo)TPR和FPR,以FPR為x軸，TPR為y軸畫圖击蹲，就得到了ROC曲線署拟。
一般來說，如果ROC是光滑的际邻，那么基本可以判斷沒有太大的overfitting，AUC面積越大一般認(rèn)為模型越好芍阎。
三 AUC值作為評價標(biāo)準(zhǔn)
1. AUC (Area Under Curve)
被定義為ROC曲線下的面積世曾，取值范圍一般在0.5和1之間。使用AUC值作為評價標(biāo)準(zhǔn)是因為很多時候ROC曲線并不能清晰的說明哪個分類器的效果更好谴咸，而作為一個數(shù)值轮听，對應(yīng)AUC更大的分類器效果更好。
2.AUC 的計算方法
非參數(shù)法：（兩種方法實(shí)際證明是一致的）
(1)梯形法則：早期由于測試樣本有限岭佳，我們得到的AUC曲線呈階梯狀血巍。曲線上的每個點(diǎn)向X軸做垂線，得到若干梯形珊随，這些梯形面積之和也就是AUC 述寡。
(2)Mann-Whitney統(tǒng)計量： 統(tǒng)計正負(fù)樣本對中柿隙，有多少個組中的正樣本的概率大于負(fù)樣本的概率。這種估計隨著樣本規(guī)模的擴(kuò)大而逐漸逼近真實(shí)值鲫凶。
參數(shù)法：
(3)主要適用于二項分布的數(shù)據(jù)禀崖，即正反樣本分布符合正態(tài)分布，可以通過均值和方差來計算螟炫。
3.從AUC判斷分類器（預(yù)測模型）優(yōu)劣的標(biāo)準(zhǔn)
· AUC = 1波附，是完美分類器，采用這個預(yù)測模型時昼钻，存在至少一個閾值能得出完美預(yù)測掸屡。絕大多數(shù)預(yù)測的場合，不存在完美分類器然评。
· 0.5 < AUC < 1仅财，優(yōu)于隨機(jī)猜測。這個分類器（模型）妥善設(shè)定閾值的話沾瓦，能有預(yù)測價值满着。
· AUC = 0.5，跟隨機(jī)猜測一樣（例：丟銅板）贯莺，模型沒有預(yù)測價值风喇。
· AUC < 0.5，比隨機(jī)猜測還差缕探；但只要總是反預(yù)測而行魂莫，就優(yōu)于隨機(jī)猜測。
三種AUC值示例：總結(jié)****：AUC值越大的分類器爹耗，正確率越高
4. 不同模型AUC的比較
總的來說耙考，AUC值越大，模型的分類效果越好潭兽，疾病檢測越準(zhǔn)確倦始；不過兩個模型AUC值相等并不代表模型效果相同，例子如下：
下圖中有三條ROC曲線山卦，A模型比B和C都要好
下面兩幅圖中兩條ROC曲線相交于一點(diǎn)鞋邑，AUC值幾乎一樣：當(dāng)需要高Sensitivity時，模型A比B好账蓉；當(dāng)需要高Speciticity時枚碗，模型B比A好；
四 最優(yōu)零界點(diǎn)咋么找
說人話铸本，就是保證TPR高的同時FPR要盡量的小肮雨，建立max（TPR+（1-FPR））的模型。同樣有三種方法：找到離（0,1）最近的點(diǎn)箱玷、Youden index和最小損耗（cost criterion）怨规。
如果說Sn 和Sp 分別對應(yīng)于sensitivity和specificity陌宿，所有ROC曲線上的點(diǎn)到ROC的距離可以表示為，讓d最小就好啦椅亚；
Youden index : 最大化ROC曲線上的點(diǎn)到x軸的垂直距離（最大化TPR(Sn)和FPR(1-Sp)的差異）限番；
考慮人力物力和財力（第三種方法很少用，因為很難評估）
五 ROC的好基友——PR曲線
1.介紹
PR曲線和ROC曲線類似呀舔，ROC曲線是FPR和TPR的點(diǎn)連成的線弥虐，PR曲線是準(zhǔn)確率和召回率的點(diǎn)連成的線，如下圖所示媚赖。
我們又知道霜瘪，Recall=TPR，因此PRC的橫坐標(biāo)為ROC的縱坐標(biāo)惧磺。
2. ROC曲線與PR曲線的取舍
相對來講ROC曲線會穩(wěn)定很多颖对，在正負(fù)樣本量都足夠的情況下，ROC曲線足夠反映模型的判斷能力磨隘。因此缤底，對于同一模型，PRC和ROC曲線都可以說明一定的問題番捂，而且二者有一定的相關(guān)性个唧，如果想評測模型效果，也可以把兩條曲線都畫出來綜合評價设预。對于有監(jiān)督的二分類問題徙歼，在正負(fù)樣本都足夠的情況下，可以直接用ROC曲線鳖枕、AUC魄梯、KS評價模型效果。在確定閾值過程中宾符，可以根據(jù)Precision酿秸、Recall或者F1來評價模型的分類效果。對于多分類問題魏烫，可以對每一類分別計算Precision辣苏、Recall和F1，綜合作為模型評價指標(biāo)则奥。
在上圖中考润，(a)和(c)為ROC曲線狭园，(b)和(d)為Precision-Recall曲線读处。(a)和(b)展示的是分類其在原始測試集(正負(fù)樣本分布平衡)的結(jié)果，(c)和(d)是將測試集中負(fù)樣本的數(shù)量增加到原來的10倍后唱矛，分類器的結(jié)果罚舱【迹可以明顯的看出，ROC曲線基本保持原貌管闷，而Precision-Recall曲線則變化較大粥脚。
參考資料
https://en.wikipedia.org/wiki/Receiver_operating_characteristic
https://www.zhihu.com/question/30643044
http://www.it610.com/article/4964856.htm
http://zhwhong.ml/2017/04/14/ROC-AUC-Precision-Recall-analysis/
