最近處理一個(gè)從3維MRI圖像中分割海馬體的任務(wù)乌昔，發(fā)現(xiàn)使用acc來(lái)衡量網(wǎng)絡(luò)的性能實(shí)在是沒(méi)什么意義拱层，主要是我把這個(gè)分割任務(wù)看做一個(gè)二分類任務(wù)虹菲，而屬于海馬體類的像素僅占了整個(gè)空間的0.03%憋肖，也就意味著class 1 僅占1%都不到寿酌，這可以說(shuō)是一個(gè)相當(dāng)不均衡的數(shù)據(jù)集了胰苏，所以使用acc來(lái)衡量分類器是毫無(wú)意義的。
所以搜索整理了一些網(wǎng)上的資料醇疼，學(xué)習(xí)了一些適于處理這些情況（不均衡二分類）的性能指標(biāo)：
混淆矩陣 confusion matrix
又稱為可能性表格或是錯(cuò)誤矩陣硕并。它是一種特定的矩陣，被用來(lái)實(shí)現(xiàn)算法性能的可視化僵腺。
盜來(lái)一張圖
真陽(yáng)性(True Positives)：預(yù)測(cè)為1鲤孵，實(shí)際為1
假陽(yáng)性(False Positives)：預(yù)測(cè)為1，實(shí)際為0
真陰性(True Negatives) ：預(yù)測(cè)為0辰如，實(shí)際為0
假陰性(False Negatives) ：預(yù)測(cè)為0普监，實(shí)際為1
于是乎就有了
精確率
precision=TP/(TP+FP)
召回率
recall = TP/(TP+FN)
F1分?jǐn)?shù)
F-score=2 × precison × recall/(precision+recall)
F1是前兩者的調(diào)和均值，當(dāng)然我很奇怪我什么在Keras里它會(huì)一直是NAN琉兜，前兩個(gè)的計(jì)算都沒(méi)問(wèn)題凯正。
ROC曲線
有兩個(gè)新的概念
靈敏度
sensitivity=recall
特異度
specificity = TN/(FP+TN)
此外靈敏度又被稱為真陽(yáng)性率(TPR),特異度又被稱為真陰性率(TNR)
ROC曲線以1-specificity為橫坐標(biāo)，sensitivity為縱坐標(biāo)豌蟋。
又盜一張圖
圖二的曲線越接近(0,1)說(shuō)明性能越好
AUC
AUC指ROC曲線下的面積廊散，面積越大分類器效果越好。
AUC的物理意義為梧疲，隨機(jī)給定一個(gè)正樣本允睹，一個(gè)負(fù)樣本运准，使用分類器進(jìn)行預(yù)測(cè)，設(shè)判斷正樣本為正的概率為P1缭受，判斷負(fù)樣本為正的概率為P2胁澳，P1>P2的概率就是AUC值。
AUC的取值區(qū)間為[0.5 , 1]米者，為0.5表明AUC猜錯(cuò)與猜對(duì)的幾率對(duì)半分韭畸，即完全隨機(jī)的預(yù)測(cè)，1則代表完美分類器蔓搞。
