分類器模型評(píng)估指標(biāo)之混淆矩陣(二分類/多分類)

1局扶、混淆矩陣(Confusion Matrix)

? ? ? ?混淆矩陣也稱誤差矩陣就谜,是表示精度評(píng)價(jià)的一種標(biāo)準(zhǔn)格式,用n行n列的矩陣形式來(lái)表示娩践。在人工智能中活翩,混淆矩陣(confusion matrix)是可視化工具,特別用于監(jiān)督學(xué)習(xí)翻伺,在無(wú)監(jiān)督學(xué)習(xí)一般叫做匹配矩陣(matching matrix)材泄。混淆矩陣的每一列代表了預(yù)測(cè)類別吨岭,每一列的總數(shù)表示預(yù)測(cè)為該類別的數(shù)據(jù)的數(shù)目拉宗;每一行代表了數(shù)據(jù)的真實(shí)歸屬類別,每一行的數(shù)據(jù)總數(shù)表示該類別的數(shù)據(jù)實(shí)例的數(shù)目。

2旦事、舉例說(shuō)明(二分類/多分類)

標(biāo)準(zhǔn)二分類混淆矩陣
多分類混淆矩陣(三分類)

混淆矩陣中魁巩,永遠(yuǎn)是真實(shí)值在前,預(yù)測(cè)值在后姐浮。

(以下說(shuō)明都是以二分類為例谷遂,如果涉及多分類則會(huì)標(biāo)注)

? ? ? ?在二分類混淆矩陣中,可以很容易看出单料,11和00的對(duì)角線就是全部預(yù)測(cè)正確的埋凯,01和10的對(duì)角線就是全部預(yù)測(cè)錯(cuò)誤的∩猓基于混淆矩陣白对,我們有六個(gè)不同的模型評(píng)估指標(biāo),這些評(píng)估指標(biāo)的范圍都在[0,1]之間换怖,所有以11和00為分子的指標(biāo)都是越接近1越好甩恼,所有以01和10為分子的指標(biāo)都是越接近0越好。首先解釋幾個(gè)接下來(lái)需要的概念:

True Positive (真正, TP)被模型預(yù)測(cè)為正的正樣本沉颂;??

True Negative(真負(fù) , TN)被模型預(yù)測(cè)為負(fù)的負(fù)樣本 条摸;?

?False Positive (假正, FP)被模型預(yù)測(cè)為正的負(fù)樣本;??

False Negative(假負(fù) , FN)被模型預(yù)測(cè)為負(fù)的正樣本铸屉;


True Positive Rate(真正率 , TPR)或靈敏度(sensitivity)? 或召回率(recall)

TPR = TP /(TP + FN)??

正樣本預(yù)測(cè)結(jié)果數(shù) / 正樣本實(shí)際數(shù)


True Negative Rate(真負(fù)率 , TNR)或特指度(specificity)??

TNR = TN /(TN + FP)??

負(fù)樣本預(yù)測(cè)結(jié)果數(shù) / 負(fù)樣本實(shí)際數(shù)??


False Positive Rate (假正率, FPR)??

FPR = FP /(FP + TN)??

被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù)??


False Negative Rate(假負(fù)率 , FNR)??

FNR = FN /(TP + FN)??

被預(yù)測(cè)為負(fù)的正樣本結(jié)果數(shù) / 正樣本實(shí)際數(shù)


對(duì)于所有的指標(biāo)钉蒲,我們用橙色表示分母,用綠色表示分子彻坛,則我們有:

(1)模型整體效果:準(zhǔn)確率(Accuracy)

二分類準(zhǔn)確率

準(zhǔn)確率Accuracy就是所有預(yù)測(cè)正確的所有樣本除以總樣本顷啼,通常來(lái)說(shuō)越接近1越好。

【三分類中/多分類中】 Accuracy=\frac{00+11+22}{00+01+02+10+11+12+20+21+22}


(2)精確度/查準(zhǔn)率 Precision

二分類精確度

精確度Precision昌屉,又叫查準(zhǔn)率钙蒙,表示所有被我們預(yù)測(cè)為是正類的樣本中,真正的正類所占的比例间驮。分母是列總和躬厌。【三分類中/多分類中】(0類)Precision=\frac{00}{00+10+20  } 竞帽;

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (1類)Precision=\frac{11}{01+11+21 } 扛施;

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (2類)Precision=\frac{22}{02+12+22 }


(3)召回率/真正率 Recall/TPR

二分類召回率

召回率Recall屹篓,又被稱為敏感度(sensitivity)疙渣,真正率,查全率抱虐,表示所有正樣本中,被我們真實(shí)預(yù)測(cè)正確的樣本所占的比例饥脑。分母是行總和恳邀。

【三分類中/多分類中】(0類)Recall=\frac{00}{00+01+02} 懦冰;

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1類)Recall=\frac{11}{10+11+12}

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2類)Recall=\frac{22}{20+21+22 } ;

注意召回率和精確度的分子是相同的谣沸,只是分母不同刷钢。而召回率和精確度是此消彼長(zhǎng)的。


(4)精確度和召回率平衡綜合性指標(biāo):F1 measure

為了同時(shí)兼顧精確度和召回率乳附,我們創(chuàng)造了兩者的調(diào)和平均數(shù)作為考量?jī)烧咂胶獾木C合性指標(biāo)内地,稱之為F1 measure。兩個(gè)數(shù)之間的調(diào)和平均傾向于靠近兩個(gè)數(shù)中比較小的那一個(gè)數(shù)赋除,因此我們追求盡量高的F1 measure阱缓,能夠保證我們的精確度和召回率都比較高。F1 measure在[0,1]之間分布举农,越接近1越好荆针。

F1—measure計(jì)算公式

(5)假負(fù)率(False Negative Rate)FNR

假負(fù)率用于衡量所有真實(shí)為正的樣本中,被錯(cuò)誤判斷為負(fù)的颁糟,它等于 1 - Recall航背。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?舉例: FNR =?\frac{10}{11+10} (二分類)


(6)真負(fù)率(True Negative Rate)TNR?

二分類真負(fù)率

特異度(Specificity)表示所有負(fù)樣本中,被真實(shí)預(yù)測(cè)為負(fù)的樣本所占的比例棱貌。

【三分類中/多分類中】(0類)TNR=\frac{11+12+21+22}{10+11+12+20+21+22 }

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1類)TNR=\frac{00+02+20+22}{00+01+02+20+21+22}

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2類)TNR=\frac{00+01+10+11}{00+01+02+10+11+12}


(7)假正率(False Positive Rate)FPR

假負(fù)率用于衡量所有真實(shí)為負(fù)的樣本中玖媚,被錯(cuò)誤判斷為正的,它等于 1 - TNR婚脱。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 舉例:FPR=\frac{01}{01+00 } (二分類)

假正率其實(shí)類似于Precision的反向指標(biāo)今魔。


總結(jié):FPR(假正率)+TNR(真負(fù)率)=1;FNR(假負(fù)率)+TPR(真正率)=1

求出真正率/召回率和真負(fù)率/特異度起惕,就可以得到假正率和假負(fù)率涡贱。

以上多分類例子是以三分類為例,四分類五分類多分類都是一樣的性質(zhì)惹想。對(duì)于多分類问词,假使針對(duì)類別0,那1,2類都算是負(fù)類嘀粱;針對(duì)類別1激挪,那么0,2類都算是負(fù)類;針對(duì)類別2锋叨,那么0,1類都算是負(fù)類垄分。

3、測(cè)試

真實(shí)\預(yù)測(cè)? ? ? 0? ? ? ? 1? ? ? ? ?2

? ? 0? ? ? ? ? ? ? ?10? ? ?10? ? ? ? 10

? ? 1? ? ? ? ? ? ? ?40? ? ?160? ? ? 40

? ? 2? ? ? ? ? ? ? ?5? ? ? ? ?5? ? ? ? 20

分類討論以上混淆矩陣類別0娃磺、類別1和類別2的FP薄湿、TP、FN、TN豺瘤。

答案如下:


對(duì)于類別0的 FP=45 TP=10 FN=20? ?TN=225

對(duì)于類別1的 FP=15 TP=160 FN=80 TN=45

對(duì)于類別2的 FP=50? TP=20? FN=10 TN=220


最后吆倦,另附一篇比較好的混淆矩陣相關(guān)參考博文:

https://www.cnblogs.com/zxyza/p/10059834.html

一人做事一人當(dāng) 小馬做事響當(dāng)當(dāng) 今天也要開心的度過(guò)鴨~

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市坐求,隨后出現(xiàn)的幾起案子蚕泽,更是在濱河造成了極大的恐慌,老刑警劉巖桥嗤,帶你破解...
    沈念sama閱讀 217,084評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件须妻,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡泛领,警方通過(guò)查閱死者的電腦和手機(jī)荒吏,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,623評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)师逸,“玉大人司倚,你說(shuō)我怎么就攤上這事÷ㄏ瘢” “怎么了动知?”我有些...
    開封第一講書人閱讀 163,450評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)员辩。 經(jīng)常有香客問(wèn)我盒粮,道長(zhǎng),這世上最難降的妖魔是什么奠滑? 我笑而不...
    開封第一講書人閱讀 58,322評(píng)論 1 293
  • 正文 為了忘掉前任丹皱,我火速辦了婚禮,結(jié)果婚禮上宋税,老公的妹妹穿的比我還像新娘摊崭。我一直安慰自己,他們只是感情好杰赛,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,370評(píng)論 6 390
  • 文/花漫 我一把揭開白布呢簸。 她就那樣靜靜地躺著,像睡著了一般乏屯。 火紅的嫁衣襯著肌膚如雪根时。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,274評(píng)論 1 300
  • 那天辰晕,我揣著相機(jī)與錄音蛤迎,去河邊找鬼。 笑死含友,一個(gè)胖子當(dāng)著我的面吹牛替裆,可吹牛的內(nèi)容都是我干的校辩。 我是一名探鬼主播,決...
    沈念sama閱讀 40,126評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼辆童,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼召川!你這毒婦竟也來(lái)了?” 一聲冷哼從身側(cè)響起胸遇,我...
    開封第一講書人閱讀 38,980評(píng)論 0 275
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎汉形,沒想到半個(gè)月后纸镊,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,414評(píng)論 1 313
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡概疆,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,599評(píng)論 3 334
  • 正文 我和宋清朗相戀三年逗威,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片岔冀。...
    茶點(diǎn)故事閱讀 39,773評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡凯旭,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出使套,到底是詐尸還是另有隱情罐呼,我是刑警寧澤,帶...
    沈念sama閱讀 35,470評(píng)論 5 344
  • 正文 年R本政府宣布侦高,位于F島的核電站嫉柴,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏奉呛。R本人自食惡果不足惜计螺,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,080評(píng)論 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望瞧壮。 院中可真熱鬧登馒,春花似錦、人聲如沸咆槽。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,713評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)罗晕。三九已至济欢,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間小渊,已是汗流浹背法褥。 一陣腳步聲響...
    開封第一講書人閱讀 32,852評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留酬屉,地道東北人半等。 一個(gè)月前我還...
    沈念sama閱讀 47,865評(píng)論 2 370
  • 正文 我出身青樓揍愁,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親杀饵。 傳聞我的和親對(duì)象是個(gè)殘疾皇子莽囤,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,689評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容