1局扶、混淆矩陣(Confusion Matrix)
? ? ? ?混淆矩陣也稱誤差矩陣就谜,是表示精度評(píng)價(jià)的一種標(biāo)準(zhǔn)格式,用n行n列的矩陣形式來(lái)表示娩践。在人工智能中活翩,混淆矩陣(confusion matrix)是可視化工具,特別用于監(jiān)督學(xué)習(xí)翻伺,在無(wú)監(jiān)督學(xué)習(xí)一般叫做匹配矩陣(matching matrix)材泄。混淆矩陣的每一列代表了預(yù)測(cè)類別吨岭,每一列的總數(shù)表示預(yù)測(cè)為該類別的數(shù)據(jù)的數(shù)目拉宗;每一行代表了數(shù)據(jù)的真實(shí)歸屬類別,每一行的數(shù)據(jù)總數(shù)表示該類別的數(shù)據(jù)實(shí)例的數(shù)目。
2旦事、舉例說(shuō)明(二分類/多分類)
混淆矩陣中魁巩,永遠(yuǎn)是真實(shí)值在前,預(yù)測(cè)值在后姐浮。
(以下說(shuō)明都是以二分類為例谷遂,如果涉及多分類則會(huì)標(biāo)注)
? ? ? ?在二分類混淆矩陣中,可以很容易看出单料,11和00的對(duì)角線就是全部預(yù)測(cè)正確的埋凯,01和10的對(duì)角線就是全部預(yù)測(cè)錯(cuò)誤的∩猓基于混淆矩陣白对,我們有六個(gè)不同的模型評(píng)估指標(biāo),這些評(píng)估指標(biāo)的范圍都在[0,1]之間换怖,所有以11和00為分子的指標(biāo)都是越接近1越好甩恼,所有以01和10為分子的指標(biāo)都是越接近0越好。首先解釋幾個(gè)接下來(lái)需要的概念:
True Positive (真正, TP)被模型預(yù)測(cè)為正的正樣本沉颂;??
True Negative(真負(fù) , TN)被模型預(yù)測(cè)為負(fù)的負(fù)樣本 条摸;?
?False Positive (假正, FP)被模型預(yù)測(cè)為正的負(fù)樣本;??
False Negative(假負(fù) , FN)被模型預(yù)測(cè)為負(fù)的正樣本铸屉;
True Positive Rate(真正率 , TPR)或靈敏度(sensitivity)? 或召回率(recall)
TPR = TP /(TP + FN)??
正樣本預(yù)測(cè)結(jié)果數(shù) / 正樣本實(shí)際數(shù)
True Negative Rate(真負(fù)率 , TNR)或特指度(specificity)??
TNR = TN /(TN + FP)??
負(fù)樣本預(yù)測(cè)結(jié)果數(shù) / 負(fù)樣本實(shí)際數(shù)??
False Positive Rate (假正率, FPR)??
FPR = FP /(FP + TN)??
被預(yù)測(cè)為正的負(fù)樣本結(jié)果數(shù) /負(fù)樣本實(shí)際數(shù)??
False Negative Rate(假負(fù)率 , FNR)??
FNR = FN /(TP + FN)??
被預(yù)測(cè)為負(fù)的正樣本結(jié)果數(shù) / 正樣本實(shí)際數(shù)
對(duì)于所有的指標(biāo)钉蒲,我們用橙色表示分母,用綠色表示分子彻坛,則我們有:
(1)模型整體效果:準(zhǔn)確率(Accuracy)
準(zhǔn)確率Accuracy就是所有預(yù)測(cè)正確的所有樣本除以總樣本顷啼,通常來(lái)說(shuō)越接近1越好。
【三分類中/多分類中】 Accuracy=
(2)精確度/查準(zhǔn)率 Precision
精確度Precision昌屉,又叫查準(zhǔn)率钙蒙,表示所有被我們預(yù)測(cè)為是正類的樣本中,真正的正類所占的比例间驮。分母是列總和躬厌。【三分類中/多分類中】(0類)Precision=竞帽;
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (1類)Precision=扛施;
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? (2類)Precision=;
(3)召回率/真正率 Recall/TPR
召回率Recall屹篓,又被稱為敏感度(sensitivity)疙渣,真正率,查全率抱虐,表示所有正樣本中,被我們真實(shí)預(yù)測(cè)正確的樣本所占的比例饥脑。分母是行總和恳邀。
【三分類中/多分類中】(0類)Recall=懦冰;
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1類)Recall=;
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2類)Recall=;
注意召回率和精確度的分子是相同的谣沸,只是分母不同刷钢。而召回率和精確度是此消彼長(zhǎng)的。
(4)精確度和召回率平衡綜合性指標(biāo):F1 measure
為了同時(shí)兼顧精確度和召回率乳附,我們創(chuàng)造了兩者的調(diào)和平均數(shù)作為考量?jī)烧咂胶獾木C合性指標(biāo)内地,稱之為F1 measure。兩個(gè)數(shù)之間的調(diào)和平均傾向于靠近兩個(gè)數(shù)中比較小的那一個(gè)數(shù)赋除,因此我們追求盡量高的F1 measure阱缓,能夠保證我們的精確度和召回率都比較高。F1 measure在[0,1]之間分布举农,越接近1越好荆针。
(5)假負(fù)率(False Negative Rate)FNR
假負(fù)率用于衡量所有真實(shí)為正的樣本中,被錯(cuò)誤判斷為負(fù)的颁糟,它等于 1 - Recall航背。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?舉例: FNR =?(二分類)
(6)真負(fù)率(True Negative Rate)TNR?
特異度(Specificity)表示所有負(fù)樣本中,被真實(shí)預(yù)測(cè)為負(fù)的樣本所占的比例棱貌。
【三分類中/多分類中】(0類)TNR=
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(1類)TNR=
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(2類)TNR=
(7)假正率(False Positive Rate)FPR
假負(fù)率用于衡量所有真實(shí)為負(fù)的樣本中玖媚,被錯(cuò)誤判斷為正的,它等于 1 - TNR婚脱。
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 舉例:FPR=(二分類)
假正率其實(shí)類似于Precision的反向指標(biāo)今魔。
總結(jié):FPR(假正率)+TNR(真負(fù)率)=1;FNR(假負(fù)率)+TPR(真正率)=1
求出真正率/召回率和真負(fù)率/特異度起惕,就可以得到假正率和假負(fù)率涡贱。
以上多分類例子是以三分類為例,四分類五分類多分類都是一樣的性質(zhì)惹想。對(duì)于多分類问词,假使針對(duì)類別0,那1,2類都算是負(fù)類嘀粱;針對(duì)類別1激挪,那么0,2類都算是負(fù)類;針對(duì)類別2锋叨,那么0,1類都算是負(fù)類垄分。
3、測(cè)試
真實(shí)\預(yù)測(cè)? ? ? 0? ? ? ? 1? ? ? ? ?2
? ? 0? ? ? ? ? ? ? ?10? ? ?10? ? ? ? 10
? ? 1? ? ? ? ? ? ? ?40? ? ?160? ? ? 40
? ? 2? ? ? ? ? ? ? ?5? ? ? ? ?5? ? ? ? 20
分類討論以上混淆矩陣類別0娃磺、類別1和類別2的FP薄湿、TP、FN、TN豺瘤。
答案如下:
對(duì)于類別0的 FP=45 TP=10 FN=20? ?TN=225
對(duì)于類別1的 FP=15 TP=160 FN=80 TN=45
對(duì)于類別2的 FP=50? TP=20? FN=10 TN=220
最后吆倦,另附一篇比較好的混淆矩陣相關(guān)參考博文:
https://www.cnblogs.com/zxyza/p/10059834.html
一人做事一人當(dāng) 小馬做事響當(dāng)當(dāng) 今天也要開心的度過(guò)鴨~