[ML] 性能評估指標(biāo)1---準(zhǔn)確率(Accuracy), 精確率(Precision), 召回率(Recall)和F1-Measure(對于二分類問題)

1. 準(zhǔn)確率(Accuracy)

準(zhǔn)確率(accuracy),其定義是: 對于給定的測試數(shù)據(jù)集辜膝,分類器正確分類的樣本數(shù)與總樣本數(shù)之比无牵。也就是損失函數(shù)是0-1損失時(shí)測試數(shù)據(jù)集上的準(zhǔn)確率。accuracy=預(yù)測對的/所有

對于二分類問題厂抖,僅僅通過準(zhǔn)確率不能很好的衡量分類器的性能茎毁,比如:
由準(zhǔn)確率,我們的確可以在一些場合验游,從某種意義上得到一個分類器是否有效充岛,但它并不總是能有效的評價(jià)一個分類器的工作保檐。舉個例子,google抓取了argcv 100個頁面,而它索引中共有10,000,000個頁面,隨機(jī)抽一個頁面崔梗,分類下,這是不是argcv的頁面呢?如果以accuracy來判斷我的工作夜只,那我會把所有的頁面都判斷為"不是argcv的頁面",因?yàn)槲疫@樣效率非常高(return false,一句話),而accuracy已經(jīng)到了99.999%(9,999,900/10,000,000),完爆其它很多分類器辛辛苦苦算的值,而我這個算法顯然不是需求期待的,那怎么解決呢?這就是precision,recall和f1-measure出場的時(shí)間了.

2. 精確率(Precision)

精確率(precision)的公式是P = \frac{TP}{TP+FP},它計(jì)算的是所有"正確被檢索的item(TP)"占所有"實(shí)際被檢索到的(TP+FP)"的比例.

3. 召回率(Recall)

召回率(recall)的公式是R = \frac{TP}{TP+FN}?,它計(jì)算的是所有"正確被檢索的item(TP)"占所有"應(yīng)該檢索到的item(TP+FN)"的比例。

4. F1-Measure

F1值就是精確值和召回率的調(diào)和均值,也就是
2/F1 = 1/P + 1/R

5. predict與recall

實(shí)際上非常簡單蒜魄,精確率是針對我們預(yù)測結(jié)果而言的扔亥,它表示的是預(yù)測為正的樣本中有多少是真正的正樣本。那么預(yù)測為正就有兩種可能了谈为,一種就是把正類預(yù)測為正類(TP)旅挤,另一種就是把負(fù)類預(yù)測為正類(FP)。

召回率是針對我們原來的樣本而言的伞鲫,它表示的是樣本中的正例有多少被預(yù)測正確了粘茄。那也有兩種可能,一種是把原來的正類預(yù)測成正類(TP)秕脓,另一種就是把原來的正類預(yù)測為負(fù)類(FN)柒瓣。

對于predict與recall:一句話,準(zhǔn)確率就是“找的對”吠架,召回率就是“找的全”芙贫。

實(shí)際應(yīng)用:
(1)如果是做搜索,則要在保證召回率理想的情況下傍药,提升精確率磺平;
(2)如果做疾病監(jiān)測、反垃圾拐辽,則是要保證精確率的條件下拣挪,提升召回率。

6. auucracy與predict

精確率(precision)和準(zhǔn)確率(accuracy)是不一樣的

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末俱诸,一起剝皮案震驚了整個濱河市媒吗,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌乙埃,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,839評論 6 482
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件锯岖,死亡現(xiàn)場離奇詭異介袜,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)出吹,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,543評論 2 382
  • 文/潘曉璐 我一進(jìn)店門遇伞,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人捶牢,你說我怎么就攤上這事扯罐÷雍樱” “怎么了令哟?”我有些...
    開封第一講書人閱讀 153,116評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長炬太。 經(jīng)常有香客問我,道長驯耻,這世上最難降的妖魔是什么亲族? 我笑而不...
    開封第一講書人閱讀 55,371評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮可缚,結(jié)果婚禮上霎迫,老公的妹妹穿的比我還像新娘。我一直安慰自己帘靡,他們只是感情好知给,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,384評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著描姚,像睡著了一般涩赢。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上轰胁,一...
    開封第一講書人閱讀 49,111評論 1 285
  • 那天谒主,我揣著相機(jī)與錄音,去河邊找鬼赃阀。 笑死霎肯,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的榛斯。 我是一名探鬼主播观游,決...
    沈念sama閱讀 38,416評論 3 400
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼驮俗!你這毒婦竟也來了懂缕?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,053評論 0 259
  • 序言:老撾萬榮一對情侶失蹤王凑,失蹤者是張志新(化名)和其女友劉穎搪柑,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體索烹,經(jīng)...
    沈念sama閱讀 43,558評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡工碾,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,007評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了百姓。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片渊额。...
    茶點(diǎn)故事閱讀 38,117評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出旬迹,到底是詐尸還是另有隱情火惊,我是刑警寧澤,帶...
    沈念sama閱讀 33,756評論 4 324
  • 正文 年R本政府宣布奔垦,位于F島的核電站屹耐,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏宴倍。R本人自食惡果不足惜张症,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,324評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望鸵贬。 院中可真熱鬧俗他,春花似錦、人聲如沸阔逼。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,315評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽嗜浮。三九已至羡亩,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間危融,已是汗流浹背畏铆。 一陣腳步聲響...
    開封第一講書人閱讀 31,539評論 1 262
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留吉殃,地道東北人辞居。 一個月前我還...
    沈念sama閱讀 45,578評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像蛋勺,于是被迫代替她去往敵國和親瓦灶。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,877評論 2 345

推薦閱讀更多精彩內(nèi)容