- 有哪些常見(jiàn)的評(píng)價(jià)指標(biāo)
精確度就是你猜的有多準(zhǔn)劲适，?璃吧，召回率就是你把多少正確的找到了?碳胳，分子都是 TP，也就是預(yù)測(cè)對(duì)的正樣本延赌。當(dāng)我們把閾值定的很高時(shí)，此時(shí)精確率往往很高叉橱，但召回率一般很低挫以。相反，當(dāng)閾值很低時(shí)窃祝，召回率很高掐松，但精確率很低
F1值：精確率和召回率的調(diào)和平均數(shù)，?
P-R 曲線
ROC曲線：橫軸為為 FPR粪小，即 FP 占所有負(fù)樣本的比例大磺，縱軸為 TPR，即TP 占所有正樣本的比例探膊，ROC曲線下的面積為AUC量没，AUC表示隨機(jī)抽取一個(gè)陽(yáng)性樣本和一個(gè)陰性樣本，分類器正確判斷陽(yáng)性樣本的值高于陰性樣本的概率
靈敏度：TPR突想，識(shí)別出的特例占所有正例的比例
特異度：TNR殴蹄，識(shí)別出的負(fù)例占所有負(fù)例的比例
F-score：? 其中?用來(lái)平衡精確率和召回率，如果?取1猾担，表示P和R一樣重要袭灯，如果?小于1，表示P比R重要绑嘹，如果?大于1稽荧，表示R比P重要。通常情況下工腋，?取1姨丈，即兩個(gè)指標(biāo)一樣重要
正負(fù)樣本比例的改變不會(huì)導(dǎo)致ROC曲線的明顯變化畅卓，所以在正負(fù)樣本不平衡的情況下一般用ROC值
- ROC 曲線相比 P-R 曲線有什么特點(diǎn)
相比 P-R 曲線，ROC 曲線在正負(fù)樣本的分布發(fā)生變化時(shí)蟋恬，ROC 曲線的形狀能夠基本保持不變翁潘，而 P-R 曲線的形狀一般會(huì)發(fā)生較劇烈的變動(dòng)。這個(gè)特點(diǎn)讓 ROC 曲線能夠盡量降低不同測(cè)試集帶來(lái)的干擾歼争。
ROC拜马、AUC
(0,1)是一個(gè)完美的分類器，所有的樣本都為負(fù)樣本 (1,0)是一個(gè)糟糕的分類器沐绒，成功避開(kāi)了所有正確答案 (0,0)將所有樣本都預(yù)測(cè)為負(fù)樣本 (1,1)將所有樣本都分類為正樣本俩莽，對(duì)角線上的點(diǎn)是一個(gè)隨機(jī)猜測(cè)策略的分類器的結(jié)果
相比于準(zhǔn)確率、召回率乔遮、F1等指標(biāo)扮超，AUC有一個(gè)獨(dú)特的優(yōu)勢(shì)，就是不關(guān)注具體得分蹋肮，只關(guān)注排序結(jié)果出刷。這使得它特別適用于排序問(wèn)題的效果評(píng)估，例如推薦排序的評(píng)估括尸。
AUC有兩種解釋方法巷蚪，一種是傳統(tǒng)的“曲線下面積”解釋病毡，另一種是關(guān)于排序能力的解釋濒翻。例如0.7的AUC，可以理解為給定一個(gè)正樣本和一個(gè)負(fù)樣本啦膜，在70%的情況下有送，模型對(duì)正樣本的打分高于負(fù)樣本的打分，只關(guān)心正負(fù)樣本之間分?jǐn)?shù)的高低僧家，而具體的分值無(wú)關(guān)緊要
PR曲線會(huì)面臨的問(wèn)題是雀摘，當(dāng)需要獲得更高recall時(shí)，model需要輸出更多的樣本八拱，precision可能會(huì)伴隨出現(xiàn)下降/不變/升高阵赠，得到的曲線會(huì)出現(xiàn)浮動(dòng)差異
相比于準(zhǔn)確率、召回率肌稻、F1值等依賴于判決閾值的評(píng)估指標(biāo)清蚀，AUC則沒(méi)有這個(gè)問(wèn)題
- ROC為什么不受正負(fù)樣本比例影響
ROC的橫坐標(biāo)為FPR，縱坐標(biāo)為T(mén)PR（也就是recall）
FPR = FP/所有負(fù)樣本 TPR = TP/所有正樣本 這兩個(gè)值都只與類內(nèi)分布有關(guān)爹谭，與類與類之間的大小關(guān)系無(wú)關(guān)
為什么AUC對(duì)正負(fù)樣本比例不敏感枷邪，主要是AUC可以看做隨機(jī)選取一對(duì)正負(fù)樣本，其中正樣本的得分高于負(fù)樣本的概率
為什么AUC可以看作隨機(jī)選取正負(fù)樣本诺凡，正樣本得分大于負(fù)樣本的比例
- AUC如何計(jì)算
對(duì)一批已知正負(fù)的樣本集合進(jìn)行分類东揣，按照預(yù)測(cè)概率從高到低排序践惑，對(duì)于正樣本中概率最高的，排序?yàn)閞ank1嘶卧，比它概率小的有M-1個(gè)正樣本（M為正樣本個(gè)數(shù)）尔觉，rank1-M個(gè)負(fù)樣本。脸候。穷娱。以此類推
總共有M*N個(gè)正負(fù)樣本對(duì)，把所有正樣本大于負(fù)樣本的例子加上运沦，得到公式：
化簡(jiǎn)之后得到
- 如果一個(gè)模型預(yù)測(cè)結(jié)果很好泵额，但是 RMSE 卻很高，可能是什么原因
很可能是存在非常嚴(yán)重的離群點(diǎn)携添。 如果認(rèn)為離群點(diǎn)是噪聲點(diǎn)嫁盲，就要在數(shù)據(jù)預(yù)處理時(shí)把這些離群點(diǎn)濾掉。如果不認(rèn)為是噪聲點(diǎn)烈掠，就要提高模型的預(yù)測(cè)能力羞秤。或者是可以找一個(gè)更合適的指標(biāo)來(lái)評(píng)價(jià)該模型左敌。
