沒(méi)有測(cè)量，就沒(méi)有科學(xué) ——門捷列夫
原本之前的知識(shí)點(diǎn)總結(jié)里面沒(méi)有太多關(guān)于模型評(píng)估的內(nèi)容，QA這部分開(kāi)始也沒(méi)打算單獨(dú)整理出來(lái)模型評(píng)估的部分蜕着。不過(guò)考慮到一個(gè)模型的評(píng)估指標(biāo)是一個(gè)機(jī)器學(xué)習(xí)任務(wù)核心的部分，需要清楚各類機(jī)器學(xué)習(xí)任務(wù)的評(píng)估指標(biāo)尚蝌，那就匯總整理一下。
- 評(píng)估指標(biāo)
- 評(píng)估方法
評(píng)估指標(biāo)
機(jī)器學(xué)習(xí)的問(wèn)題主要有分類充尉、回歸飘言、聚類等等
當(dāng)我們選擇評(píng)估指標(biāo)的時(shí)候，要考慮具體的任務(wù)目標(biāo)喉酌，要考慮具體的數(shù)據(jù)樣本热凹。有的時(shí)候我們關(guān)注準(zhǔn)確率，有時(shí)候關(guān)注精準(zhǔn)率泪电，有時(shí)候更關(guān)注召回般妙，不同的指標(biāo)結(jié)果評(píng)定不同的任務(wù)產(chǎn)出。
1相速、分類
1.1 準(zhǔn)確率 Accuracy
準(zhǔn)確率指的是分類正確的樣本占總樣本個(gè)數(shù)的比例：
其中是分類正確的樣本數(shù)碟渺， N是樣本總數(shù)。
準(zhǔn)確率是我們最常見(jiàn)最基本的評(píng)估指標(biāo)突诬，但是我們常見(jiàn)的機(jī)器學(xué)習(xí)任務(wù)中遇到的數(shù)據(jù)太多數(shù)情況下都是正負(fù)樣本不均衡苫拍，這個(gè)時(shí)候就沒(méi)有什么參考價(jià)值了。
比如一個(gè)數(shù)據(jù)樣本中旺隙，正樣本比例為99%绒极，那我們把全部樣本預(yù)測(cè)為正樣本那就可以得到99%的準(zhǔn)確率，我們一看蔬捷，哇垄提，準(zhǔn)確率這么高，拿著這個(gè)模型去預(yù)測(cè)新數(shù)據(jù)集周拐，GG......顯然是不合適的铡俐。
1.2 混淆矩陣
我們假設(shè)是二分類模型，那必然有樣本的真實(shí)情況和模型的預(yù)測(cè)情況妥粟，我們將真實(shí)情況和預(yù)測(cè)情況放在同一個(gè)表格里面审丘，這就是混淆矩陣（Confusion Matrix）。如下圖所示勾给。
其中：
T：True, F：False, P：Positive, N: Negative.
True positive 真正例：實(shí)際為正滩报，預(yù)測(cè)為正
False positive 假正例：實(shí)際為負(fù)锅知，預(yù)測(cè)為正
True negative 真反例：實(shí)際為負(fù)，預(yù)測(cè)為負(fù)
False negative 假反例：實(shí)際為正露泊，預(yù)測(cè)為負(fù)
根據(jù)這個(gè)表喉镰，我們可以將上面的準(zhǔn)確率表示為
為什么要這個(gè)混淆矩陣呢旅择，我認(rèn)為這樣可以把更精細(xì)的把結(jié)果評(píng)估分離出來(lái)惭笑，我們可以根據(jù)具體的任務(wù)來(lái)選擇需要的數(shù)據(jù)結(jié)果進(jìn)行來(lái)計(jì)算評(píng)估。
1.3 精確率（查準(zhǔn)率）Precision生真、召回率（查全率）Recall
精確率Precision指的是分類正確的正樣本數(shù)占預(yù)測(cè)出來(lái)為正樣本個(gè)數(shù)的比例沉噩。
白話就是說(shuō)，我模型預(yù)測(cè)說(shuō)它們是正樣本柱蟀，那這個(gè)里面到底多少是真正的正樣本呢川蒙。
分母是TP+FP，看的是在模型預(yù)測(cè)出來(lái)的樣本里面长已。
召回率Recall指的是分類正確的正樣本數(shù)占真正的正樣本個(gè)數(shù)的比例畜眨。
白話說(shuō)就是，在真正的正樣本里面术瓮，實(shí)際的正樣本的里面康聂，我能找出來(lái)多少，能預(yù)測(cè)出來(lái)多少胞四。
分母是TP+FN恬汁，看的是實(shí)際樣本。
但是Precision和Recall兩者既矛盾又統(tǒng)一辜伟，為了提高Precision氓侧，那預(yù)測(cè)的時(shí)候就更加保守，把更有把握的樣本才預(yù)測(cè)為正樣本导狡，但是同時(shí)因?yàn)槟Ｐ偷谋Ｊ卦枷铮艞壓芏嘤锌赡茴A(yù)測(cè)為正的樣本，導(dǎo)致Recall降低旱捧。
一方面我們需要根據(jù)具體的業(yè)務(wù)場(chǎng)景來(lái)選擇是用Precision還是Recall來(lái)評(píng)定独郎，一方面我們需要其他的指標(biāo)來(lái)綜合Precision和Recall。
1.4 PR曲線
P-R曲線廊佩，橫軸是Recall囚聚，縱軸是Precision。
PR曲線如何繪制标锄。
我們將模型的預(yù)測(cè)結(jié)果對(duì)樣例進(jìn)行排序顽铸，預(yù)測(cè)出來(lái)的概率0-1之間，我們降序排列料皇，前面的更有可能是正樣本谓松，越到后面越有可能是負(fù)樣本星压，這就是一個(gè)閾值選擇的問(wèn)題。我們按照降序一個(gè)一個(gè)樣本劃分鬼譬，前面的為正娜膘，后面的為負(fù)，由此計(jì)算當(dāng)前的Recall优质，Precision竣贪，然后按照Recal為橫軸，Precision為縱軸作圖巩螃。
如果一個(gè)模型的PR曲線包住了另外一個(gè)演怎，比如上圖中的A、C避乏，我們說(shuō)A的性能優(yōu)于C爷耀。
我們引入一個(gè)平衡點(diǎn)（BEP），來(lái)比較BEP拍皮。
我們就是要找出一個(gè)閾值歹叮，找出一個(gè)平衡點(diǎn)，來(lái)兼顧Precision和Recall铆帽。
1.5 F1
我們需要一個(gè)指標(biāo)來(lái)綜合PR的性能咆耿，F(xiàn)1度量：
F1度量的一個(gè)一般形式是:
面試中可能會(huì)問(wèn)F1中的1指的是什么？這個(gè)1就是這里面的锄贼，度量了Recall對(duì)Precision的相對(duì)重要性票灰。
1.6 ROC與AUC
真正率：
分母是真實(shí)的正樣本數(shù)量，考慮的是正樣本方面
假正率：
分母是正式的負(fù)樣本數(shù)量宅荤，考慮的是負(fù)樣本方面
這樣ROC曲線中既考慮了正樣本屑迂，又考慮了負(fù)樣本，因此避免了正負(fù)樣本不平衡帶來(lái)的影響冯键。
與P-R曲線類似惹盼，我們根據(jù)模型的預(yù)測(cè)結(jié)果對(duì)樣例進(jìn)行排序，我們按照順序一個(gè)一個(gè)將樣本劃分成正惫确、負(fù)手报，每次計(jì)算兩個(gè)值，“真正率”做為縱軸改化，“假正率”做為橫軸掩蛤。
AUC指的是ROC曲線下的面積大小。由圖可見(jiàn)陈肛，一般ROC的曲線都在y=x直線上面揍鸟，AUC的取值一般為0.5-1之間，AUC越大句旱，說(shuō)明模型越可能把正真的正樣本排在前面阳藻，分類性能越好晰奖。
1.7 PR曲線與ROC曲線對(duì)比
按照周志華老師的《機(jī)器學(xué)習(xí)》中所說(shuō)。
相比P-R曲線腥泥，ROC曲線有一個(gè)特點(diǎn)匾南，當(dāng)正負(fù)樣本的分布發(fā)生變化時(shí)，ROC曲線的形狀能夠基本保持不變蛔外，而P-R曲線的形狀一般會(huì)發(fā)生較劇烈的變化蛆楞。
這樣可能讓ROC曲線能夠盡量降低不同測(cè)試集帶來(lái)的干擾，更加客觀地衡量模型本身的性能冒萄。
所以在推薦臊岸、廣告領(lǐng)域中橙数，ctr尊流、cvr模型中，往往正負(fù)樣本極其不平衡灯帮，負(fù)樣本是正樣本的很多很多倍崖技，所以這時(shí)候看ROC曲線，AUC的值就更為可靠钟哥。
2迎献、回歸
2.1 平均絕對(duì)誤差MAE（Mean Absolute Error）
2.2 平均平方誤差MSE（Mean Squared Error）
2.3 RMSE
RMSE能夠很好反應(yīng)回歸模型預(yù)測(cè)值與真實(shí)值的偏離程度。但是還是考慮實(shí)際的數(shù)據(jù)情況腻贰，如果存在個(gè)別的離群點(diǎn)吁恍，就會(huì)影響RMSE指標(biāo)結(jié)果。
參考HuLu老師們的話播演，
對(duì)于這種離群點(diǎn)冀瓦，怎么解決呢?
- 如果我們認(rèn)為這些點(diǎn)確實(shí)是噪聲，那在數(shù)據(jù)預(yù)處理階段就要處理掉写烤；
- 如果不認(rèn)為是噪聲翼闽，那我們就要進(jìn)一步提高模型的預(yù)測(cè)能力；
- 找一個(gè)更合適的指標(biāo)來(lái)評(píng)估洲炊，如下
2.4 平均絕對(duì)百分比誤差MAPE（Mean Absolute Percent Error）
相比RMSE感局，MAPE相當(dāng)于把每個(gè)點(diǎn)的誤差進(jìn)行了歸一化，降低了個(gè)別離群點(diǎn)帶來(lái)的絕對(duì)誤差的影響暂衡。
3询微、除此之外，LR狂巢、SVM撑毛、聚類等等算法都有對(duì)應(yīng)的損失函數(shù)，評(píng)估指標(biāo)隧膘，后續(xù)小結(jié)再整理
評(píng)估方法
1代态、留出法
“留出法“直接將數(shù)據(jù)集劃分為兩個(gè)互斥的集合寺惫，一個(gè)作為訓(xùn)練集，一個(gè)作為測(cè)試集蹦疑。
train/test在劃分的時(shí)候要盡可能地保持?jǐn)?shù)據(jù)分布一致西雀，避免劃分之后帶來(lái)額外地偏差。
我們可以多次隨機(jī)劃分歉摧，重復(fù)的實(shí)驗(yàn)艇肴，最終的評(píng)估結(jié)果就是多次實(shí)驗(yàn)結(jié)果的平均。
如果樣本數(shù)據(jù)集比較少叁温，評(píng)估的結(jié)果就太不可信了再悼，偏差大。
我們用的比較多的就是sklearn里面的train_test_split膝但。
2冲九、交叉驗(yàn)證法
“交叉驗(yàn)證法”就是先將數(shù)據(jù)集劃分k個(gè)大小相似的互斥子集，同樣所有子集都盡可能保持?jǐn)?shù)據(jù)分布一致跟束。每次利用k-1個(gè)子集作為訓(xùn)練集莺奸，剩下的一個(gè)作為測(cè)試集。這樣我們可獲得K組train/test冀宴，進(jìn)行K次訓(xùn)練和測(cè)試灭贷，最終返回k個(gè)測(cè)試結(jié)果的均值。也稱”k折交叉驗(yàn)證”
如圖為10折交叉驗(yàn)證
我們可以利用sklearn中的KFold略贮。
3甚疟、自助法
“自助法“是以自助采樣法作為基礎(chǔ)。
從m個(gè)樣本的數(shù)據(jù)集D逃延，隨機(jī)采樣(選)一個(gè)樣本览妖，拷貝入訓(xùn)練D’，放回真友，繼續(xù)隨機(jī)挑選黄痪，直至m次。
樣本在m次采樣中始終不被采樣到的概率是盔然，取極限得到：
實(shí)際評(píng)估的模型與期望評(píng)估的模型都使用m個(gè)訓(xùn)練樣本桅打，而仍有約1/3的沒(méi)有在訓(xùn)練集的樣本用于測(cè)試。
自助法在數(shù)據(jù)集較小愈案、難以有效劃分訓(xùn)練/測(cè)試集時(shí)很有用挺尾。在初始數(shù)據(jù)量足夠時(shí)，留出法和交叉驗(yàn)證法更常用站绪。
