Evaluating Classification and Predictive Performance
評(píng)估識(shí)別與預(yù)測(cè)的效果
經(jīng)典（簡(jiǎn)單原始）的分類識(shí)別器（classifier）評(píng)估方法：
對(duì)判斷數(shù)據(jù)的分類
判斷數(shù)據(jù)的分類：
1)TP（0措伐，0）(True Positive):分類器判斷為Positive且判斷正確
2)TN（0坪哄，1）(True Negative):分類器判斷為Negative且判斷正確
3)FP（1，0）(False Positive):分類器判斷為Positive,判斷錯(cuò)誤
4)FN（1诵肛，1）(Flase Negative):分類器判斷為Negative,判斷錯(cuò)誤
最簡(jiǎn)單的錯(cuò)誤率評(píng)估方法：
簡(jiǎn)單方法
G-mean準(zhǔn)確率評(píng)估：判斷正確狀態(tài)的數(shù)量/所有該狀態(tài)的數(shù)量
G-mean
ACC+
ACC-
F-measure準(zhǔn)確率評(píng)估（用于搜索引擎）：判斷正確狀態(tài)的數(shù)量/所有判斷為該狀態(tài)的數(shù)量
F-measure
Precision
Recall
準(zhǔn)確率評(píng)估參數(shù)
1）Sensitivity: % (or proportion) of “C1” class correctly classified
2）Specify: % of “C0” class correctly classified
3)TPR(True Positive Rate)=TP/(TP+FN)
4)TNR(True Negative Rate)=TN/(TN+FP)
ROC曲線
ROC曲線
Cutoff for Classification
一般镀虐，數(shù)據(jù)挖掘算法的驗(yàn)證調(diào)教分為兩步：
- Compute probability of belonging to class “1”
- Compare to cutoff value, and classify accordingly
（簡(jiǎn)單說(shuō)就是設(shè)定一個(gè)分界值參數(shù)（根據(jù)具體的算法）將數(shù)據(jù)分為兩塊箱蟆，調(diào)整分界值，尋找可以最佳的把所需信息提取識(shí)別出來(lái)的分界值參數(shù)）
Lift&Decile Charts（等分圖）：
作用1：直觀看到算法為classification帶來(lái)的提升比例
提升比例
作用2：找到該算法對(duì)于什么規(guī)模的數(shù)據(jù)有最大效果：
規(guī)模匹配
判斷值（Positive&Negative）的不同對(duì)于主題的加權(quán)影響
有些情況下刮便，判斷的結(jié)果是有不同權(quán)值的（如癌癥診斷空猜，錯(cuò)誤判斷為沒(méi)有病，則付出的代價(jià)很大）
對(duì)訓(xùn)練集的超采樣方法
數(shù)據(jù)分為response(數(shù)據(jù)量較少)與non-response(數(shù)據(jù)量較多)
1）將respones與non-response分離為兩個(gè)集合（strata）
2）隨機(jī)在兩個(gè)集合取數(shù)據(jù)作為訓(xùn)練集(training set),一般取response中的一半數(shù)據(jù)恨旱，取non-response中的等量數(shù)據(jù)
3）剩余的response放到validation集合中
4）non-response按照原來(lái)的與response的比例隨機(jī)取值放到validation set
5）之后生成test set辈毯，即在validation set中隨機(jī)取樣
