經驗誤差與選擇
均方誤差一般定義 : E(f;D)=\frac{1}m\sum_{n=1}^{m}(f(x_i)-y_i)^2
錯誤率:E(f;D)=\frac{1}m\sum_{n=1}^{m}I(f(x_i)\neq y_i)
精度:\begin{aligned} acc(f;D) &=\frac{1}m\sum_{n=1}^{m}I(f(x_i)=y_i) \\&= 1-E(f;D)\end{aligned}
分類結果混淆矩陣
準確率(查準率):從預測結果的角度看恃鞋,預測正確的占比P=\frac{TP}{TP+FP}
召回率(查全率):從真實情況的角度看蜂科,預測正確的占比R=\frac{TP}{TP+FN}
P-R曲線與平衡點示意圖
"平衡點" (Break-Event Point地回,簡稱BEP)就是這樣一個度量澈魄,它是" 準確率(查準率)=召回率(查全率)"時的取值,如上圖中學習器C 的BEP 是0 . 64弧蝇,而基于BEP
的比較猬错,可認為學習器A 優(yōu)于B 犀变。(BEP越大越好)
F1范數(shù):
F1 是基于查準率與查全率的調和平均(harinonic mean)定義的:\frac{1}{F1} = \frac{1}{2}*(\frac{1}{P}+\frac{1}{R})
F1的更一般形式為 F_\beta, 能夠表達出對準確率(查準率)和召回率(查全率)的不同偏好:\frac{1}{F_\beta} = \frac{1}{1+\beta^2}*(\frac{1}{P}+\frac{\beta^2}{R})
注:調和平均數(shù)更重視極小值的影響
"真正例率" (True Positive Rate罗标,簡稱TPR): TPR = \frac{TP}{TP+FN}
注:TPR 和召回率一樣
"假正例率" (False Positive Rate庸队,簡稱FPR):FPR = \frac{FP}{TN+FP}
注:真實負樣本中,被預測錯的占比
ROC曲線與AUC