偏差和方差
image.png
偏差是模型輸出和真實(shí)值之間的誤差乳蛾,方差是模型輸出與期望之間的誤差绘搞,反映模型的泛化能力遣钳。
高偏差是欠擬合扰魂,高方差是過(guò)擬合。
分類(lèi)模型評(píng)測(cè)指標(biāo)
image.png
ROC曲線和AUC曲線
ROC曲線 橫軸FPR即實(shí)際為負(fù)的樣本中預(yù)測(cè)為正的rate,縱軸TPR即實(shí)際為正的樣本中預(yù)測(cè)為正的rate蕴茴,設(shè)置不同的閾值劝评,有不同的FPR和TPR(一般將數(shù)據(jù)的score由于大到小排列設(shè)置來(lái)設(shè)置閾值)得到ROC曲線。
AUC曲線即ROC曲線下的面積倦淀,表示的含義是隨機(jī)選擇一個(gè)正樣本和負(fù)樣本蒋畜,當(dāng)前算法輸出結(jié)果將正樣本排在前面的概率是AUC值。