在模型通過(guò) GridSearchCV 進(jìn)行特征調(diào)優(yōu)的過(guò)程中,scoring 參數(shù)的選擇十分重要泣洞。通常模型用的最多的還是 F1 和 ROC-AUC宴抚,但是在多分類(lèi)下,選擇 roc_auc 或者 f1 作為分類(lèi)器的 scoring 標(biāo)準(zhǔn)就會(huì)報(bào)錯(cuò)奠蹬,而需要使用 f1_weighted 比較合適。
scikit-learn文檔解釋?zhuān)篽ttp://scikit-learn.org/stable/modules/generated/sklearn.metrics.precision_recall_fscore_support.html
所以現(xiàn)在實(shí)驗(yàn)的結(jié)果是:
(1)二分類(lèi)評(píng)判指標(biāo):f1嗡午,roc_auc
(2)多分類(lèi)評(píng)判指標(biāo):f1_weighted
另外通過(guò)程序測(cè)試可知囤躁,全部的候選選項(xiàng)有:
Valid options are ['accuracy', 'adjusted_mutual_info_score', 'adjusted_rand_score', 'average_precision', 'completeness_score', 'explained_variance', 'f1', 'f1_macro', 'f1_micro', 'f1_samples', 'f1_weighted', 'fowlkes_mallows_score', 'homogeneity_score', 'mutual_info_score', 'neg_log_loss', 'neg_mean_absolute_error', 'neg_mean_squared_error', 'neg_mean_squared_log_error', 'neg_median_absolute_error', 'normalized_mutual_info_score', 'precision', 'precision_macro', 'precision_micro', 'precision_samples', 'precision_weighted', 'r2', 'recall', 'recall_macro', 'recall_micro', 'recall_samples', 'recall_weighted', 'roc_auc', 'v_measure_score']
最后附注一篇系統(tǒng)講述 "機(jī)器學(xué)習(xí)評(píng)價(jià)指標(biāo)" 的文章,便于日后總結(jié):http://www.36dsj.com/archives/42271