特征重要性作用與來源
? 特征重要性堕油，我們一般用來觀察不同特征的貢獻度。排名靠前的肮之，我們認為是重要的掉缺。這一思路，通常被用來做特征篩選戈擒。剔除貢獻度不高的尾部特征眶明，增強模型的魯棒性，起到特征降維的作用筐高。另一方面搜囱，則是用來做模型的課解釋性丑瞧。我們期望的結果是：重要的特征是復合業(yè)務直覺的；符合業(yè)務直覺的特征排名靠前蜀肘。在實際操作中绊汹，我們一般用樹模型的分類點來做文章。常用的就是XGB和其他一般樹模型扮宠。
XGB內置的三種特征重要性計算方法1--weight
xgb.plot_importance這是我們常用的繪制特征重要性的函數(shù)方法西乖。其背后用到的貢獻度計算方法為weight。
?'weight' - the number of times a feature is used to split the data across all trees.
簡單來說涵卵，就是在子樹模型分裂時浴栽，用到的特征次數(shù)。這里計算的是所有的樹轿偎。這個指標在R包里也稱為frequency2典鸡。
XGB內置的三種特征重要性計算方法2--gain
model.feature_importances_這是我們調用特征重要性數(shù)值時，用到的默認函數(shù)方法坏晦。其背后用到的貢獻度計算方法為gain萝玷。
?'gain'-the average gain across all splits the feature is used in.
gain是信息增益的泛化概念。這里是指節(jié)點分裂時昆婿，該特征帶來信息增益(目標函數(shù))優(yōu)化的平均值球碉。
XGB內置的三種特征重要性計算方法3--cover
model = XGBRFClassifier(importance_type = 'cover')這個計算方法，需要在定義模型時定義仓蛆。之后再調用
model.feature_importances_得到的便是基于cover的貢獻度睁冬。
'cover' - the average coverage across all splits the feature is used in.
cover形象來說，就是樹模型在分裂時看疙，特征下的葉子節(jié)點涵蓋的樣本數(shù)除以特征用來分裂的次數(shù)豆拨。分裂越靠近根部，cover值越大能庆。
使用場景
weight將給予數(shù)值特征更高的值施禾，因為它的變數(shù)越多，樹分裂時可切割的空間越大搁胆。所以這個指標弥搞，會掩蓋掉重要的枚舉特征。
gain用到了熵增的概念渠旁，它可以方便的找出最直接的特征攀例。即如果某個特征下的0,在label下全是0，則這個特征一定會排的靠前顾腊。
cover對于枚舉特征肛度，會更友好。同時投慈，它沒有過度擬合目標函數(shù)承耿。不接受目標函數(shù)的量綱影響冠骄。
調用他們的方式如下
# avaliable importance_types = ['weight','gain','cover','total_gain','total_cover']
f = "gain"
XGBClassifier.get_booster().get_score(importamce_type=f)
在實踐中，也會發(fā)現(xiàn)加袋，gain排出來的順序的頭尾部值差距較大凛辣，這是因為信息增益計算時，后續(xù)的優(yōu)化可能都不是一個量級职烧。類似于神經網絡在優(yōu)化損失函數(shù)時扁誓，后續(xù)的量綱可能是十倍、百倍的差異蚀之。所以蝗敢，綜上而言，如果有下游業(yè)務方足删，更建議用cover的特征重要性計算方法寿谴。當然，如果是單純的模型調優(yōu)失受，gain能指出最重要的特征讶泰。這些特征，某些場景下還能總結成硬規(guī)則拂到。
其他重要計算方法4 -- permutation
除了上述內置的重要性計算方法外痪署，還有其他其他第三方計算方式。
permutation:如果這個特征很重要兄旬，那么我們打散所有樣本中的該特征狼犯，則最后的優(yōu)化目標將折損。這里的折損程度领铐，就是特征的重要程度悯森。由于其計算依賴單一特征，所以對非線形模型更友好罐孝。同時，如果特征中存在多重共線性肥缔，共線性的特征重要性都將非沉ぃ靠后。這是因為混淆單一特征续膳，不影響另一個特征的貢獻改艇。這樣的結果是，即使特征很重要坟岔，也會排的很靠后谒兄。
針對多重共線特征，sklearn文檔中提到了一種解決方法：計算特征間的spearman rankk-order correlations,取得每一組中的頭部特征社付，再進行特征重要性計算承疲。這種方法邻耕，實際上是在解決特征共線的問題。
其他模型的特征重要性計算方法
對于同樣的樹模型燕鸽，Random Forest和GBDT兄世，同樣也有內置的特征重要性。Random Forest使用rf.feature_importances_得到特征重要性啊研。其中御滩，分類任務計算的是gini不純度/信息熵〉吃叮回歸任務計算的是樹的方差削解。這種基于不純度(Mean Decrease in Impurity)的方法，實際上會有兩個問題存在：(1)會給予變量空間更大的特征更多的關注沟娱，而二分類特征則會靠后氛驮。(2)結果的擬合是基于訓練集的，存在過擬合風險花沉，沒有驗證集數(shù)據(jù)做驗證柳爽。
? ? 針對上述的問題，建議通過out-of-bag(OOB)方法碱屁，在剩下數(shù)據(jù)上做驗證磷脯，結合Permutation計算特征重要性。此外娩脾，GBDT也是基于不純度計算的特征重要性赵誓，不過其在單棵樹上，是回歸樹柿赊，所以不是基于gini系數(shù)俩功，而是MSE或MAE。
? ? 至于為什么他們同為樹模型碰声，且都是基于不存度計算的重要性诡蜓，但結果不同。主要有兩個胰挑，一個是它們樹結構不同蔓罚；第二個則是它們的優(yōu)化對象不同。
