建模后可解釋性機(jī)器學(xué)習(xí)：
- 特征重要性（模型自帶Feature Importance）
- Permutation Importance
- SHAP
- Partial Dependence
1闲询、特征重要性（Feature Importance）
特征重要性的作用 -> 快速的讓你知道哪些因素是比較重要的涤浇，但是不能得到這個(gè)因素對(duì)模型結(jié)果的正負(fù)向影響宙拉，同時(shí)傳統(tǒng)方法對(duì)交互效應(yīng)的考量會(huì)有些欠缺。
如果想要知道哪些變量比較重要的話(huà)懦傍”⒁ǎ可以通過(guò)模型的feature_importances_方法來(lái)獲取特征重要性。例如xgboost的feature_importances_可以通過(guò)特征的分裂次數(shù)或利用該特征分裂后的增益來(lái)衡量粗俱。
計(jì)算方法是：Mean Decrease Impurity说榆。
思想：一個(gè)特征的意義在于降低預(yù)測(cè)目標(biāo)的不確定性，能夠更多的降低這種不確定性的特征就更重要寸认。即特征重要性計(jì)算依據(jù)某個(gè)特征進(jìn)行決策樹(shù)分裂時(shí)娱俺，分裂前后的信息增益（基尼系數(shù)）
import pandas as pd
from sklearn.datasets import load_iris
import xgboost as xgb
iris = load_iris()
df = pd.DataFrame(iris.data,columns=iris.feature_names) #轉(zhuǎn)化成DataFrame格式
target = iris.target
xgb_model = xgb.XGBClassifier()
clf = xgb_model.fit(df.values, target)
a=clf.feature_importances_
features = pd.DataFrame(sorted(zip(a,df.columns),reverse=True))
2、Permutation Importance（排列重要性）
常規(guī)思路废麻，很容易想到，在訓(xùn)練模型的時(shí)候可以直接輸出特征重要性模庐，但這個(gè)特征對(duì)整體的預(yù)測(cè)效果有多大影響烛愧？可以用Permutation Importance進(jìn)行計(jì)算。
思想:基于“置換檢驗(yàn)”的思想對(duì)特征重要性進(jìn)行檢測(cè)掂碱，怜姿，一定是在model訓(xùn)練完成后，才可以計(jì)算的疼燥。簡(jiǎn)單來(lái)說(shuō)沧卢，就是改變數(shù)據(jù)表格中某一列的數(shù)據(jù)的排列，保持其余特征不動(dòng)醉者，看其對(duì)預(yù)測(cè)精度的影響有多大但狭。
使用ELI5庫(kù)可以進(jìn)行Permutation Importance的計(jì)算。
import eli5
from eli5.sklearn import permutationImportance
perm = PermutationImportance(xgb_model, random_state = 1).fit(df, target) # 實(shí)例化
eli5.show_weights(perm)
結(jié)果分析：
靠近上方的綠色特征撬即，表示對(duì)模型預(yù)測(cè)較為重要的特征立磁；
為了排除隨機(jī)性，每一次 shuffle 都會(huì)進(jìn)行多次剥槐，然后取結(jié)果的均值和標(biāo)準(zhǔn)差唱歧；
±后面的數(shù)字表示多次隨機(jī)重排之間的差異值。
這個(gè)例子里粒竖，最重要的特征是第三個(gè) ‘petal length (cm)’, 和feature_importances_輸出結(jié)果一致颅崩。
3、Partial Dependence
Partial Dependence就是用來(lái)解釋某個(gè)特征和目標(biāo)值y的關(guān)系的蕊苗，一般是通過(guò)畫(huà)出Partial Dependence Plot(PDP)來(lái)體現(xiàn)沿后。
partial dependence是什么意思？-SofaSofa
4朽砰、SHAP(SHapley Additive exPlanation)
以上都是全局可解釋性方法得运，那局部可解釋性膝蜈，即單個(gè)樣本來(lái)看，模型給出的預(yù)測(cè)值和某些特征可能的關(guān)系熔掺，這就可以用到SHAP饱搏。
SHAP 屬于模型事后解釋的方法，它的核心思想是計(jì)算特征對(duì)模型輸出的邊際貢獻(xiàn)置逻，再?gòu)娜趾途植績(jī)蓚€(gè)層面對(duì)“黑盒模型”進(jìn)行解釋推沸。SHAP構(gòu)建一個(gè)加性的解釋模型，所有的特征都視為“貢獻(xiàn)者”券坞。對(duì)于每個(gè)預(yù)測(cè)樣本鬓催，模型都產(chǎn)生一個(gè)預(yù)測(cè)值，SHAP value就是該樣本中每個(gè)特征所分配到的數(shù)值恨锚。
Shapley value起源于合作博弈論宇驾。比如說(shuō)甲乙丙丁四個(gè)工人一起打工，甲和乙完成了價(jià)值100元的工件猴伶，甲课舍、乙、丙完成了價(jià)值120元的工件他挎，乙筝尾、丙、丁完成了價(jià)值150元的工件办桨，甲筹淫、丁完成了價(jià)值90元的工件，那么該如何公平呢撞、合理地分配這四個(gè)人的工錢(qián)呢损姜？Shapley提出了一個(gè)合理的計(jì)算方法（有興趣地可以查看原論文），我們稱(chēng)每個(gè)參與者分配到的數(shù)額為Shapley value殊霞。
SHAP是由Shapley value啟發(fā)的可加性解釋模型薛匪。對(duì)于每個(gè)預(yù)測(cè)樣本，模型都產(chǎn)生一個(gè)預(yù)測(cè)值脓鹃，SHAP value就是該樣本中每個(gè)特征所分配到的數(shù)值逸尖。 假設(shè)第i個(gè)樣本為xi，第i個(gè)樣本的第j個(gè)特征為xi,j瘸右，模型對(duì)第i個(gè)樣本的預(yù)測(cè)值為yi娇跟，整個(gè)模型的基線(xiàn)（通常是所有樣本的目標(biāo)變量的均值）為ybase，那么SHAP value服從以下等式太颤。
基本思想：計(jì)算一個(gè)特征加入到模型時(shí)的邊際貢獻(xiàn)苞俘，然后考慮到該特征在所有的特征序列的情況下不同的邊際貢獻(xiàn)，取均值龄章，即某該特征的SHAPbaseline value
SHAP(SHapley Additive exPlanation)是Python開(kāi)發(fā)的一個(gè)"模型解釋"包吃谣，可以解釋任何機(jī)器學(xué)習(xí)模型的輸出乞封。
import shap #Python的可解釋機(jī)器學(xué)習(xí)庫(kù) pip install shap
shap.initjs() # notebook環(huán)境下，加載用于可視化的JS代碼
#模型還是用之前訓(xùn)練的
#xgb_model = xgb.XGBClassifier()
#clf = xgb_model.fit(df.values, target)
#在SHAP中進(jìn)行模型解釋需要先創(chuàng)建一個(gè)explainer岗憋，
#SHAP支持很多類(lèi)型的explainer(例如deep, gradient, kernel, linear, tree, sampling)
#我們先以tree為例肃晚，因?yàn)樗С殖Ｓ玫腦GB、LGB仔戈、CatBoost等樹(shù)集成算法关串。
explainer = shap.TreeExplainer(clf)
shap_values = explainer.shap_values(df) # 傳入特征矩陣，計(jì)算SHAP值
j = 60
y_base = explainer.expected_value
player_explainer = pd.DataFrame()
player_explainer['feature'] = df.columns
player_explainer['feature_value'] = df.iloc[j].values
player_explainer['shap_value'] = shap_values[j]
player_explainer
沒(méi)想到還有一本書(shū)MingchaoZhu/InterpretableMLBook: 《可解釋的機(jī)器學(xué)習(xí)--黑盒模型可解釋性理解指南》监徘，該書(shū)為《Interpretable Machine Learning》中文版 (github.com)
