“Why Should I Trust You?”
Explaining the Predictions of Any Classifier
LIME: 可解釋任意機(jī)器學(xué)習(xí)模型預(yù)測(cè)結(jié)果的通用方法
https://arxiv.org/pdf/1602.04938.pdf
通過(guò)可視化來(lái)判斷模型是不是符合人理解的
LIME
Local: 只能擬合出待測(cè)樣本的局部模型的行為
Interpretable:它的結(jié)果是人類可以理解的
Model-agnostic:通用的舌狗,與模型無(wú)關(guān)的
Explanation:可解釋的
LIME可解釋性分析——表格數(shù)據(jù)
對(duì)特征進(jìn)行隨機(jī)擾動(dòng),再把擾動(dòng)樣本輸入到模型中蚪拦,得到預(yù)測(cè)結(jié)果杖剪,擾動(dòng)的樣本作為特征冻押,訓(xùn)練一個(gè)可解釋性模型,就可以分析出每一個(gè)特征在這個(gè)模型中的重要度
LIME可解釋性分析——圖像數(shù)據(jù)
把原圖做聚類洛巢,分成n個(gè)超像素的圖塊,每個(gè)圖塊都可以存在或者不存在次兆,不存在抹成灰色稿茉,會(huì)生成2的M次方領(lǐng)域的樣本
LIME可解釋性分析——文本數(shù)據(jù)
實(shí)驗(yàn)
- 不同模型中挑出更好的模型
準(zhǔn)確率高的模型不一定真的靠譜 - 根據(jù)解釋做特征工程澳骤,進(jìn)一步改進(jìn)模型
- 根據(jù)解釋發(fā)現(xiàn)模型異常,特征不一定是科學(xué)的
LIME的優(yōu)點(diǎn)
- 兼容任意一種機(jī)器學(xué)習(xí)算法
- 特征重要性:解釋澜薄、理解为肮、信賴、改進(jìn)(特征工程)
- what- if場(chǎng)景:如果每個(gè)月多掙500元肤京,額度是多少
- 可解釋單個(gè)樣本預(yù)測(cè)結(jié)果颊艳、選取代表性樣本
- 可人工設(shè)計(jì)、構(gòu)造可解釋特征
LIME的缺點(diǎn)
- 人工設(shè)計(jì)忘分、構(gòu)造的可解釋性特征棋枕,不一定是科學(xué)的
- “局部線性”可能無(wú)法擬合原模型
- 不同樣本,如何計(jì)算領(lǐng)域樣本權(quán)重(覆蓋是多大妒峦?)LIME的改進(jìn):自適應(yīng)距離
- 每個(gè)待測(cè)樣本都需要訓(xùn)練對(duì)應(yīng)可解釋模型重斑、耗時(shí)長(zhǎng)
問(wèn)題:
如何構(gòu)建可解釋性特征?