“Why Should I Trust You?”
Explaining the Predictions of Any Classifier
LIME: 可解釋任意機(jī)器學(xué)習(xí)模型預(yù)測(cè)結(jié)果的通用方法
https://arxiv.org/pdf/1602.04938.pdf
通過(guò)可視化來(lái)判斷模型是不是符合人理解的
LIME
Local: 只能擬合出待測(cè)樣本的局部模型的行為
Interpretable：它的結(jié)果是人類可以理解的
Model-agnostic：通用的舌狗，與模型無(wú)關(guān)的
Explanation：可解釋的
LIME可解釋性分析——表格數(shù)據(jù)
對(duì)特征進(jìn)行隨機(jī)擾動(dòng)，再把擾動(dòng)樣本輸入到模型中蚪拦，得到預(yù)測(cè)結(jié)果杖剪，擾動(dòng)的樣本作為特征冻押，訓(xùn)練一個(gè)可解釋性模型，就可以分析出每一個(gè)特征在這個(gè)模型中的重要度
LIME可解釋性分析——圖像數(shù)據(jù)
把原圖做聚類洛巢，分成n個(gè)超像素的圖塊，每個(gè)圖塊都可以存在或者不存在次兆，不存在抹成灰色稿茉，會(huì)生成2的M次方領(lǐng)域的樣本
LIME可解釋性分析——文本數(shù)據(jù)
實(shí)驗(yàn)
- 不同模型中挑出更好的模型
準(zhǔn)確率高的模型不一定真的靠譜 - 根據(jù)解釋做特征工程澳骤，進(jìn)一步改進(jìn)模型
- 根據(jù)解釋發(fā)現(xiàn)模型異常，特征不一定是科學(xué)的
LIME的優(yōu)點(diǎn)
- 兼容任意一種機(jī)器學(xué)習(xí)算法
- 特征重要性：解釋澜薄、理解为肮、信賴、改進(jìn)（特征工程）
- what- if場(chǎng)景：如果每個(gè)月多掙500元肤京，額度是多少
- 可解釋單個(gè)樣本預(yù)測(cè)結(jié)果颊艳、選取代表性樣本
- 可人工設(shè)計(jì)、構(gòu)造可解釋特征
LIME的缺點(diǎn)
- 人工設(shè)計(jì)忘分、構(gòu)造的可解釋性特征棋枕，不一定是科學(xué)的
- “局部線性”可能無(wú)法擬合原模型
- 不同樣本，如何計(jì)算領(lǐng)域樣本權(quán)重(覆蓋是多大妒峦？)LIME的改進(jìn)：自適應(yīng)距離
- 每個(gè)待測(cè)樣本都需要訓(xùn)練對(duì)應(yīng)可解釋模型重斑、耗時(shí)長(zhǎng)
問(wèn)題：
如何構(gòu)建可解釋性特征？
