reference: https://developer.aliyun.com/article/715920
簡介： 日前涨椒，由阿里巴巴研究型實(shí)習(xí)生張雪舟纽什、螞蟻金服高級(jí)算法專家婁寅撰寫的論文《Axiomatic Interpretability for Multiclass Additive Models》入選全球數(shù)據(jù)挖掘頂級(jí)會(huì)議KDD 2019。
日前谦纱，由阿里巴巴研究型實(shí)習(xí)生張雪舟艺普、螞蟻金服高級(jí)算法專家婁寅撰寫的論文《Axiomatic Interpretability for Multiclass Additive Models》入選全球數(shù)據(jù)挖掘頂級(jí)會(huì)議KDD 2019，本文為該論文的詳細(xì)解讀缠借。論文地址：https://www.kdd.org/kdd2019/accepted-papers/view/axiomatic-interpretability-for-multiclass-additive-models
前言
模型可解釋性是機(jī)器學(xué)習(xí)研究中的一個(gè)重要課題。這里我們研究的對(duì)象是廣義加性模型（Generalized Additive Models宜猜，簡稱GAMs）泼返。GAM在醫(yī)療等對(duì)解釋性要求較高的場景下已經(jīng)有了廣泛的應(yīng)用 [1]。
GAM作為一個(gè)完全白盒化的模型提供了比（廣義）線性模型（GLMs）更好的模型表達(dá)能力：GAM能對(duì)單特征和雙特征交叉（pairwise interaction）做非線性的變換姨拥。帶pairwiseinteraction的GAM往往被稱為GA2M绅喉。以下是GA2
M模型的數(shù)學(xué)表達(dá)：
其中g(shù)是linkfunction，fi和fij被稱為shape function垫毙，分別為模型所需要學(xué)習(xí)的特征變換函數(shù)霹疫。由于fi和fij都是低緯度的函數(shù)，模型中每一個(gè)函數(shù)都可以被可視化出來综芥，從而方便建模人員了解每個(gè)特征是如何影響最終預(yù)測(cè)的。例如在[1]中猎拨，年齡對(duì)肺炎致死率的影響就可以用一張圖來表示膀藐。
由于GAM對(duì)特征做了非線性變換屠阻，這使得GAM往往能提供比線性模型更強(qiáng)大的建模能力。在一些研究中GAM的效果往往能逼近Boosted Trees或者Random Forests [1, 2, 3]额各。
可視化圖像與模型的預(yù)測(cè)機(jī)制之間的矛盾
本文首先討論了在多分類問題的下国觉，傳統(tǒng)可解釋性算法（例如邏輯回歸，SVM）的可視化圖像與模型的預(yù)測(cè)機(jī)制之間存在的矛盾虾啦。如果直接通過這些未經(jīng)加工的可視化圖像理解模型預(yù)測(cè)機(jī)制麻诀，有可能造成建模人員對(duì)模型預(yù)測(cè)機(jī)制的錯(cuò)誤解讀。如圖1所示傲醉，左邊是在一個(gè)多分類GAM下age的shape function蝇闭。粗看之下這張圖表示了Diabetes I的風(fēng)險(xiǎn)隨年齡增長而增加。然而當(dāng)我們看實(shí)際的預(yù)測(cè)概率（右圖）硬毕，Diabetes I的風(fēng)險(xiǎn)其實(shí)應(yīng)該是隨著年齡的增加而降低的呻引。
為了解決這一問題，本文提出了一種后期處理方法（AdditivePost-Processing for Interpretability, API）吐咳，能夠?qū)τ萌我馑惴ㄓ?xùn)練的GAM進(jìn)行處理逻悠，使得在不改變模型預(yù)測(cè)的前提下，處理后模型的可視化圖像與模型的預(yù)測(cè)機(jī)制相符韭脊，由此讓建模人員可以安全的通過傳統(tǒng)的可視化方法來觀察和理解模型的預(yù)測(cè)機(jī)制童谒，而不會(huì)被錯(cuò)誤的視覺信息誤導(dǎo)。
多分類下的模型可解釋性
API的設(shè)計(jì)理念來源于兩個(gè)在長期使用GAM的過程中得到的可解釋性定理（Axioms of Interpretability）沪羔。我們希望一個(gè)GAM模型具備如下兩個(gè)性質(zhì)：
- 任意一個(gè)shape function fik (對(duì)應(yīng)feature i和class k)的形狀惠啄，必須要和真實(shí)的預(yù)測(cè)概率Pk?的形狀相符，即我們不希望看到一個(gè)shape function是遞增的任内，但實(shí)際上預(yù)測(cè)概率是遞減的情況撵渡。
- Shape function應(yīng)該避免任何不必要的不平滑。不平滑的shape function會(huì)讓建模人員難以理解模型的預(yù)測(cè)趨勢(shì)死嗦。
現(xiàn)在我們知道我們想要的模型需要滿足什么性質(zhì)趋距，那么如何找到這樣的模型，而不改變?cè)Ｐ偷念A(yù)測(cè)呢越除？這里就要用到一個(gè)重要的softmax函數(shù)的性質(zhì)节腐。
對(duì)于一個(gè)softmax函數(shù)，如果在每一個(gè)輸入項(xiàng)中加上同一個(gè)函數(shù)摘盆，由此得來的模型是和原模型完全等價(jià)的翼雀。也就是說，這兩個(gè)模型在任何情況下的預(yù)測(cè)結(jié)果都相同孩擂±窃ǎ基于這樣的性質(zhì)，我們就可以設(shè)計(jì)一個(gè)g 函數(shù)，讓加入g函數(shù)之后的模型滿足我們想要的性質(zhì)狈邑。
我們?cè)谖恼轮袕臄?shù)學(xué)上證明城须，以上這個(gè)優(yōu)化問題永遠(yuǎn)有唯一的全局最優(yōu)解，并且我們給出了這個(gè)解的解析形式米苹。我們基于此設(shè)計(jì)的后期處理方法幾乎不消耗任何計(jì)算資源糕伐，卻可以把具有誤導(dǎo)性的GAM模型轉(zhuǎn)化成可以放心觀察的可解釋模型。
在一個(gè)預(yù)測(cè)嬰兒死因的數(shù)據(jù)上（12類分類問題）蘸嘶，我們采用API對(duì)shapefunction做了處理良瞧，從而使得他們能真實(shí)地反應(yīng)預(yù)測(cè)概率變化的趨勢(shì)。這里可以看到训唱，在采用API之前褥蚯，模型可視化提供的信息是所有死因都和嬰兒體重和Apgar值成負(fù)相關(guān)趨勢(shì)。但是在采用API之后我們發(fā)現(xiàn)雪情，實(shí)際上不同的死因與嬰兒體重和Apgar值的關(guān)系
是不一樣的：其中一些死因是正相關(guān)遵岩，一些死因是負(fù)相關(guān)，另外一些在嬰兒體重和Apgar值達(dá)到某個(gè)中間值得時(shí)候死亡率達(dá)到最高巡通。API使得醫(yī)療人員能夠通過模型得到更準(zhǔn)確的預(yù)測(cè)信息尘执。
總結(jié)
在很多mission-critical的場景下（醫(yī)療，金融等）宴凉，模型可解釋性往往比模型自身的準(zhǔn)確性更重要誊锭。廣義加性模型作為一個(gè)高精確度又完全白盒化的模型，預(yù)期能在更多的應(yīng)用場景上落地弥锄。
Reference
[1] Caruana et al. Intelligible Modelsfor HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission. In KDD2015.
[2] Lou et al. Intelligible Models for Classification and Regression. In KDD2012.
[3] Lou et al. Accurate Intelligible Models withPairwise Interactions. In KDD 2013.
