?姓名：樊松松

?學(xué)號(hào)：17021211234

?轉(zhuǎn)載自https://www.leiphone.com/news/201805/Ti3mOdeRlWTplIlZ.html,有刪節(jié)

【嵌牛導(dǎo)讀】：不以人類(lèi)可以理解的方式給出的解釋都叫耍流氓，因此铆帽，我們要讓模型「說(shuō)人話」镇防。只要記住這三個(gè)字疫赎，你就差不多把握了可解釋性的精髓所在。

【嵌牛鼻子】： 深度學(xué)習(xí)

【嵌牛提問(wèn)】：深度學(xué)習(xí)是如何讓模型說(shuō)人話的柒瓣？用到了哪些相關(guān)的算法遇骑？

【嵌牛正文】：

可解釋性是什么棉浸？

廣義上的可解釋性指在我們需要了解或解決一件事情的時(shí)候池颈，我們可以獲得我們所需要的足夠的可以理解的信息尾序。比如我們?cè)谡{(diào)試 bug 的時(shí)候，需要通過(guò)變量審查和日志信息定位到問(wèn)題出在哪里躯砰。比如在科學(xué)研究中面臨一個(gè)新問(wèn)題的研究時(shí)每币，我們需要查閱一些資料來(lái)了解這個(gè)新問(wèn)題的基本概念和研究現(xiàn)狀，以獲得對(duì)研究方向的正確認(rèn)識(shí)琢歇。反過(guò)來(lái)理解兰怠，如果在一些情境中我們無(wú)法得到相應(yīng)的足夠的信息，那么這些事情對(duì)我們來(lái)說(shuō)都是不可解釋的矿微。比如劉慈欣的短篇《朝聞道》中霍金提出的「宇宙的目的是什么」這個(gè)問(wèn)題一下子把無(wú)所不知的排險(xiǎn)者卡住了痕慢，因?yàn)樵俑叩鹊奈拿鞫紱](méi)辦法理解和掌握造物主創(chuàng)造宇宙時(shí)的全部信息，這些終極問(wèn)題對(duì)我們來(lái)說(shuō)永遠(yuǎn)都是不可解釋的涌矢。

而具體到機(jī)器學(xué)習(xí)領(lǐng)域來(lái)說(shuō)掖举，以最用戶(hù)友好的決策樹(shù)模型為例，模型每作出一個(gè)決策都會(huì)通過(guò)一個(gè)決策序列來(lái)向我們展示模型的決策依據(jù)：比如男性&未婚&博士&禿頭的條件對(duì)應(yīng)「不感興趣」這個(gè)決策娜庇，而且決策樹(shù)模型自帶的基于信息理論的篩選變量標(biāo)準(zhǔn)也有助于幫助我們理解在模型決策產(chǎn)生的過(guò)程中哪些變量起到了顯著的作用塔次。所以在一定程度上，我們認(rèn)為決策樹(shù)模型是一個(gè)具有比較好的可解釋性的模型名秀，在以后的介紹中我們也會(huì)講到励负，以決策樹(shù)為代表的規(guī)則模型在可解釋性研究方面起到了非常關(guān)鍵的作用。再以用戶(hù)最不友好的多層神經(jīng)網(wǎng)絡(luò)模型為例匕得，模型產(chǎn)生決策的依據(jù)是什么呢继榆？大概是以比如 1/(e^-(2*1/(e^(-(2*x+y))+1) + 3*1/(e^(-(8*x+5*y))+1))+1) 是否大于 0.5 為標(biāo)準(zhǔn)（這已經(jīng)是最簡(jiǎn)單的模型結(jié)構(gòu)了），這一連串的非線性函數(shù)的疊加公式讓人難以直接理解神經(jīng)網(wǎng)絡(luò)的「腦回路」汁掠，所以深度神經(jīng)網(wǎng)絡(luò)習(xí)慣性被大家認(rèn)為是黑箱模型略吨。

17 年 ICML 的 Tutorial 中給出的一個(gè)關(guān)于可解釋性的定義是：

Interpretation is the process of giving explanations to Human.

總結(jié)一下就是「說(shuō)人話」，「說(shuō)人話」考阱，「說(shuō)人話」翠忠，不以人類(lèi)可以理解的方式給出的解釋都叫耍流氓，記住這三個(gè)字乞榨，你就差不多把握了可解釋性的精髓所在秽之。

我們?yōu)槭裁葱枰山忉屝裕?/p>

廣義上來(lái)說(shuō)我們對(duì)可解釋性的需求主要來(lái)源于對(duì)問(wèn)題和任務(wù)了解得還不夠充分。具體到深度學(xué)習(xí)/機(jī)器學(xué)習(xí)領(lǐng)域吃既，就像我們上文提到的多層神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題考榨，盡管高度的非線性賦予了多層神經(jīng)網(wǎng)絡(luò)極高的模型表示能力，配合一些堪稱(chēng)現(xiàn)代煉丹術(shù)的調(diào)參技術(shù)可以在很多問(wèn)題上達(dá)到非常喜人的表現(xiàn)鹦倚，大家如果經(jīng)常關(guān)注 AI 的頭條新聞董虱，那些機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)不可思議的最新突破甚至經(jīng)常會(huì)讓人產(chǎn)生 AI 馬上要取代人類(lèi)的恐懼和幻覺(jué)。但正如近日貝葉斯網(wǎng)絡(luò)的創(chuàng)始人 Pearl 所指出的，「幾乎所有的深度學(xué)習(xí)突破性的本質(zhì)上來(lái)說(shuō)都只是些曲線擬合罷了」愤诱，他認(rèn)為今天人工智能領(lǐng)域的技術(shù)水平只不過(guò)是上一代機(jī)器已有功能的增強(qiáng)版。雖然我們?cè)斐隽藴?zhǔn)確度極高的機(jī)器捐友，但最后只能得到一堆看上去毫無(wú)意義的模型參數(shù)和擬合度非常高的判定結(jié)果淫半，但實(shí)際上模型本身也意味著知識(shí)，我們希望知道模型究竟從數(shù)據(jù)中學(xué)到了哪些知識(shí)（以人類(lèi)可以理解的方式表達(dá)的）從而產(chǎn)生了最終的決策匣砖。從中是不是可以幫助我們發(fā)現(xiàn)一些潛在的關(guān)聯(lián)科吭，比如我想基于深度學(xué)習(xí)模型開(kāi)發(fā)一個(gè)幫助醫(yī)生判定病人風(fēng)險(xiǎn)的應(yīng)用，除了最終的判定結(jié)果之外猴鲫，我可能還需要了解模型產(chǎn)生這樣的判定是基于病人哪些因素的考慮对人。如果一個(gè)模型完全不可解釋?zhuān)敲丛诤芏囝I(lǐng)域的應(yīng)用就會(huì)因?yàn)闆](méi)辦法給出更多可靠的信息而受到限制。這也是為什么在深度學(xué)習(xí)準(zhǔn)確率這么高的情況下拂共，仍然有一大部分人傾向于應(yīng)用可解釋性高的傳統(tǒng)統(tǒng)計(jì)學(xué)模型的原因牺弄。

不可解釋同樣也意味著危險(xiǎn)，事實(shí)上很多領(lǐng)域?qū)ι疃葘W(xué)習(xí)模型應(yīng)用的顧慮除了模型本身無(wú)法給出足夠的信息之外宜狐，也有或多或少關(guān)于安全性的考慮势告。比如，下面一個(gè)非常經(jīng)典的關(guān)于對(duì)抗樣本的例子抚恒，對(duì)于一個(gè) CNN 模型咱台，在熊貓的圖片中添加了一些噪聲之后卻以 99.3% 的概率被判定為長(zhǎng)臂猿。

在熊貓圖片中加入噪聲俭驮，模型以 99.3% 的概率將圖片識(shí)別為長(zhǎng)臂猿

事實(shí)上其他一些可解釋性較好的模型面對(duì)的對(duì)抗樣本問(wèn)題可能甚至比深度學(xué)習(xí)模型更多回溺，但具備可解釋性的模型在面對(duì)這些問(wèn)題的時(shí)候是可以對(duì)異常產(chǎn)生的原因進(jìn)行追蹤和定位的，比如線性回歸模型中我們可以發(fā)現(xiàn)某個(gè)輸入?yún)?shù)過(guò)大/過(guò)小導(dǎo)致了最后判別失常混萝。但深度學(xué)習(xí)模型很難說(shuō)上面這兩幅圖到底是因?yàn)槟男﹨^(qū)別導(dǎo)致了判定結(jié)果出現(xiàn)了如此大的偏差遗遵。盡管關(guān)于對(duì)抗樣本的研究最近也非常火熱譬圣，但依然缺乏具備可解釋性的關(guān)于這類(lèi)問(wèn)題的解釋瓮恭。

當(dāng)然很多學(xué)者對(duì)可解釋性的必要性也存有疑惑，在 NIPS 2017 會(huì)場(chǎng)上厘熟，曾進(jìn)行了一場(chǎng)非常激烈火爆的主題為「可解釋性在機(jī)器學(xué)習(xí)中是否必要」的辯論屯蹦，大家對(duì)可解釋性的呼聲還是非常高的。但人工智能三巨頭之一的 Yann LeCun 卻認(rèn)為：人類(lèi)大腦是非常有限的绳姨，我們沒(méi)有那么多腦容量去研究所有東西的可解釋性登澜。有些東西是需要解釋的，比如法律飘庄，但大多數(shù)情況下脑蠕，它們并沒(méi)有你想象中那么重要。比如世界上有那么多應(yīng)用、網(wǎng)站谴仙，你每天用 Facebook迂求、Google 的時(shí)候，你也沒(méi)想著要尋求它們背后的可解釋性晃跺。LeCun 也舉了一個(gè)例子：他多年前和一群經(jīng)濟(jì)學(xué)家也做了一個(gè)模型來(lái)預(yù)測(cè)房?jī)r(jià)揩局。第一個(gè)用的簡(jiǎn)單的線性于猜測(cè)模型，經(jīng)濟(jì)學(xué)家也能解釋清楚其中的原理掀虎；第二個(gè)用的是復(fù)雜的神經(jīng)網(wǎng)絡(luò)凌盯，但效果比第一個(gè)好上不少。結(jié)果烹玉，這群經(jīng)濟(jì)學(xué)家想要開(kāi)公司做了驰怎。你說(shuō)他們會(huì)選哪個(gè)？LeCun 表示二打，任何時(shí)候在這兩種里面選擇都會(huì)選效果好的县忌。就像很多年里雖然我們不知道藥物里的成分但一直在用一樣。

但是不可否認(rèn)的是址儒，可解釋性始終是一個(gè)非常好的性質(zhì)芹枷，如果我們能兼顧效率、準(zhǔn)確度莲趣、說(shuō)人話這三個(gè)方面鸳慈，具備可解釋性模型將在很多應(yīng)用場(chǎng)景中具有不可替代的優(yōu)勢(shì)。

有哪些可解釋性方法喧伞？

我們之前也提到機(jī)器學(xué)習(xí)的目的是從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)或解決問(wèn)題走芋，那么在這個(gè)過(guò)程中只要是能夠提供給我們關(guān)于數(shù)據(jù)或模型的可以理解的信息，有助于我們更充分地發(fā)現(xiàn)知識(shí)潘鲫、理解和解決問(wèn)題的方法翁逞，那么都可以歸類(lèi)為可解釋性方法。如果按照可解釋性方法進(jìn)行的過(guò)程進(jìn)行劃分的話溉仑，大概可以劃分為三個(gè)大類(lèi)：

1. 在建模之前的可解釋性方法

2. 建立本身具備可解釋性的模型

3. 在建模之后使用可解釋性方法對(duì)模型作出解釋

在建模之前的可解釋性方法

這一類(lèi)方法其實(shí)主要涉及一些數(shù)據(jù)預(yù)處理或數(shù)據(jù)展示的方法挖函。機(jī)器學(xué)習(xí)解決的是從數(shù)據(jù)中發(fā)現(xiàn)知識(shí)和規(guī)律的問(wèn)題，如果我們對(duì)想要處理的數(shù)據(jù)特征所知甚少浊竟，指望對(duì)所要解決的問(wèn)題本身有很好的理解是不現(xiàn)實(shí)的怨喘，在建模之前的可解釋性方法的關(guān)鍵在于幫助我們迅速而全面地了解數(shù)據(jù)分布的特征，從而幫助我們考慮在建模過(guò)程中可能面臨的問(wèn)題并選擇一種最合理的模型來(lái)逼近問(wèn)題所能達(dá)到的最優(yōu)解振定。

數(shù)據(jù)可視化方法就是一類(lèi)非常重要的建模前可解釋性方法必怜。很多對(duì)數(shù)據(jù)挖掘稍微有些了解的人可能會(huì)認(rèn)為數(shù)據(jù)可視化是數(shù)據(jù)挖掘工作的最后一步，大概就是通過(guò)設(shè)計(jì)一些好看又唬人的圖表或來(lái)展示你的分析挖掘成果后频。但大多數(shù)時(shí)候梳庆，我們?cè)谡嬲芯恳粋€(gè)數(shù)據(jù)問(wèn)題之前暖途，通過(guò)建立一系列方方面面的可視化方法來(lái)建立我們對(duì)數(shù)據(jù)的直觀理解是非常必須的，特別是當(dāng)數(shù)據(jù)量非常大或者數(shù)據(jù)維度非常高的時(shí)候膏执，比如一些時(shí)空高維數(shù)據(jù)驻售，如果可以建立一些一些交互式的可視化方法將會(huì)極大地幫助我們從各個(gè)層次角度理解數(shù)據(jù)的分布，在這個(gè)方面我們實(shí)驗(yàn)室也做過(guò)一些非常不錯(cuò)的工作胧后。

還有一類(lèi)比較重要的方法是探索性質(zhì)的數(shù)據(jù)分析芋浮，可以幫助我們更好地理解數(shù)據(jù)的分布情況。比如一種稱(chēng)為 MMD-critic 方法中壳快，可以幫助我們找到數(shù)據(jù)中一些具有代表性或者不具代表性的樣本。

使用 MMD-critic 從 Imagenet 數(shù)據(jù)集中學(xué)到的代表性樣本和非代表性樣本（以?xún)煞N狗為例）

建立本身具備可解釋性的模型

建立本身具備可解釋性的模型是我個(gè)人覺(jué)得是最關(guān)鍵的一類(lèi)可解釋性方法镇草，同樣也是一類(lèi)要求和限定很高的方法眶痰，具備「說(shuō)人話」能力的可解釋性模型大概可以分為以下幾種：

1. 基于規(guī)則的方法（Rule-based）

2. 基于單個(gè)特征的方法（Per-feature-based）

3. 基于實(shí)例的方法（Case-based）

4. 稀疏性方法（Sparsity）

5. 單調(diào)性方法（Monotonicity）

基于規(guī)則的方法比如我們提到的非常經(jīng)典的決策樹(shù)模型。這類(lèi)模型中任何的一個(gè)決策都可以對(duì)應(yīng)到一個(gè)邏輯規(guī)則表示梯啤。但當(dāng)規(guī)則表示過(guò)多或者原始的特征本身就不是特別好解釋的時(shí)候竖伯，基于規(guī)則的方法有時(shí)候也不太適用。

基于單個(gè)特征的方法主要是一些非常經(jīng)典的線性模型因宇，比如線性回歸七婴、邏輯回歸、廣義線性回歸察滑、廣義加性模型等打厘，這類(lèi)模型可以說(shuō)是現(xiàn)在可解釋性最高的方法，可能學(xué)習(xí)機(jī)器學(xué)習(xí)或計(jì)算機(jī)相關(guān)專(zhuān)業(yè)的朋友會(huì)認(rèn)為線性回歸是最基本最低級(jí)的模型贺辰，但如果大家學(xué)過(guò)計(jì)量經(jīng)濟(jì)學(xué)户盯，就會(huì)發(fā)現(xiàn)大半本書(shū)都在討論線性模型，包括經(jīng)濟(jì)學(xué)及相關(guān)領(lǐng)域的論文其實(shí)大多數(shù)也都是使用線性回歸作為方法來(lái)進(jìn)行研究饲化。這種非常經(jīng)典的模型全世界每秒都會(huì)被用到大概 800 多萬(wàn)次莽鸭。為什么大家這么青睞這個(gè)模型呢？除了模型的結(jié)構(gòu)比較簡(jiǎn)單之外吃靠，更重要的是線性回歸模型及其一些變種擁有非常 solid 的統(tǒng)計(jì)學(xué)基礎(chǔ)硫眨，統(tǒng)計(jì)學(xué)可以說(shuō)是最看重可解釋性的一門(mén)學(xué)科了，上百年來(lái)無(wú)數(shù)數(shù)學(xué)家統(tǒng)計(jì)學(xué)家探討了在各種不同情況下的模型的參數(shù)估計(jì)巢块、參數(shù)修正礁阁、假設(shè)檢驗(yàn)、邊界條件等等問(wèn)題夕冲，目的就是為了使得在各種不同情況下都能使模型具有有非常好的可解釋性氮兵，如果大家有時(shí)間有興趣的話，除了學(xué)習(xí)機(jī)器學(xué)習(xí)深度模型模型之外還可以盡量多了解一些統(tǒng)計(jì)學(xué)的知識(shí)歹鱼，可能對(duì)一些問(wèn)題會(huì)獲得完全不一樣的思考和理解泣栈。

基于實(shí)例的方法主要是通過(guò)一些代表性的樣本來(lái)解釋聚類(lèi)/分類(lèi)結(jié)果的方法。比如下圖所展示的貝葉斯實(shí)例模型（Bayesian Case Model，BCM）南片，我們將樣本分成三個(gè)組團(tuán)掺涛，可以分別找出每個(gè)組團(tuán)中具有的代表性樣例和重要的子空間。比如對(duì)于下面第一類(lèi)聚類(lèi)來(lái)說(shuō)疼进，綠臉是具有代表性的樣本薪缆，而綠色、方塊是具有代表性的特征子空間伞广。

使用 BCM 學(xué)到的分類(lèi)及其對(duì)應(yīng)的代表性樣本和代表性特征子空間

基于實(shí)例的方法的一些局限在于可能挑出來(lái)的樣本不具有代表性或者人們可能會(huì)有過(guò)度泛化的傾向拣帽。

基于稀疏性的方法主要是利用信息的稀疏性特質(zhì)，將模型盡可能地簡(jiǎn)化表示嚼锄。比如如下圖的一種圖稀疏性的 LDA 方法减拭，根據(jù)層次性的單詞信息形成了層次性的主題表達(dá)，這樣一些小的主題就可以被更泛化的主題所概括区丑，從而可以使我們更容易理解特定主題所代表的含義拧粪。

Graph-based LDA 中的主題層次結(jié)構(gòu)

基于單調(diào)性的方法：在很多機(jī)器學(xué)習(xí)問(wèn)題中，有一些輸入和輸出之間存在正相關(guān)/負(fù)相關(guān)關(guān)系沧侥，如果在模型訓(xùn)練中我們可以找出這種單調(diào)性的關(guān)系就可以讓模型具有更高的可解釋性可霎。比如醫(yī)生對(duì)患特定疾病的概率的估計(jì)主要由一些跟該疾病相關(guān)聯(lián)的高風(fēng)險(xiǎn)因素決定，找出單調(diào)性關(guān)系就可以幫助我們識(shí)別這些高風(fēng)險(xiǎn)因素宴杀。

在建模之后使用可解釋性性方法作出解釋

建模后的可解釋性方法主要是針對(duì)具有黑箱性質(zhì)的深度學(xué)習(xí)模型而言的癣朗，主要分為以下幾類(lèi)的工作：

1. 隱層分析方法

2. 模擬/代理模型

3. 敏感性分析方法

這部分是我們接下來(lái)介紹和研究的重點(diǎn)，因此主要放在后續(xù)的文章中進(jìn)行講解婴氮，在本篇中不作過(guò)多介紹斯棒。

除了對(duì)深度學(xué)習(xí)模型本身進(jìn)行解釋的方法之外，也有一部分工作旨在建立本身具有可解釋性的深度學(xué)習(xí)模型主经，這和我們前面介紹通用的可解釋性模型有區(qū)別也有聯(lián)系荣暮，也放到以后的文章中進(jìn)行介紹。