文章名稱
【CIKM-2021】【Rutgers University】Counterfactual Explainable Recommendation
核心要點(diǎn)
文章旨在對(duì)推薦模型的結(jié)果進(jìn)行解釋。作者構(gòu)建了一個(gè)因果推斷的框架暑诸，對(duì)每一個(gè)用戶-物品元組求解一個(gè)優(yōu)化問(wèn)題署穗，識(shí)別出在原物品的特性方面最小的改變，以至于生成的反事實(shí)物品可以反轉(zhuǎn)推薦模型的結(jié)果哈垢。這些最小的特性改變被成為counterfactual explanation。此外扛拨，作者定義了兩個(gè)衡量指標(biāo)來(lái)量化explanation的質(zhì)量耘分。
上一節(jié)介紹了在實(shí)際應(yīng)用中matching-based可解釋性方法的弊端，以及其與counterfactual-based方法區(qū)別绑警。并介紹了如何反事實(shí)解釋的概念以及其兩個(gè)重要的量化指標(biāo)求泰。本節(jié)將繼續(xù)介紹作者提出的反事實(shí)推理框架，以及如何產(chǎn)出反事實(shí)解釋计盒。
方法細(xì)節(jié)
問(wèn)題引入
反事實(shí)解釋是在已有推薦模型的基礎(chǔ)上進(jìn)行模型無(wú)關(guān)解釋生成的渴频，是post-hoc的。作者表示北启，該方法可以被應(yīng)用到所有利用物品特性和用戶偏好的推薦模型上卜朗，具有普適性。已有推薦模型可以被形式化如下咕村，
- 推薦模型為
场钉，模型參數(shù)為
；
- 模型對(duì)用戶
培廓，物品
的評(píng)分為
惹悄；
是上一節(jié)講到的物品特征和用戶偏好矩陣肩钠，
表示其他特征泣港，比如歷史點(diǎn)擊、評(píng)分傾向价匠、評(píng)論当纱、圖片等用戶行為或物品屬性；
- 優(yōu)化如下圖所示的交叉熵?fù)p失來(lái)實(shí)現(xiàn)模型參數(shù)的求解踩窖。
因?yàn)榻换?shù)據(jù)比較稀疏坡氯，因此作者采用1:2的比例進(jìn)行了負(fù)采樣。
具體做法
為了實(shí)現(xiàn)反事實(shí)解釋洋腮，作者提出了反事實(shí)推理框架箫柳，CounterER。其本質(zhì)是定義了一個(gè)如下圖所示的反事實(shí)優(yōu)化問(wèn)題啥供，通過(guò)優(yōu)化該問(wèn)題悯恍，可以得到滿足上節(jié)提到的Explanation Complexity和Explanation Strength條件的反事實(shí)解釋。
原始的反事實(shí)優(yōu)化框架如下伙狐，
Counterfactual Optimization Problem
CounterER形式化的優(yōu)化框架如下涮毫，其中利用了上一節(jié)提到的對(duì)Explanation Complexity和Explanation Strength的量化表示瞬欧，
Counterfactual Optimization Problem in CounterER
該優(yōu)化問(wèn)題的目標(biāo)是尋找Explanation Complexity最小的解釋（最終得到的就是最小改動(dòng)），約束條件是保證解釋具有一定的效力罢防，也就是說(shuō)確保有足夠的特性的微小變動(dòng)能夠帶來(lái)足夠大的模型評(píng)分的變動(dòng)（足以把物品從的列表中剔除）艘虎。因此，可以對(duì)上述優(yōu)化目標(biāo)做一個(gè)小改動(dòng)咒吐，用模型給出排序列表的當(dāng)前物品的得分與第
位物品得分的差距來(lái)代替
野建，即
（每個(gè)物品的
Counterfactual Optimization Problem in CounterER with interpreted \epsilon
Relaxed Optimization
由于和
都是不可導(dǎo)的渤滞，作者采用如下方式進(jìn)行松弛贬墩，
- 用
損失
替換
，保證微小變動(dòng)的取值比較稀疏妄呕，實(shí)現(xiàn)減小復(fù)雜度的目標(biāo)陶舞；
- 用hinge loss
代替排序約束
；
- 利用拉格朗日乘子把約束優(yōu)化問(wèn)題轉(zhuǎn)為無(wú)約束優(yōu)化問(wèn)題绪励，得到如下圖所示的優(yōu)化框架肿孵，其中超參數(shù)
用來(lái)控制解釋強(qiáng)度對(duì)優(yōu)化問(wèn)題的影響，
Relaxed Counterfactual Optimization Problem in CountER
值得注意的是疏魏，這樣的松弛導(dǎo)致方法不能確保物品在改動(dòng)后被剔除出列表停做，因此，需要在分析解釋的時(shí)候進(jìn)行校驗(yàn)大莫，確保只對(duì)成功剔除的樣本進(jìn)行反事實(shí)解釋的生成蛉腌。
Discussion
（作者文中做的discussion，感覺(jué)還是很有必要說(shuō)道說(shuō)道）只厘。
細(xì)心地讀者可能發(fā)現(xiàn)烙丛，排名靠前的物品要想被從排序列表中剔除，需要改變更多的物品特性羔味，解釋復(fù)雜度一般會(huì)更高河咽。作者表示這是合理的，有原因在于赋元，對(duì)于模型強(qiáng)烈推薦的物品忘蟹，本就距離反事實(shí)邊界比較遠(yuǎn)，需要更多的變動(dòng)搁凸，才能改變模型的決策媚值。（個(gè)人理解，此時(shí)復(fù)雜度可能更多的來(lái)自于某幾個(gè)特性的得分护糖。當(dāng)然多個(gè)特性組合起來(lái)導(dǎo)致決策變化也是有可能的杂腰，不過(guò)這種情況一般特性的得分比較平均）。
此外椅文，作者表示喂很，可以利用可訓(xùn)練的one-hot向量，來(lái)實(shí)現(xiàn)只用一個(gè)特性的改變來(lái)生成反事實(shí)解釋皆刺，其優(yōu)化目標(biāo)如下圖所示少辣。值得注意，由于只有一個(gè)特性改變羡蛾，
因此將不會(huì)出現(xiàn)在優(yōu)化目標(biāo)里漓帅。
心得體會(huì)
Aspect-Based Explanation
個(gè)人感覺(jué)，aspect-based可解釋模型痴怨，可以被理解為在因子分解的基礎(chǔ)上忙干，迫使隱式空間的特征映射到一些有意義的物品特性上。其他方法浪藻，例如捐迫，disentangle的向量表示，attention可解釋模型分別嘗試把潛在特性正交分解（解耦分解）和計(jì)算原始輸入的注意力權(quán)重爱葵，理論上都是在努力拆出可以被人類理解的要素施戴。
在這個(gè)要素之上，原有matching-based可解釋方法萌丈，是匹配用戶喜好和物品特性與counterfactual-based可解釋方法是有區(qū)別的（上節(jié)講過(guò)這部分赞哗，參見(jiàn)因果可解釋推薦系統(tǒng)工具箱 - CountER（一））。因此辆雾，counterfactual可解釋性和aspect-based方法實(shí)際上是兩個(gè)正交的方法維度肪笋，可以被應(yīng)用到其他方法上去。
內(nèi)層優(yōu)化問(wèn)題
不難看出度迂，方法要求對(duì)每一個(gè)需要產(chǎn)生反事實(shí)是解釋的樣本進(jìn)行內(nèi)層優(yōu)化（其他方法也有藤乙，典型的比如元學(xué)習(xí)的MAML），可能導(dǎo)致模型計(jì)算量較大英岭。依稀記得在一些其他領(lǐng)域的論文里有把內(nèi)層優(yōu)化轉(zhuǎn)化成非優(yōu)化問(wèn)題的方法湾盒，也許也可以在這里進(jìn)行計(jì)算加速，畢竟可解釋算法目前的計(jì)算效率還是很感人的...例如诅妹，SHAP...
