文章名稱
LEARNING DISENTANGLED REPRESENTATIONS FOR COUNTERFACTUAL REGRESSION
核心要點(diǎn)
同之前CFR-IS是同一批作者，也是在之前基礎(chǔ)上的改進(jìn)煌抒。文章主要針對(duì)binary treatment的場(chǎng)景，能夠用來(lái)估計(jì)CATE（當(dāng)然也可以估計(jì)ATE）柠硕。作者基于CFR-IS[1]杖狼，結(jié)合RSB-Net[2]中提出的分解covariates為3種隱變量的思路充石，利用3個(gè)表示學(xué)習(xí)網(wǎng)絡(luò)分別學(xué)習(xí)從原始covariates學(xué)習(xí)這三種隱變量的表示瓮下。隨后，只利用這3種隱變量中和outcome預(yù)測(cè)相關(guān)的兩種變量進(jìn)行factual outcome的預(yù)測(cè)饵溅。并在預(yù)測(cè)factual outcome時(shí)利用confounder（即同時(shí)影響treatment assignment和outcome prediction的隱變量）隱變量對(duì)樣本進(jìn)行加權(quán)妨退。并且，只在與outcome predictor相關(guān)的隱變量上減少不同treatment帶來(lái)的差異（也就是計(jì)算discrepancy）蜕企。
個(gè)人認(rèn)為亮點(diǎn)是咬荷，1）清晰地分解了covariates；2）同時(shí)轻掩，在不同場(chǎng)景更細(xì)致的利用了3種不同隱變量的組合幸乒。文章思路簡(jiǎn)潔清晰，ICLR唇牧。
方法細(xì)節(jié)
問(wèn)題引入
熟悉因果推斷的同學(xué)們知道（或者看過(guò)前邊的文章）罕扎，現(xiàn)在估計(jì)因果推斷的方法需要解決的兩個(gè)主要問(wèn)題是1）missing counterfactual；2）selection bias丐重。RSB-Net[2]的文章里已經(jīng)提到了分解covariates腔召，也就是說(shuō)，并不是所有的covariates對(duì)selection bias都有貢獻(xiàn)扮惦，一股腦的放進(jìn)去做adjustment會(huì)帶來(lái)方差臀蛛，同時(shí)也會(huì)損失對(duì)outcome的預(yù)測(cè)信息。如果能拆出來(lái)只對(duì)treatment assignment有影響的covariates成分崖蜜，只對(duì)outcome prediction有影響的covariates成分浊仆，以及同時(shí)對(duì)outcome prediction和treatment assignment有影響的covariates成分（也就是confounder），那么就能減緩上邊說(shuō)的問(wèn)題豫领。
同時(shí)抡柿，CFR-IS[1]中提到了，需要通過(guò)weighting來(lái)平衡樣本等恐，在factual prediction的時(shí)候洲劣，緩解selection bias。這個(gè)weighting的計(jì)算是依賴于propensity score的鼠锈。IPW類方法的問(wèn)題闪檬，就在于propensity score的估計(jì)可能不準(zhǔn)確（比如，模型假設(shè)有問(wèn)題）购笆。所以，提升了propensity score的準(zhǔn)確度虚循，進(jìn)一步提升了causal effect估計(jì)的準(zhǔn)確度同欠。
此外样傍，為了抽取信息，仍然要進(jìn)行表示學(xué)習(xí)铺遂，所以
具體做法
作者建立了3個(gè)表示學(xué)習(xí)網(wǎng)絡(luò)撤逢，
，
粮坞，兩個(gè)outcome prediction網(wǎng)絡(luò)
蚊荣，以及propensity score網(wǎng)絡(luò)
。按照CFR-IS[1]中提出的邏輯莫杈，計(jì)算公式(3)互例，也就是weighted supervised learning of factual。值得注意的是筝闹，
是只基于confounder的媳叨。
的具體公式，可以參見(jiàn)CFR-IS[1]关顷。公式(5)是為了更好的學(xué)習(xí)這個(gè)weight而引入的propensity score學(xué)習(xí)loss糊秆，也可以參見(jiàn)CFR-IS[1]。
值得重點(diǎn)關(guān)注的是公式(4)议双，其不像CFR-IS[1]和[CFR][3]等一系列方法一樣扩然，直接在所有covariates學(xué)習(xí)到的樣本表示上消減discrepancy。而是巧妙地利用了聋伦，collider的結(jié)構(gòu)夫偶，在不觀測(cè)到outcome
代碼實(shí)現(xiàn)
（留坑待填...）
心得體會(huì)
3 type or 2 type
與RSB不同说铃，DR-CFR把三種隱變量拆解的很清楚，而沒(méi)有把confounder和outcome predictor混合在一起嘹履。這樣做的好處是腻扇，沒(méi)有混合的confounder，可以單獨(dú)的用來(lái)做樣本加權(quán)來(lái)輔助解決selection bias的問(wèn)題砾嫉。同時(shí)confounder和treatment predictor可以用來(lái)更好的估計(jì)propensity score幼苛，而不會(huì)引入outcome predictor這種噪聲。
make use of collider
利用collider結(jié)果焕刮，來(lái)消除的分布差異舶沿，從而減少selection bias是非常巧妙地思路墙杯。這樣減少了需要計(jì)算分布差異的向量的維度（原來(lái)是維度很高的
，現(xiàn)在是低維度的
）括荡，能夠解決CFR-IS[1]提出的disc過(guò)小的問(wèn)題高镐。
文章引用
[1] Hassanpour, N., & Greiner, R. (2019). CounterFactual Regression with Importance Sampling Weights. IJCAI.
[2] Zhang, Z., Lan, Q., Ding, L., Wang, Y., Hassanpour, N., & Greiner, R. (2019). Reducing Selection Bias in Counterfactual Reasoning for Individual Treatment Effects Estimation. ArXiv, abs/1912.09040.
[3] Shalit, U., Johansson, F.D., & Sontag, D. (2017). Estimating individual treatment effect: generalization bounds and algorithms. ICML.
