文章名稱(chēng)
Transfer Learning for Estimating Causal Effects using Neural Networks
核心要點(diǎn)
文章主要關(guān)注CATE場(chǎng)景移盆，把因果推斷和遷移學(xué)習(xí)的概念結(jié)合悼院，期望同時(shí)利用不同數(shù)據(jù)源的數(shù)據(jù)來(lái)學(xué)習(xí)他們底層共同的因果關(guān)系。作者首先提出了Y-learner的網(wǎng)絡(luò)架構(gòu)（這其實(shí)并不新鮮咒循，因?yàn)橐呀?jīng)有很多Multitask learning的方法了）据途，隨后作者利用了很多深度學(xué)習(xí)中的遷移學(xué)習(xí)技巧，來(lái)提升因果推斷的能力叙甸，并有效的利用多個(gè)數(shù)據(jù)源的數(shù)據(jù)集颖医，包括warn start，frozen-features, multi-head, and joint training蚁署。最后便脊，作者提出了利用元學(xué)習(xí)的方法，快速學(xué)習(xí)多個(gè)數(shù)據(jù)源光戈，并提升模型遷移到能力，使得模型能夠更快的應(yīng)用到新的場(chǎng)景遂赠。文章更像個(gè)工具箱逾苫，所有的方案是并行的愕把，可以根據(jù)場(chǎng)景自己選擇。
方法細(xì)節(jié)
問(wèn)題引入
很多時(shí)候，我們可能有從不同的數(shù)據(jù)源收集到的數(shù)據(jù)朱庆，但是每個(gè)數(shù)據(jù)源的數(shù)據(jù)較少，并且即便總和起來(lái)也不夠充分的訓(xùn)練神經(jīng)網(wǎng)絡(luò)吹散。這是典型的小樣本的場(chǎng)景滚澜，如果不采用合理的訓(xùn)練方式可能造成訓(xùn)練不充分（模型過(guò)于復(fù)雜），或者過(guò)擬合（模型過(guò)于簡(jiǎn)單）蜕乡。因此奸绷，業(yè)界有各種各樣的小樣本學(xué)習(xí)方法提出，其中遷移學(xué)習(xí)是主流方法之一层玲，元學(xué)習(xí)與兩者有很大的交集号醉，卻又不盡相同。多場(chǎng)景的數(shù)據(jù)學(xué)習(xí)更適合元學(xué)習(xí)辛块。而估計(jì)CATE本身就是數(shù)據(jù)缺失的畔派，比如missing confounder是因果推斷的根本問(wèn)題之一，可以被看做某種數(shù)據(jù)缺失润绵。這一問(wèn)題可以利用隨機(jī)實(shí)驗(yàn)收集數(shù)據(jù)來(lái)解決线椰，但隨機(jī)試驗(yàn)的數(shù)據(jù)量通常都很少。觀(guān)測(cè)數(shù)據(jù)中selection bias的問(wèn)題是另一個(gè)根本問(wèn)題尘盼，樣本較少會(huì)導(dǎo)致模型效果進(jìn)一步變差（樣本太少根本沒(méi)有辦法進(jìn)行matching和balancing）憨愉。這些問(wèn)題導(dǎo)致因果推斷小樣本學(xué)習(xí)其實(shí)是一個(gè)很重要的方向烦绳。
具體做法
作者利用Y-learner作為基礎(chǔ)學(xué)習(xí)器來(lái)進(jìn)行遷移學(xué)習(xí)，并估計(jì)causal effect莱衩。我們首先來(lái)看一下Y-learner的結(jié)構(gòu)爵嗅。其中，Y-learner會(huì)采用三個(gè)網(wǎng)絡(luò)笨蚁，睹晒，
以及
，分別用來(lái)學(xué)習(xí)potential outcome（
）括细，potential outcome（
）以及causal effect伪很。如下圖所示，Y-learner是交替進(jìn)行訓(xùn)練的奋单。
- 在
的時(shí)候（圖中是
）锉试，會(huì)首先利用樣本的實(shí)際觀(guān)測(cè)結(jié)果（factual outcome）
來(lái)更新網(wǎng)絡(luò)
的參數(shù)。隨后利用實(shí)際觀(guān)測(cè)結(jié)果加上估計(jì)的causal effect的結(jié)果
來(lái)訓(xùn)練估計(jì)網(wǎng)絡(luò)
览濒，這個(gè)類(lèi)似于X-learner的方法呆盖。最后，利用
時(shí)候的potential outcome贷笛，并減去實(shí)際的觀(guān)測(cè)結(jié)果（實(shí)際觀(guān)測(cè)時(shí)
- 在
），與
Y-learner structure
接來(lái)下洞就，看一下transfer learning的部分。我們用戶(hù)擁有多個(gè)場(chǎng)景的樣本掀淘，不同的場(chǎng)景用上標(biāo)代表。如
繁疤，
分別代表兩個(gè)不同場(chǎng)景下咖为，
時(shí)候的估計(jì)網(wǎng)絡(luò)。遷移學(xué)習(xí)有多種處理方法稠腊，
- warm start（也被成為fine-tuning）躁染。這種情況下各個(gè)場(chǎng)景的輸入特征空間是一樣的，并且他們底層的內(nèi)部因果關(guān)系是一樣的架忌，只是在同樣的
下吞彤，相同treatment下的potential outcome可能是不一樣的，即
。相比隨機(jī)初始化饰恕，利用第一個(gè)任務(wù)訓(xùn)練好的權(quán)重初始化第二個(gè)任務(wù)并繼續(xù)訓(xùn)練能夠帶來(lái)更快的收斂速度挠羔、更好的效果以及對(duì)樣本的需求量更少（transfer learning的好處照搬過(guò)來(lái)...）。
- Frozen-features埋嵌。利用在場(chǎng)景1訓(xùn)練好的前幾層網(wǎng)絡(luò)的權(quán)重破加，來(lái)初始化場(chǎng)景2的網(wǎng)絡(luò)。并且雹嗦，在場(chǎng)景2訓(xùn)練的時(shí)候范舀，凍結(jié)這部分權(quán)重，并不會(huì)訓(xùn)練這部分特征提取網(wǎng)絡(luò)了罪。
- Multi-head锭环，另一種是多頭輸出，這里的多頭不只是outcome多頭泊藕，還包括場(chǎng)景獨(dú)立的多頭部分辅辩。首先，仍然是逐個(gè)訓(xùn)練不同的場(chǎng)景網(wǎng)絡(luò)娃圆。把第一個(gè)網(wǎng)絡(luò)的參數(shù)用來(lái)初始化后邊的場(chǎng)景的網(wǎng)絡(luò)玫锋。網(wǎng)絡(luò)存在不同任務(wù)間共享的網(wǎng)絡(luò)，同時(shí)存在不同網(wǎng)絡(luò)間獨(dú)立的網(wǎng)絡(luò)讼呢，并進(jìn)行交替訓(xùn)練景醇。
- Joint training，本質(zhì)上就是把所有場(chǎng)景的網(wǎng)絡(luò)變成一個(gè)大的multitask learning吝岭，一次反向傳播的時(shí)候會(huì)優(yōu)化所有參數(shù)。損失函數(shù)是各個(gè)場(chǎng)景下樣本的損失之和吧寺，即
窜管。
transfer learning
最后，作者利用元學(xué)習(xí)稚机，來(lái)進(jìn)行初始化權(quán)重的學(xué)習(xí)幕帆。其實(shí)就是利用Reptile學(xué)習(xí)初始化參數(shù)，分別利用multitask和S-learner的思路赖条，來(lái)快速遷移失乾。（具體明天再扯...）
代碼實(shí)現(xiàn)
（留坑待填...）
心得體會(huì)
imputation like X-learner
Y-learner利用實(shí)際觀(guān)測(cè)結(jié)果加上估計(jì)的causal effect的結(jié)果來(lái)訓(xùn)練估計(jì)網(wǎng)絡(luò)
。本質(zhì)上是一種插值的訓(xùn)練方式纬乍，這樣即分別利用了每一個(gè)potential outcome的數(shù)據(jù)信息碱茁，又充分利用了兩者的潛在共有信息，比如共有的outcome的值結(jié)構(gòu)（細(xì)節(jié)可以參見(jiàn)FlexTENet[1]）仿贬。
文章引用
[1] Curth, A., & van der Schaar, M. (2021). On Inductive Biases for Heterogeneous Treatment Effect Estimation. arXiv preprint arXiv:2106.03765.
