Summary of How Much Should We Trust Estimates from Multiplicative Interaction Models? Simple Tools to Improve Empirical Practice

研究過(guò)程中一個(gè)經(jīng)典場(chǎng)景是：開(kāi)開(kāi)心心地解決了各種報(bào)錯(cuò)庵寞，跑出了一個(gè)沒(méi)有任何omit狸相，看起來(lái)還不錯(cuò)的結(jié)果，那么一個(gè)新的問(wèn)題又來(lái)了捐川，即脓鹃，這個(gè)結(jié)果是啥玩意兒。
黃河泉老師的PPT里沒(méi)有解釋邊際效應(yīng)的結(jié)果圖應(yīng)該怎么看属拾，于是就只好從原文找答案啦将谊。

1 問(wèn)題介紹

交叉項(xiàng)探討的是 the relationship between an outcome Y and an independent variable/treatment D changes with a moderating variable X （Y,D,X三個(gè)變量的關(guān)系）

實(shí)證研究應(yīng)用過(guò)程中經(jīng)常犯的兩個(gè)錯(cuò)誤是：

1. 模型設(shè)定錯(cuò)誤冷溶，假設(shè)交叉項(xiàng)的影響是線性的 LIE——實(shí)證數(shù)據(jù)往往并非如此理想
   First, these models assume a linear interaction effect that changes at a constant rate with the moderator.
2. 調(diào)節(jié)變量缺乏共同支持^{[想不到更貼切的翻譯]} lack of common support
   Second, estimates of the conditional effects of the independent variable can be misleading if there is a lack of common support of the moderator.

錯(cuò)誤1 Model misspecification: LIE假設(shè)

交叉項(xiàng)模型的普遍設(shè)定隱含了這個(gè)關(guān)鍵假設(shè)—— LIE: linear interaction effect assumption
表達(dá)式為

含義是

This linear interaction effect (LIE) assumption states that the
effect of D on Y can only linearly change with X at a constant rate given by . In other words, the LIE assumption implies that the heterogeneity in effects is such that as X increases by one unit, the effect of D on Y changes by and this change in the effect is constant across the whole range of X.

錯(cuò)誤2 Insufficient common support in X

common support又是個(gè)啥？

Ideally, to compute the marginal effect of D at a given value of the moderator, Xo, there needs to be
(1) a sufficient number of observations whose X values are close to Xo and
(2) variation in the treatment, D, at Xo.
If either of these two conditions fails, the conditional marginal effects estimates are based on extrapolation or interpolation of the functional form to an area where there is no or only sparse data and therefore the effect estimates are fragile and model dependent.

百度翻譯一下：
理想情況下尊浓，為了計(jì)算處理變量D在給定的調(diào)節(jié)變量值Xo的邊際效應(yīng)逞频，需要

1. 有足夠數(shù)量的觀測(cè)值，它們的X值接近于Xo栋齿。
   也就是說(shuō)苗胀，使用的數(shù)據(jù)在Xo附近有足夠多的觀測(cè)值。
2. 在X處的處理變量D是有變化的瓦堵。

不滿足以上的任何一個(gè)條件基协，那么條件邊際效應(yīng)的估計(jì)就是以函數(shù)形式對(duì)沒(méi)有數(shù)據(jù)或極少量數(shù)據(jù)的區(qū)域的過(guò)度外推或內(nèi)插，因此效果估計(jì)是脆弱的并且依賴于模型菇用。^{[一針見(jiàn)血]}
注：聯(lián)系一下 Curse of dimensionality澜驮，就很好理解了。

Insufficient common support 經(jīng)常出現(xiàn)于以下情況：

1. D或X的分布是高度有偏的（highly skewed）
2. D或X在二者的共同支持區(qū)域內(nèi)沒(méi)有變化（does not vary in some regions of the joint support of D and X）

2 模型

略惋鸥。
總之作者經(jīng)過(guò)一系列推導(dǎo)杂穷，針對(duì)以上兩個(gè)問(wèn)題進(jìn)行證明，再一次論證了：

1. 如果真實(shí)模型是非線性的而強(qiáng)行使用和線性模型卦绣，那么得到的結(jié)果是不一致和有偏的（conditional marginal effects estimates are inconsistent and biased）耐量；
2. 如果不滿足共同支持條件，那么結(jié)果高度依賴于模型滤港。

3 檢驗(yàn)診斷

問(wèn)題提出來(lái)了廊蜒，怎么解決呢？作者給出了一種非常簡(jiǎn)單又有效的辦法：數(shù)據(jù)可視化溅漾。

Linear Interaction Diagnostic (LID) plots

• 第一步山叮，將原始數(shù)據(jù)按X進(jìn)行分組，畫(huà)出Y-D的散點(diǎn)圖樟凄。
  如果X是類(lèi)別變量聘芜，那么直接分組；如果X是連續(xù)變量缝龄，那么按照分位數(shù)等分成low, midium, high三組（binning approach）。
• 第二步挂谍，在散點(diǎn)圖上用藍(lán)色線進(jìn)行線性回歸擬合叔壤，用紅色線進(jìn)行LOESS擬合。
  如果真實(shí)模型是線性的口叙，那么兩條線非常接近炼绘；反之，當(dāng)真實(shí)模型是非線性的妄田，兩條線走勢(shì)有明顯差異俺亮。這是對(duì)錯(cuò)誤1的檢驗(yàn)驮捍。
  此外，對(duì)比同一條擬合線在不同分組中的走勢(shì)脚曾，還可以對(duì)交互項(xiàng)的作用方向做出初步判斷东且。
• 第三步，在散點(diǎn)圖上疊加X(jué)分布的box plot本讥。散點(diǎn)圖本身也提供了X分布的信息珊泳。
  如果X在數(shù)據(jù)區(qū)間內(nèi)都有分布而且比較均勻，比如25分位點(diǎn)到75分位點(diǎn)幾乎占據(jù)整個(gè)區(qū)域拷沸，那么滿足共同支持條件色查；反之，X集中在某個(gè)區(qū)間撞芍，在另外的區(qū)域數(shù)據(jù)很少或沒(méi)有秧了，則不滿足共同支持條件。

如果交互作用是雙向的（一般模型均如此）序无，那么要把D與X互換再做一遍验毡。也可以用generalized additive model (GAM）做三維的surface plot。

介紹完畢愉镰。分以下情形進(jìn)行圖示：
(1) linear marginal effect with a dichotomous treatment,
(2) linear marginal effect with a continuous treatment, and
(3) nonlinear marginal effect with adichotomous treatment.

LID plots

4 估計(jì)量

光看圖還是不夠米罚，數(shù)字到底比較可靠。于是丈探，作者提供了兩種估計(jì)量：Binning Estimator 和 Kernel Estimator录择，并且提供了將其可視化的程序 interflex ^{[天地良心]}。
這里的 bias-variance trade-off 在于碗降，一方面隘竭，這些估計(jì)量減少了缺乏共同支持造成的偏差；另一方面讼渊，如果交互項(xiàng)的影響確實(shí)是線性的动看，那么線性模型的結(jié)果比這些估計(jì)量更有效。

Binning Estimator

按照連續(xù)變量的分組方法進(jìn)行估計(jì)爪幻，得到三個(gè)邊際效應(yīng)估計(jì)系數(shù)和置信區(qū)間菱皆。如圖所示，

1. 如果
   （1）線性回歸線與L,M,H大致重疊（至少在置信區(qū)間內(nèi)）
   （2）L,M,H在整個(gè)數(shù)據(jù)區(qū)間內(nèi)分布比較均勻挨稿，不是集中在某個(gè)區(qū)域
   那么請(qǐng)放心使用線性模型仇轻。
2. 如果L,M,H錯(cuò)落有致，那么恭喜你喜提非線性模型奶甘，請(qǐng)參考作者提供的估計(jì)量篷店。

Binning Estimator

Kernel Estimator

Binning Estimator是三個(gè)點(diǎn)，Kernel Estimator則呈現(xiàn)了數(shù)據(jù)區(qū)間內(nèi)的完整曲線臭家。

1. 如果Kernel Estimator結(jié)果接近一條直線疲陕，則滿足LIE假設(shè)方淤；如果彎曲程度很大，那么LIE假設(shè)不滿足蹄殃，線性模型結(jié)果不一致携茂。
2. 置信區(qū)間越寬的區(qū)域，越缺乏共同支持窃爷。

Kernel Estimator

5 數(shù)據(jù)

作者針對(duì)幾本頂刊上的許多文章進(jìn)行了驗(yàn)證（檢驗(yàn)方法見(jiàn)下）邑蒋，結(jié)果一塌糊涂，只有4篇文章完全通過(guò)檢驗(yàn)按厘。

6 結(jié)果

作者報(bào)告了結(jié)果的4種典型情形医吊，也是圖示邊際效應(yīng)的應(yīng)用實(shí)例：完美的線性邊際效應(yīng)^{[優(yōu)秀]}、由于情況1數(shù)據(jù)分布不均的缺乏共同支持逮京、由于情況2的過(guò)度外推卿堂，以及非線性。^{[到了這里依然看不懂`interflex`結(jié)果圖的可以參考原文此部分]}

如何識(shí)別后三種情形懒棉？依次進(jìn)行以下檢驗(yàn)：
(1) H0：no statistically different treatment effects at typical low and typical high levels of the moderator——t test

whether the binning estimator at the median value in the low tercile of the moderator was statistically different from the effect estimate at the median of the high tercile of the moderator (p < .05, two-tailed)

即檢驗(yàn)binning estimator的L與H是否具有顯著性差異草描，拒絕原假設(shè)說(shuō)明交互作用顯著

(2) H0：no severe extrapolation——L-Kurtosis

whether the L-Kurtosis of the moderator exceeds a threshold that indicates severe extrapolation

(3) no nonlinear interaction effects——Wald test
H0：the interaction effect is indeed linear as claimed in the original study
在 interflex 的結(jié)果中，程序報(bào)告了Wald檢驗(yàn)的p值策严。拒絕原假設(shè)說(shuō)明存在非線性影響穗慕，但接受原假設(shè)不一定就滿足LIE假設(shè)，尤其是在小樣本的情況下妻导。

結(jié)論

好啦逛绵，文章的主要內(nèi)容就是針對(duì)線性交互模型中存在的LIE和common support兩個(gè)主要問(wèn)題，分析問(wèn)題的由來(lái)（模型設(shè)定錯(cuò)誤和數(shù)據(jù)不足）及可能的影響（估計(jì)量不一致且有偏或高度依賴模型）倔韭，提出了問(wèn)題的識(shí)別方法（LID plot）以及更普遍適用的估計(jì)量（Binning和Kernel)术浪，并且把新方法用于已有文章進(jìn)行檢驗(yàn)。

最后寿酌，作者建議分析交互作用的研究者采取以下安全措施：

1. 畫(huà)LID圖以檢查原始數(shù)據(jù)胰苏。X|D和D|X最好都畫(huà)哦。
2. 參考Binning估計(jì)量醇疼。
3. 參考Kernel估計(jì)量硕并。
4. 謹(jǐn)慎使用線性交互模型。得到Binning或Kernel估計(jì)量支持才使用線性模型秧荆，并且應(yīng)當(dāng)在有充分的共同支持的數(shù)據(jù)區(qū)域計(jì)算邊際效應(yīng)鲤孵。建立線性模型后還要再參考Brambor, Clark and Golder (2006)一文的使用指導(dǎo)。

彩蛋

論文作者的interflex使用指南
另外一種交互作用的圖示方法

學(xué)習(xí)愉快~晚安辰如！