1抠刺、什么是多重共線性

多重共線性（multicollinearity, 簡稱collinearity）意味著預(yù)測變量之間高相關(guān)哮肚，這會影響我們在回歸模型中觀察某個預(yù)測變量對結(jié)果變量的單獨(dú)影響害捕。

例如我們想看x1和x2對y的影響腰奋，但是x1和x2高相關(guān)院领，這時x1對y的作用會受到x2影響。

這里可以借用調(diào)節(jié)效應(yīng)來理解跺嗽。在做中介調(diào)節(jié)模型前，我們一般會做一個相關(guān)矩陣页藻，來看看哪些變量之間是高相關(guān)的桨嫁，畢竟只有彼此高相關(guān)的變量才有做調(diào)節(jié)效應(yīng)的價值。當(dāng)然調(diào)節(jié)效應(yīng)的研究假設(shè)和回歸分析不一樣份帐，不可理解為同一回事璃吧，這里只是從數(shù)據(jù)的層面類比了相關(guān)性的情況。

上述x1废境、x2畜挨、y的例子考慮的是數(shù)據(jù)中的多重共線性（data-based multicollinearity）。此外還有結(jié)構(gòu)多重共線性（structrual multicollinearity）彬坏，例如朦促，將x1、x1的平方作為預(yù)測變量栓始，很顯然x1和x1的平方是高相關(guān)的务冕。關(guān)于這一情況，請看references幻赚。

關(guān)于共線性的原理禀忆，Rawlings et al. (1998) 書里有詳細(xì)的描述。

2落恼、為什么會出現(xiàn)多重共線性箩退？

根據(jù)Rawlings et al. (1998, pp. 433-434)，有四種可能：

1佳谦、變量的數(shù)學(xué)特性戴涝。例如對x1取平方，然后預(yù)測x1钻蔑、x1的平方對y的影響啥刻。很顯然此時x1、x1的平方是高相關(guān)的咪笑；
2可帽、變量在某一個系統(tǒng)中的屬性。例如某兩個變量在心理學(xué)中就是高相關(guān)的窗怒；
3映跟、糟糕的取樣蓄拣；
4、糟糕的實(shí)驗(yàn)設(shè)計努隙。

1和2對應(yīng)了上述的data-based and structrual collinearity球恤。

3、通過計算VIF來判斷多重共線性

判斷多重共線性的方法是計算每個預(yù)測變量的VIF（variance inflation factor）剃法。

VIF指的是某個變量的引入對模型的系數(shù)的變異（variance）的膨脹程度（inflation）碎捺。

一個變量和越多其它變量高相關(guān)，則VIF越高贷洲。

計算方法是去掉第i個變量后收厨，將模型的R方代入公式：VIF_i = 1/(1 - Rsqaure_i)

可以跑一下模型然后按照上述公式手算，這樣能更好理解优构。

4诵叁、引入控制變量時，共線性問題的兩種情況

繼續(xù)用上述x1钦椭、x2拧额、y的例子。假設(shè)我們還有控制變量z1彪腔、z2侥锦、z3。其中德挣，z1的VIF高恭垦，此時可能意味著兩種情況：

（1）z1的高VIF值是因?yàn)閦1和z2、z3高相關(guān)格嗅，則問題不大（也就是控制變量之間的高相關(guān)）番挺；

（2）如果z1不僅和z2、z3高相關(guān)屯掖，還和x1玄柏、x2高相關(guān)，則會直接影響到x1贴铜、x2的系數(shù)的預(yù)測粪摘，問題比較大。

上述提到的（1）問題不大绍坝，只是相對于（2）而言徘意。但是（1）依然會影響模型中各種系數(shù)的標(biāo)準(zhǔn)誤，包括x1陷嘴、x2的系數(shù)的標(biāo)準(zhǔn)誤（或者說，使slopes的confidence intervals不再狹窄间坐、精確）灾挨，從而間接影響x1邑退、x2對y的效應(yīng)的顯著性。

5劳澄、解決方法

收集更多數(shù)據(jù)地技。

考慮合并變量（例如z1、z2秒拔、z3是父母教育情況莫矗、父母工資、父母社會地位砂缩，則可以考慮用PCA合并成單獨(dú)的變量作谚，叫家庭社會經(jīng)濟(jì)地位）。

考慮刪除部分VIF高的控制變量庵芭，并在文章中進(jìn)行說明妹懒。

如果只出現(xiàn)情況（1），且模型顯著双吆，那么應(yīng)該也可以接受（篇幅允許的話眨唬，可以在文章中進(jìn)行說明，例如討論共線性問題對于結(jié)果揭示的可能影響）好乐。

6匾竿、補(bǔ)充說明

以上的解決方法是我根據(jù)網(wǎng)絡(luò)上搜索的資料得到的。不過Rawlings et al. (1998, p. 457) 給出了更為寬松的策略：只要共線性反映的是變量本身的關(guān)系（但不能是取樣導(dǎo)致的）蔚万，就無所謂岭妖。

仔細(xì)想想，似乎也合理笛坦？如果人為地去處理共線性的問題区转，反倒可能影響了分析過程的客觀性。

References

• 這本書的第13章講到了共線性的問題：Rawlings, J. O., Pantula, S. G., & Dickey, D. A. (1998). Applied Regression Analysis: A Research Tool (Second Edition). New York, NY: Springer New York.
• 這個PSU的網(wǎng)站用很容易理解的語言告訴你什么是多重共線性：
  https://online.stat.psu.edu/stat462/node/177/
• 以及如何計算VIF：https://online.stat.psu.edu/stat462/node/180/
• 以及structural multicollinearity的問題：https://online.stat.psu.edu/stat462/node/182/
• frank在回答中用向量的形式將控制變量的共線性問題進(jìn)行可視化（不過他沒有明確說明兩種情況對分析結(jié)果的影響的差異）：https://stats.stackexchange.com/questions/590914/does-multicollinearity-among-control-variables-matter
• 共線性問題可以被忽視的三種情況：https://statisticalhorizons.com/multicollinearity/
• 關(guān)于相關(guān)性和調(diào)節(jié)效應(yīng)可以參考wikipedia：https://en.wikipedia.org/wiki/Mediation_(statistics)#:~:text=One%20of%20the%20most%20common,responsible%20for%20the%20proposed%20effect.

----------2024.05.24更新----------
根據(jù)Applied Regression Analysis: A Research Tool (2rd edition)一書調(diào)整了內(nèi)容