在最近的項(xiàng)目中經(jīng)常會(huì)做到線性回歸方面的分析聂渊,跟客戶解釋相關(guān)結(jié)果時(shí),用比較學(xué)術(shù)的統(tǒng)計(jì)詞匯闡述結(jié)果常常令人不知所云绳锅。我常常想仇让,只有能用最簡(jiǎn)單的話跟別人解釋清楚才真的證明是你懂了典奉。于是為了讓自己看起來好懂的樣子,我在網(wǎng)上扒拉半天丧叽,找到一本《例解回歸分析》:
它恰好是一本深入淺出的書卫玖,在此十分推薦大家閱讀(雖然我也還沒讀過多少吧!哈哈!)今天想跟大家分享的正是這本書中的內(nèi)容:回歸系數(shù)的解釋(在48頁)踊淳。
對(duì)于多元回歸方程中的回歸系數(shù)的解釋比較混亂假瞬,可以從不同的角度進(jìn)行解釋。先說一下回歸方程迂尝,簡(jiǎn)單線性回歸方程表示一條直線脱茉,而多元線性回歸方程表示一個(gè)平面(有兩個(gè)預(yù)測(cè)變量時(shí))或者一個(gè)超平面(有多個(gè)預(yù)測(cè)變量時(shí))。在多元回歸分析中垄开,常系數(shù)的意義與簡(jiǎn)單回歸中的一樣琴许,?表示:當(dāng)時(shí)的值?,而回歸系數(shù)則有多種解釋溉躲。一種解釋是榜田,當(dāng)變化一個(gè)單位而其他預(yù)測(cè)變量固定取常數(shù)時(shí),Y的改變量锻梳,這個(gè)改變量與其他預(yù)測(cè)變量固定取什么常數(shù)無關(guān)串慰,然而,在實(shí)際中唱蒸,預(yù)測(cè)變量間往往是有關(guān)聯(lián)的,可能無法做到固定某些預(yù)測(cè)變量的值而改變其他變量的值灸叼,這是這種解釋的弱點(diǎn)神汹。
回歸系數(shù)的另一種解釋是,經(jīng)過其他預(yù)測(cè)變量的“調(diào)整”后古今,對(duì)響應(yīng)變量的貢獻(xiàn)屁魏,因此也稱為偏回歸系數(shù)。那多元回歸中的“調(diào)整”如何理解呢捉腥?作者用有兩個(gè)解釋變量的多元回歸為例說明這個(gè)問題氓拼。例如在主管業(yè)績(jī)數(shù)據(jù)中,僅取和作為解釋變量,得到回歸方程為:
作者下面用了三個(gè)步驟對(duì)“調(diào)整”的意義進(jìn)行了解釋:
擬合對(duì)的簡(jiǎn)單回歸模型桃漾,得到坏匪;
記這個(gè)簡(jiǎn)單回歸模型的殘差為,該符號(hào)中撬统,圓點(diǎn)之前的變量為響應(yīng)變量适滓,之后的為預(yù)測(cè)變量。我們稱為經(jīng)過“調(diào)整”之后的(實(shí)際上恋追,這個(gè)調(diào)整之后的就是殘差)擬合對(duì)的簡(jiǎn)單回歸模型凭迹,得到;
記此回歸殘差為苦囱,也稱為經(jīng)過“調(diào)整”后的嗅绸。擬合上面兩個(gè)殘差的簡(jiǎn)單回歸模型,其中是響應(yīng)變量撕彤,是預(yù)測(cè)變量鱼鸠,得到。
一個(gè)有意思的結(jié)果是喉刘,在最后一個(gè)回歸方程中瞧柔,的系數(shù)也是。事實(shí)上睦裳,他們的標(biāo)準(zhǔn)誤也一樣造锅,如何直觀的解釋呢?在第一步中廉邑,作者考察了和之間的線性關(guān)系哥蔚。得到的回歸殘差是中去掉的線性影響之后的部分,或者說蛛蒙,是中與沒有線性關(guān)系的部分糙箍。第二步中,作者用代替牵祟,重復(fù)第一步的分析深夯,此時(shí)的殘差是中與沒有線性關(guān)系的部分,是經(jīng)過“調(diào)整”后的诺苹。第三步簡(jiǎn)歷上面的到的的殘差和的殘差之間的線性關(guān)系咕晋,得到的回歸系數(shù)表示,去掉對(duì)和的線性影響之后收奔,對(duì)于的影響掌呜,即經(jīng)過調(diào)整后,對(duì)的影響坪哄。這就是對(duì)回歸系數(shù)的第二種解釋质蕉。
現(xiàn)在回到一般的多元線性回歸势篡,回歸系數(shù)反映的是對(duì)響應(yīng)變量的貢獻(xiàn),這種貢獻(xiàn)是和都經(jīng)過其他預(yù)測(cè)變量的線性調(diào)整后得到的模暗。因此也取名偏回歸系數(shù)禁悠,這就是多元回歸中對(duì)回歸系數(shù)的第二種解釋,比第一種解釋統(tǒng)計(jì)意義深刻一些汰蓉。