回歸系數(shù)的解釋

在最近的項(xiàng)目中經(jīng)常會(huì)做到線性回歸方面的分析聂渊,跟客戶解釋相關(guān)結(jié)果時(shí),用比較學(xué)術(shù)的統(tǒng)計(jì)詞匯闡述結(jié)果常常令人不知所云绳锅。我常常想仇让,只有能用最簡(jiǎn)單的話跟別人解釋清楚才真的證明是你懂了典奉。于是為了讓自己看起來好懂的樣子,我在網(wǎng)上扒拉半天丧叽,找到一本《例解回歸分析》:

96dda144ad3459823fe10ed50ff431adcbef840a.jpg

它恰好是一本深入淺出的書卫玖,在此十分推薦大家閱讀(雖然我也還沒讀過多少吧!哈哈!)今天想跟大家分享的正是這本書中的內(nèi)容:回歸系數(shù)的解釋(在48頁)踊淳。
對(duì)于多元回歸方程中的回歸系數(shù)的解釋比較混亂假瞬,可以從不同的角度進(jìn)行解釋。先說一下回歸方程迂尝,簡(jiǎn)單線性回歸方程表示一條直線脱茉,而多元線性回歸方程表示一個(gè)平面(有兩個(gè)預(yù)測(cè)變量時(shí))或者一個(gè)超平面(有多個(gè)預(yù)測(cè)變量時(shí))。在多元回歸分析中垄开,常系數(shù)的意義與簡(jiǎn)單回歸中的一樣琴许,?表示:當(dāng)X_1 = X_2 = ... = X_p = 0時(shí)Y的值?,而回歸系數(shù)\beta_j (j=1,2,...,p)則有多種解釋溉躲。一種解釋是榜田,當(dāng)X_j變化一個(gè)單位而其他預(yù)測(cè)變量固定取常數(shù)時(shí),Y的改變量锻梳,這個(gè)改變量與其他預(yù)測(cè)變量固定取什么常數(shù)無關(guān)串慰,然而,在實(shí)際中唱蒸,預(yù)測(cè)變量間往往是有關(guān)聯(lián)的,可能無法做到固定某些預(yù)測(cè)變量的值而改變其他變量的值灸叼,這是這種解釋的弱點(diǎn)神汹。

回歸系數(shù)\beta_j的另一種解釋是,經(jīng)過其他預(yù)測(cè)變量的“調(diào)整”后古今,X_j對(duì)響應(yīng)變量Y的貢獻(xiàn)屁魏,因此\beta_j也稱為偏回歸系數(shù)。那多元回歸中的“調(diào)整”如何理解呢捉腥?作者用有兩個(gè)解釋變量的多元回歸為例說明這個(gè)問題氓拼。例如在主管業(yè)績(jī)數(shù)據(jù)中,僅取X_1X_2作為解釋變量,得到回歸方程為:
\hat Y = 15.3276 + 0.7803X_1 - 0.0502X_2
作者下面用了三個(gè)步驟對(duì)“調(diào)整”的意義進(jìn)行了解釋:

  • 擬合Y對(duì)X_1的簡(jiǎn)單回歸模型桃漾,得到\hat Y = 14.3763 + 0.754610X_1坏匪;
    記這個(gè)簡(jiǎn)單回歸模型的殘差為e_{Y.X_1},該符號(hào)中撬统,圓點(diǎn)之前的變量為響應(yīng)變量适滓,之后的為預(yù)測(cè)變量。我們稱e_{Y.X_1}=Y-\hat Y為經(jīng)過X_1“調(diào)整”之后的Y(實(shí)際上恋追,這個(gè)調(diào)整之后的Y就是殘差e_{Y.X_1}

  • 擬合X_2對(duì)X_1的簡(jiǎn)單回歸模型凭迹,得到\hat {X_2} = 18.9654 + 0.513032X_1
    記此回歸殘差為e_{X_2.X_1}苦囱,也稱e_{X_2.X_1}=X_2-\hat X_2為經(jīng)過X_1“調(diào)整”后的X_2嗅绸。

  • 擬合上面兩個(gè)殘差的簡(jiǎn)單回歸模型,其中e_{Y.X_1}是響應(yīng)變量撕彤,e_{X_2.X_1}是預(yù)測(cè)變量鱼鸠,得到\hat e_{Y.X_1} = 0 - 0.0502e_{X_2.X_1}

一個(gè)有意思的結(jié)果是喉刘,在最后一個(gè)回歸方程中瞧柔,e_{X_2.X_1}的系數(shù)也是-0.0502。事實(shí)上睦裳,他們的標(biāo)準(zhǔn)誤也一樣造锅,如何直觀的解釋呢?在第一步中廉邑,作者考察了YX_1之間的線性關(guān)系哥蔚。得到的回歸殘差是Y中去掉X_1的線性影響之后的部分,或者說蛛蒙,是Y中與X_1沒有線性關(guān)系的部分糙箍。第二步中,作者用X_2代替Y牵祟,重復(fù)第一步的分析深夯,此時(shí)的殘差是X_2中與X_1沒有線性關(guān)系的部分,是經(jīng)過X_1“調(diào)整”后的X_2诺苹。第三步簡(jiǎn)歷上面的到的Y的殘差和X_2的殘差之間的線性關(guān)系咕晋,得到的回歸系數(shù)表示,去掉X_1對(duì)YX_2的線性影響之后收奔,X_2對(duì)于Y的影響掌呜,即經(jīng)過X_1調(diào)整后,X_2對(duì)Y的影響坪哄。這就是對(duì)回歸系數(shù)\beta_j的第二種解釋质蕉。

現(xiàn)在回到一般的多元線性回歸势篡,回歸系數(shù)\beta_j反映的是X_j對(duì)響應(yīng)變量Y的貢獻(xiàn),這種貢獻(xiàn)是YX_j都經(jīng)過其他預(yù)測(cè)變量的線性調(diào)整后得到的模暗。因此\beta_j也取名偏回歸系數(shù)禁悠,這就是多元回歸中對(duì)回歸系數(shù)的第二種解釋,比第一種解釋統(tǒng)計(jì)意義深刻一些汰蓉。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末绷蹲,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子顾孽,更是在濱河造成了極大的恐慌祝钢,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,013評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件若厚,死亡現(xiàn)場(chǎng)離奇詭異拦英,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)测秸,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,205評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門疤估,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人霎冯,你說我怎么就攤上這事铃拇。” “怎么了沈撞?”我有些...
    開封第一講書人閱讀 152,370評(píng)論 0 342
  • 文/不壞的土叔 我叫張陵慷荔,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我缠俺,道長(zhǎng)显晶,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,168評(píng)論 1 278
  • 正文 為了忘掉前任壹士,我火速辦了婚禮磷雇,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘躏救。我一直安慰自己唯笙,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,153評(píng)論 5 371
  • 文/花漫 我一把揭開白布盒使。 她就那樣靜靜地躺著睁本,像睡著了一般。 火紅的嫁衣襯著肌膚如雪忠怖。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 48,954評(píng)論 1 283
  • 那天抄瑟,我揣著相機(jī)與錄音凡泣,去河邊找鬼枉疼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛鞋拟,可吹牛的內(nèi)容都是我干的骂维。 我是一名探鬼主播,決...
    沈念sama閱讀 38,271評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼贺纲,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼航闺!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起猴誊,我...
    開封第一講書人閱讀 36,916評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤潦刃,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后懈叹,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體乖杠,經(jīng)...
    沈念sama閱讀 43,382評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,877評(píng)論 2 323
  • 正文 我和宋清朗相戀三年澄成,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了胧洒。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,989評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡墨状,死狀恐怖卫漫,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情肾砂,我是刑警寧澤列赎,帶...
    沈念sama閱讀 33,624評(píng)論 4 322
  • 正文 年R本政府宣布,位于F島的核電站通今,受9級(jí)特大地震影響粥谬,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜辫塌,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,209評(píng)論 3 307
  • 文/蒙蒙 一漏策、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧臼氨,春花似錦掺喻、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,199評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至持隧,卻和暖如春即硼,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背屡拨。 一陣腳步聲響...
    開封第一講書人閱讀 31,418評(píng)論 1 260
  • 我被黑心中介騙來泰國(guó)打工只酥, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留褥实,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 45,401評(píng)論 2 352
  • 正文 我出身青樓裂允,卻偏偏與公主長(zhǎng)得像损离,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子绝编,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,700評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容