回歸分析 - 刺猬的溫馴 - 博客園 http://www.cnblogs.com/chenying99/p/4910180.html
如何正確選擇回歸模型送丰?
當(dāng)你只知道一個(gè)或兩個(gè)技術(shù)時(shí)晨雳,生活往往很簡(jiǎn)單锋谐。我知道的一個(gè)培訓(xùn)機(jī)構(gòu)告訴他們的學(xué)生,如果結(jié)果是連續(xù)的质蕉,就使用線性回歸。如果是二元的翩肌,就使用邏輯回歸模暗!然而,在我們的處理中念祭,可選擇的越多兑宇,選擇正確的一個(gè)就越難。類(lèi)似的情況下也發(fā)生在回歸模型中粱坤。
什么是回歸分析隶糕?
回歸分析是一種預(yù)測(cè)性的建模技術(shù),它研究的是因變量(目標(biāo))和自變量(預(yù)測(cè)器)之間的關(guān)系站玄。這種技術(shù)通常用于預(yù)測(cè)分析枚驻,時(shí)間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系。例如株旷,司機(jī)的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系再登,最好的研究方法就是回歸。
回歸分析是建模和分析數(shù)據(jù)的重要工具晾剖。在這里锉矢,我們使用曲線/線來(lái)擬合這些數(shù)據(jù)點(diǎn),在這種方式下齿尽,從曲線或線到數(shù)據(jù)點(diǎn)的距離差異最小沽损。我會(huì)在接下來(lái)的部分詳細(xì)解釋這一點(diǎn)。
我們?yōu)槭裁词褂没貧w分析循头?
如上所述绵估,回歸分析估計(jì)了兩個(gè)或多個(gè)變量之間的關(guān)系炎疆。下面,讓我們舉一個(gè)簡(jiǎn)單的例子來(lái)理解它:
比如說(shuō)壹士,在當(dāng)前的經(jīng)濟(jì)條件下磷雇,你要估計(jì)一家公司的銷(xiāo)售額增長(zhǎng)情況〕ゾ現(xiàn)在躏救,你有公司最新的數(shù)據(jù),這些數(shù)據(jù)顯示出銷(xiāo)售額增長(zhǎng)大約是經(jīng)濟(jì)增長(zhǎng)的2.5倍螟蒸。那么使用回歸分析盒使,我們就可以根據(jù)當(dāng)前和過(guò)去的信息來(lái)預(yù)測(cè)未來(lái)公司的銷(xiāo)售情況。
使用回歸分析的好處良多七嫌。具體如下:
它表明自變量和因變量之間的顯著關(guān)系少办;
它表明多個(gè)自變量對(duì)一個(gè)因變量的影響強(qiáng)度。
回歸分析也允許我們?nèi)ケ容^那些衡量不同尺度的變量之間的相互影響诵原,如價(jià)格變動(dòng)與促銷(xiāo)活動(dòng)數(shù)量之間聯(lián)系英妓。這些有利于幫助市場(chǎng)研究人員,數(shù)據(jù)分析人員以及數(shù)據(jù)科學(xué)家排除并估計(jì)出一組最佳的變量绍赛,用來(lái)構(gòu)建預(yù)測(cè)模型蔓纠。
我們有多少種回歸技術(shù)?
有各種各樣的回歸技術(shù)用于預(yù)測(cè)吗蚌。這些技術(shù)主要有三個(gè)度量(自變量的個(gè)數(shù)腿倚,因變量的類(lèi)型以及回歸線的形狀)。我們將在下面的部分詳細(xì)討論它們蚯妇。
對(duì)于那些有創(chuàng)意的人敷燎,如果你覺(jué)得有必要使用上面這些參數(shù)的一個(gè)組合,你甚至可以創(chuàng)造出一個(gè)沒(méi)有被使用過(guò)的回歸模型箩言。但在你開(kāi)始之前硬贯,先了解如下最常用的回歸方法:
1. Linear Regression線性回歸
它是最為人熟知的建模技術(shù)之一。線性回歸通常是人們?cè)趯W(xué)習(xí)預(yù)測(cè)模型時(shí)首選的技術(shù)之一陨收。在這種技術(shù)中澄成,因變量是連續(xù)的,自變量可以是連續(xù)的也可以是離散的畏吓,回歸線的性質(zhì)是線性的墨状。
線性回歸使用最佳的擬合直線(也就是回歸線)在因變量(Y)和一個(gè)或多個(gè)自變量(X)之間建立一種關(guān)系。
用一個(gè)方程式來(lái)表示它菲饼,即Y=a+b*X + e肾砂,其中a表示截距,b表示直線的斜率宏悦,e是誤差項(xiàng)镐确。這個(gè)方程可以根據(jù)給定的預(yù)測(cè)變量(s)來(lái)預(yù)測(cè)目標(biāo)變量的值包吝。
一元線性回歸和多元線性回歸的區(qū)別在于,多元線性回歸有(>1)個(gè)自變量源葫,而一元線性回歸通常只有1個(gè)自變量∈剑現(xiàn)在的問(wèn)題是“我們?nèi)绾蔚玫揭粋€(gè)最佳的擬合線呢?”息堂。
如何獲得最佳擬合線(a和b的值)嚷狞?
這個(gè)問(wèn)題可以使用最小二乘法輕松地完成。最小二乘法也是用于擬合回歸線最常用的方法荣堰。對(duì)于觀測(cè)數(shù)據(jù)床未,它通過(guò)最小化每個(gè)數(shù)據(jù)點(diǎn)到線的垂直偏差平方和來(lái)計(jì)算最佳擬合線。因?yàn)樵谙嗉訒r(shí)振坚,偏差先平方薇搁,所以正值和負(fù)值沒(méi)有抵消。
我們可以使用R-square指標(biāo)來(lái)評(píng)估模型性能渡八。想了解這些指標(biāo)的詳細(xì)信息啃洋,可以閱讀:模型性能指標(biāo)Part 1,Part 2 .
要點(diǎn):
自變量與因變量之間必須有線性關(guān)系
多元回歸存在多重共線性,自相關(guān)性和異方差性屎鳍。
線性回歸對(duì)異常值非常敏感宏娄。它會(huì)嚴(yán)重影響回歸線,最終影響預(yù)測(cè)值哥艇。
多重共線性會(huì)增加系數(shù)估計(jì)值的方差绝编,使得在模型輕微變化下,估計(jì)非常敏感貌踏。結(jié)果就是系數(shù)估計(jì)值不穩(wěn)定
在多個(gè)自變量的情況下十饥,我們可以使用向前選擇法,向后剔除法和逐步篩選法來(lái)選擇最重要的自變量祖乳。
2.Logistic Regression邏輯回歸
邏輯回歸是用來(lái)計(jì)算“事件=Success”和“事件=Failure”的概率逗堵。當(dāng)因變量的類(lèi)型屬于二元(1 / 0,真/假眷昆,是/否)變量時(shí)蜒秤,我們就應(yīng)該使用邏輯回歸。這里亚斋,Y的值從0到1作媚,它可以用下方程表示。
odds= p/ (1-p) = probability of event occurrence / probability of not event occurrenceln(odds) = ln(p/(1-p))logit(p) = ln(p/(1-p)) = b0+b1X1+b2X2+b3X3....+bkXk
上述式子中帅刊,p表述具有某個(gè)特征的概率纸泡。你應(yīng)該會(huì)問(wèn)這樣一個(gè)問(wèn)題:“我們?yōu)槭裁匆诠街惺褂脤?duì)數(shù)log呢?”赖瞒。
因?yàn)樵谶@里我們使用的是的二項(xiàng)分布(因變量)女揭,我們需要選擇一個(gè)對(duì)于這個(gè)分布最佳的連結(jié)函數(shù)蚤假。它就是Logit函數(shù)。在上述方程中吧兔,通過(guò)觀測(cè)樣本的極大似然估計(jì)值來(lái)選擇參數(shù)磷仰,而不是最小化平方和誤差(如在普通回歸使用的)。
要點(diǎn):
它廣泛的用于分類(lèi)問(wèn)題境蔼。
邏輯回歸不要求自變量和因變量是線性關(guān)系灶平。它可以處理各種類(lèi)型的關(guān)系,因?yàn)樗鼘?duì)預(yù)測(cè)的相對(duì)風(fēng)險(xiǎn)指數(shù)OR使用了一個(gè)非線性的log轉(zhuǎn)換欧穴。
為了避免過(guò)擬合和欠擬合民逼,我們應(yīng)該包括所有重要的變量泵殴。有一個(gè)很好的方法來(lái)確保這種情況涮帘,就是使用逐步篩選方法來(lái)估計(jì)邏輯回歸。
它需要大的樣本量笑诅,因?yàn)樵跇颖緮?shù)量較少的情況下调缨,極大似然估計(jì)的效果比普通的最小二乘法差。
自變量不應(yīng)該相互關(guān)聯(lián)的吆你,即不具有多重共線性弦叶。然而,在分析和建模中妇多,我們可以選擇包含分類(lèi)變量相互作用的影響伤哺。
如果因變量的值是定序變量,則稱(chēng)它為序邏輯回歸者祖。
如果因變量是多類(lèi)的話立莉,則稱(chēng)它為多元邏輯回歸。
3. Polynomial Regression多項(xiàng)式回歸
對(duì)于一個(gè)回歸方程七问,如果自變量的指數(shù)大于1蜓耻,那么它就是多項(xiàng)式回歸方程。如下方程所示:
y=a+b*x^2
在這種回歸技術(shù)中械巡,最佳擬合線不是直線刹淌。而是一個(gè)用于擬合數(shù)據(jù)點(diǎn)的曲線。
重點(diǎn):
雖然會(huì)有一個(gè)誘導(dǎo)可以擬合一個(gè)高次多項(xiàng)式并得到較低的錯(cuò)誤讥耗,但這可能會(huì)導(dǎo)致過(guò)擬合有勾。你需要經(jīng)常畫(huà)出關(guān)系圖來(lái)查看擬合情況,并且專(zhuān)注于保證擬合合理古程,既沒(méi)有過(guò)擬合又沒(méi)有欠擬合蔼卡。下面是一個(gè)圖例,可以幫助理解:
明顯地向兩端尋找曲線點(diǎn)籍琳,看看這些形狀和趨勢(shì)是否有意義菲宴。更高次的多項(xiàng)式最后可能產(chǎn)生怪異的推斷結(jié)果贷祈。
4. Stepwise Regression逐步回歸
在處理多個(gè)自變量時(shí),我們可以使用這種形式的回歸喝峦。在這種技術(shù)中势誊,自變量的選擇是在一個(gè)自動(dòng)的過(guò)程中完成的,其中包括非人為操作谣蠢。
這一壯舉是通過(guò)觀察統(tǒng)計(jì)的值粟耻,如R-square,t-stats和AIC指標(biāo)眉踱,來(lái)識(shí)別重要的變量挤忙。逐步回歸通過(guò)同時(shí)添加/刪除基于指定標(biāo)準(zhǔn)的協(xié)變量來(lái)擬合模型。下面列出了一些最常用的逐步回歸方法:
標(biāo)準(zhǔn)逐步回歸法做兩件事情谈喳。即增加和刪除每個(gè)步驟所需的預(yù)測(cè)册烈。
向前選擇法從模型中最顯著的預(yù)測(cè)開(kāi)始,然后為每一步添加變量婿禽。
向后剔除法與模型的所有預(yù)測(cè)同時(shí)開(kāi)始赏僧,然后在每一步消除最小顯著性的變量。
這種建模技術(shù)的目的是使用最少的預(yù)測(cè)變量數(shù)來(lái)最大化預(yù)測(cè)能力扭倾。這也是處理高維數(shù)據(jù)集的方法之一淀零。
5. Ridge Regression嶺回歸
嶺回歸分析是一種用于存在多重共線性(自變量高度相關(guān))數(shù)據(jù)的技術(shù)。在多重共線性情況下膛壹,盡管最小二乘法(OLS)對(duì)每個(gè)變量很公平驾中,但它們的差異很大,使得觀測(cè)值偏移并遠(yuǎn)離真實(shí)值模聋。嶺回歸通過(guò)給回歸估計(jì)上增加一個(gè)偏差度肩民,來(lái)降低標(biāo)準(zhǔn)誤差。
上面撬槽,我們看到了線性回歸方程此改。還記得嗎?它可以表示為:
y=a+ b*x
這個(gè)方程也有一個(gè)誤差項(xiàng)侄柔。完整的方程是:
y=a+b*x+e (error term), [error term is the value needed to correct for a prediction error between the observed and predicted value]
=> y=a+y= a+ b1x1+ b2x2+....+e, for multiple independent variables.
在一個(gè)線性方程中共啃,預(yù)測(cè)誤差可以分解為2個(gè)子分量。一個(gè)是偏差暂题,一個(gè)是方差移剪。預(yù)測(cè)錯(cuò)誤可能會(huì)由這兩個(gè)分量或者這兩個(gè)中的任何一個(gè)造成。在這里薪者,我們將討論由方差所造成的有關(guān)誤差纵苛。
嶺回歸通過(guò)收縮參數(shù)λ(lambda)解決多重共線性問(wèn)題。看下面的公式
在這個(gè)公式中攻人,有兩個(gè)組成部分取试。第一個(gè)是最小二乘項(xiàng),另一個(gè)是β2(β-平方)的λ倍怀吻,其中β是相關(guān)系數(shù)瞬浓。為了收縮參數(shù)把它添加到最小二乘項(xiàng)中以得到一個(gè)非常低的方差。
要點(diǎn):
除常數(shù)項(xiàng)以外蓬坡,這種回歸的假設(shè)與最小二乘回歸類(lèi)似猿棉;
它收縮了相關(guān)系數(shù)的值,但沒(méi)有達(dá)到零屑咳,這表明它沒(méi)有特征選擇功能
這是一個(gè)正則化方法萨赁,并且使用的是L2正則化。
6. Lasso Regression套索回歸
它類(lèi)似于嶺回歸兆龙,Lasso (Least Absolute Shrinkage and Selection Operator)也會(huì)懲罰回歸系數(shù)的絕對(duì)值大小杖爽。此外,它能夠減少變化程度并提高線性回歸模型的精度详瑞〉嗔郑看看下面的公式:
Lasso 回歸與Ridge回歸有一點(diǎn)不同臣缀,它使用的懲罰函數(shù)是絕對(duì)值坝橡,而不是平方。這導(dǎo)致懲罰(或等于約束估計(jì)的絕對(duì)值之和)值使一些參數(shù)估計(jì)結(jié)果等于零精置。使用懲罰值越大计寇,進(jìn)一步估計(jì)會(huì)使得縮小值趨近于零。這將導(dǎo)致我們要從給定的n個(gè)變量中選擇變量脂倦。
要點(diǎn):
除常數(shù)項(xiàng)以外番宁,這種回歸的假設(shè)與最小二乘回歸類(lèi)似;
它收縮系數(shù)接近零(等于零)赖阻,這確實(shí)有助于特征選擇蝶押;
這是一個(gè)正則化方法,使用的是L1正則化火欧;
· 如果預(yù)測(cè)的一組變量是高度相關(guān)的棋电,Lasso 會(huì)選出其中一個(gè)變量并且將其它的收縮為零。
7.ElasticNet回歸
ElasticNet是Lasso和Ridge回歸技術(shù)的混合體苇侵。它使用L1來(lái)訓(xùn)練并且L2優(yōu)先作為正則化矩陣赶盔。當(dāng)有多個(gè)相關(guān)的特征時(shí),ElasticNet是很有用的榆浓。Lasso 會(huì)隨機(jī)挑選他們其中的一個(gè)于未,而ElasticNet則會(huì)選擇兩個(gè)。
Lasso和Ridge之間的實(shí)際的優(yōu)點(diǎn)是,它允許ElasticNet繼承循環(huán)狀態(tài)下Ridge的一些穩(wěn)定性烘浦。
要點(diǎn):
在高度相關(guān)變量的情況下抖坪,它會(huì)產(chǎn)生群體效應(yīng);
選擇變量的數(shù)目沒(méi)有限制闷叉;
它可以承受雙重收縮柳击。
除了這7個(gè)最常用的回歸技術(shù),你也可以看看其他模型片习,如Bayesian捌肴、Ecological和Robust回歸。
如何正確選擇回歸模型藕咏?
當(dāng)你只知道一個(gè)或兩個(gè)技術(shù)時(shí)状知,生活往往很簡(jiǎn)單。我知道的一個(gè)培訓(xùn)機(jī)構(gòu)告訴他們的學(xué)生孽查,如果結(jié)果是連續(xù)的饥悴,就使用線性回歸。如果是二元的盲再,就使用邏輯回歸西设!然而,在我們的處理中答朋,可選擇的越多贷揽,選擇正確的一個(gè)就越難。類(lèi)似的情況下也發(fā)生在回歸模型中梦碗。
在多類(lèi)回歸模型中禽绪,基于自變量和因變量的類(lèi)型,數(shù)據(jù)的維數(shù)以及數(shù)據(jù)的其它基本特征的情況下洪规,選擇最合適的技術(shù)非常重要印屁。以下是你要選擇正確的回歸模型的關(guān)鍵因素:
數(shù)據(jù)探索是構(gòu)建預(yù)測(cè)模型的必然組成部分。在選擇合適的模型時(shí)斩例,比如識(shí)別變量的關(guān)系和影響時(shí)雄人,它應(yīng)該首選的一步。
比較適合于不同模型的優(yōu)點(diǎn)念赶,我們可以分析不同的指標(biāo)參數(shù)础钠,如統(tǒng)計(jì)意義的參數(shù),R-square晶乔,Adjusted R-square珍坊,AIC,BIC以及誤差項(xiàng)正罢,另一個(gè)是Mallows' Cp準(zhǔn)則阵漏。這個(gè)主要是通過(guò)將模型與所有可能的子模型進(jìn)行對(duì)比(或謹(jǐn)慎選擇他們),檢查在你的模型中可能出現(xiàn)的偏差。
交叉驗(yàn)證是評(píng)估預(yù)測(cè)模型最好額方法履怯。在這里回还,將你的數(shù)據(jù)集分成兩份(一份做訓(xùn)練和一份做驗(yàn)證)。使用觀測(cè)值和預(yù)測(cè)值之間的一個(gè)簡(jiǎn)單均方差來(lái)衡量你的預(yù)測(cè)精度叹洲。
如果你的數(shù)據(jù)集是多個(gè)混合變量柠硕,那么你就不應(yīng)該選擇自動(dòng)模型選擇方法,因?yàn)槟銘?yīng)該不想在同一時(shí)間把所有變量放在同一個(gè)模型中运提。
它也將取決于你的目的蝗柔。可能會(huì)出現(xiàn)這樣的情況民泵,一個(gè)不太強(qiáng)大的模型與具有高度統(tǒng)計(jì)學(xué)意義的模型相比癣丧,更易于實(shí)現(xiàn)。
回歸正則化方法(Lasso栈妆,Ridge和ElasticNet)在高維和數(shù)據(jù)集變量之間多重共線性情況下運(yùn)行良好胁编。