什么是回歸分析？

回歸分析是一種預(yù)測(cè)性的建模技術(shù)，它研究的是因變量（目標(biāo)）和自變量（預(yù)測(cè)器）之間的關(guān)系换薄。這種技術(shù)通常用于預(yù)測(cè)分析，時(shí)間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系翔试。例如轻要，司機(jī)的魯莽駕駛與道路交通 事 故數(shù)量之間的關(guān)系，最好的研究方法就是回歸垦缅。

回歸分析是建模和分析數(shù)據(jù)的重要工具冲泥。在這里，我們使用曲線/線來擬合這些數(shù)據(jù)點(diǎn)壁涎，在這種方式下凡恍，從曲線或線到數(shù)據(jù)點(diǎn)的距離差異最小。我會(huì)在接下來的部分詳細(xì)解釋這一點(diǎn)怔球。

我們?yōu)槭裁词褂没貧w分析嚼酝？

如上所述，回歸分析估計(jì)了兩個(gè)或多個(gè)變量之間的關(guān)系竟坛。下面闽巩，讓我們舉一個(gè)簡(jiǎn)單的例子來理解它：

比如說，在當(dāng)前的經(jīng)濟(jì)條件下担汤，你要估計(jì)一家公司的銷售額增長(zhǎng)情況∠芽纾現(xiàn)在，你有公司最新的數(shù)據(jù)崭歧，這些數(shù)據(jù)顯示出銷售額增長(zhǎng)大約是經(jīng)濟(jì)增長(zhǎng)的2.5倍隅很。那么使用回歸分析，我們就可以根據(jù)當(dāng)前和過去的信息來預(yù)測(cè)未來公司的銷售情況率碾。

使用回歸分析的好處良多叔营。具體如下：

1.它表明自變量和因變量之間的顯著關(guān)系屋彪；

2.它表明多個(gè)自變量對(duì)一個(gè)因變量的影響強(qiáng)度。

回歸分析也允許我們?nèi)ケ容^那些衡量不同尺度的變量之間的相互影響绒尊，如價(jià)格變動(dòng)與促銷活動(dòng)數(shù)量之間聯(lián)系撼班。這些有利于幫助市場(chǎng)研究人員，數(shù)據(jù)分析人員以及數(shù)據(jù)科學(xué)家排除并估計(jì)出一組最佳的變量垒酬，用來構(gòu)建預(yù)測(cè)模型砰嘁。

我們有多少種回歸技術(shù)？

有各種各樣的回歸技術(shù)用于預(yù)測(cè)勘究。這些技術(shù)主要有三個(gè)度量（自變量的個(gè)數(shù)矮湘，因變量的類型以及回歸線的形狀）。我們將在下面的部分詳細(xì)討論它們口糕。

對(duì)于那些有創(chuàng)意的人缅阳，如果你覺得有必要使用上面這些參數(shù)的一個(gè)組合，你甚至可以創(chuàng)造出一個(gè)沒有被使用過的回歸模型景描。但在你開始之前十办，先了解如下最常用的回歸方法：

?

1. Linear Regression線性回歸

它是最為人熟知的建模技術(shù)之一。線性回歸通常是人們?cè)趯W(xué)習(xí)預(yù)測(cè)模型時(shí)首選的技術(shù)之一超棺。在這種技術(shù)中向族，因變量是連續(xù)的，自變量可以是連續(xù)的也可以是離散的棠绘，回歸線的性質(zhì)是線性的件相。

線性回歸使用最佳的擬合直線（也就是回歸線）在因變量（Y）和一個(gè)或多個(gè)自變量（X）之間建立一種關(guān)系。

用一個(gè)方程式來表示它氧苍，即Y=a+b*X + e夜矗，其中a表示截距，b表示直線的斜率让虐，e是誤差項(xiàng)紊撕。這個(gè)方程可以根據(jù)給定的預(yù)測(cè)變量（s）來預(yù)測(cè)目標(biāo)變量的值。

一元線性回歸和多元線性回歸的區(qū)別在于赡突，多元線性回歸有（>1）個(gè)自變量对扶，而一元線性回歸通常只有1個(gè)自變量。現(xiàn)在的問題是“我們?nèi)绾蔚玫揭粋€(gè)最佳的擬合線呢麸俘？”辩稽。

如何獲得最佳擬合線（a和b的值）惧笛？

這個(gè)問題可以使用最小二乘法輕松地完成从媚。最小二乘法也是用于擬合回歸線最常用的方法。對(duì)于觀測(cè)數(shù)據(jù)患整，它通過最小化每個(gè)數(shù)據(jù)點(diǎn)到線的垂直偏差平方和來計(jì)算最佳擬合線拜效。因?yàn)樵谙嗉訒r(shí)喷众，偏差先平方，所以正值和負(fù)值沒有抵消紧憾。

我們可以使用R-square指標(biāo)來評(píng)估模型性能到千。想了解這些指標(biāo)的詳細(xì)信息，可以閱讀：模型性能指標(biāo)Part 1,Part 2 .

要點(diǎn)：

自變量與因變量之間必須有線性關(guān)系

多元回歸存在多重共線性赴穗，自相關(guān)性和異方差性憔四。

線性回歸對(duì)異常值非常敏感。它會(huì)嚴(yán)重影響回歸線般眉，最終影響預(yù)測(cè)值了赵。

多重共線性會(huì)增加系數(shù)估計(jì)值的方差，使得在模型輕微變化下甸赃，估計(jì)非常敏感柿汛。結(jié)果就是系數(shù)估計(jì)值不穩(wěn)定

在多個(gè)自變量的情況下，我們可以使用向前選擇法埠对，向后剔除法和逐步篩選法來選擇最重要的自變量络断。

?

2.Logistic Regression邏輯回歸

邏輯回歸是用來計(jì)算“事件=Success”和“事件=Failure”的概率。當(dāng)因變量的類型屬于二元（1 / 0项玛，真/假貌笨，是/否）變量時(shí)，我們就應(yīng)該使用邏輯回歸襟沮。這里躁绸，Y的值從0到1，它可以用下方程表示臣嚣。

Java

1

2

3

odds=?p/?(1-p)?=?probability?of?event?occurrence?/?probability?of?not?event?occurrence

ln(odds)?=?ln(p/(1-p))

logit(p)?=?ln(p/(1-p))?=?b0+b1X1+b2X2+b3X3....+bkXk

上述式子中净刮，p表述具有某個(gè)特征的概率。你應(yīng)該會(huì)問這樣一個(gè)問題：“我們?yōu)槭裁匆诠街惺褂脤?duì)數(shù)log呢硅则？”淹父。

因?yàn)樵谶@里我們使用的是的二項(xiàng)分布（因變量），我們需要選擇一個(gè)對(duì)于這個(gè)分布最佳的連結(jié)函數(shù)怎虫。它就是Logit函數(shù)暑认。在上述方程中，通過觀測(cè)樣本的極大似然估計(jì)值來選擇參數(shù)大审，而不是最小化平方和誤差（如在普通回歸使用的）蘸际。

要點(diǎn)：

它廣泛的用于分類問題。

邏輯回歸不要求自變量和因變量是線性關(guān)系徒扶。它可以處理各種類型的關(guān)系粮彤，因?yàn)樗鼘?duì)預(yù)測(cè)的相對(duì)風(fēng)險(xiǎn)指數(shù)OR使用了一個(gè)非線性的log轉(zhuǎn)換。

為了避免過擬合和欠擬合，我們應(yīng)該包括所有重要的變量导坟。有一個(gè)很好的方法來確保這種情況屿良，就是使用逐步篩選方法來估計(jì)邏輯回歸。

它需要大的樣本量惫周，因?yàn)樵跇颖緮?shù)量較少的情況下尘惧，極大似然估計(jì)的效果比普通的最小二乘法差。

自變量不應(yīng)該相互關(guān)聯(lián)的递递，即不具有多重共線性喷橙。然而，在分析和建模中登舞，我們可以選擇包含分類變量相互作用的影響重慢。

如果因變量的值是定序變量，則稱它為序邏輯回歸逊躁。

如果因變量是多類的話似踱，則稱它為多元邏輯回歸。

?

3. Polynomial Regression多項(xiàng)式回歸

對(duì)于一個(gè)回歸方程稽煤，如果自變量的指數(shù)大于1核芽，那么它就是多項(xiàng)式回歸方程。如下方程所示：

Java

1y=a+b*x^2

在這種回歸技術(shù)中酵熙，最佳擬合線不是直線轧简。而是一個(gè)用于擬合數(shù)據(jù)點(diǎn)的曲線。

重點(diǎn)：

雖然會(huì)有一個(gè)誘導(dǎo)可以擬合一個(gè)高次多項(xiàng)式并得到較低的錯(cuò)誤匾二，但這可能會(huì)導(dǎo)致過擬合哮独。你需要經(jīng)常畫出關(guān)系圖來查看擬合情況，并且專注于保證擬合合理察藐，既沒有過擬合又沒有欠擬合皮璧。下面是一個(gè)圖例，可以幫助理解：

明顯地向兩端尋找曲線點(diǎn)分飞，看看這些形狀和趨勢(shì)是否有意義悴务。更高次的多項(xiàng)式最后可能產(chǎn)生怪異的推斷結(jié)果。

?

4. Stepwise Regression逐步回歸

在處理多個(gè)自變量時(shí)譬猫，我們可以使用這種形式的回歸讯檐。在這種技術(shù)中，自變量的選擇是在一個(gè)自動(dòng)的過程中完成的染服，其中包括非人為操作别洪。

這一壯舉是通過觀察統(tǒng)計(jì)的值，如R-square柳刮，t-stats和AIC指標(biāo)挖垛，來識(shí)別重要的變量痒钝。逐步回歸通過同時(shí)添加/刪除基于指定標(biāo)準(zhǔn)的協(xié)變量來擬合模型。下面列出了一些最常用的逐步回歸方法：

標(biāo)準(zhǔn)逐步回歸法做兩件事情晕换。即增加和刪除每個(gè)步驟所需的預(yù)測(cè)午乓。

向前選擇法從模型中最顯著的預(yù)測(cè)開始站宗，然后為每一步添加變量闸准。

向后剔除法與模型的所有預(yù)測(cè)同時(shí)開始，然后在每一步消除最小顯著性的變量梢灭。

這種建模技術(shù)的目的是使用最少的預(yù)測(cè)變量數(shù)來最大化預(yù)測(cè)能力夷家。這也是處理高維數(shù)據(jù)集的方法之一。

5. Ridge Regression嶺回歸

嶺回歸分析是一種用于存在多重共線性（自變量高度相關(guān)）數(shù)據(jù)的技術(shù)敏释。在多重共線性情況下库快，盡管最小二乘法（OLS）對(duì)每個(gè)變量很公平，但它們的差異很大钥顽，使得觀測(cè)值偏移并遠(yuǎn)離真實(shí)值义屏。嶺回歸通過給回歸估計(jì)上增加一個(gè)偏差度，來降低標(biāo)準(zhǔn)誤差蜂大。

上面闽铐，我們看到了線性回歸方程。還記得嗎奶浦？它可以表示為：

Java

1y=a+?b*x

這個(gè)方程也有一個(gè)誤差項(xiàng)兄墅。完整的方程是：

Java

1y=a+b*x+e?(error?term),?[error?term?is?the?value?needed?to?correct?for?a?prediction?error?between?the?observed?and?predicted?value]

Java

1=>?y=a+y=?a+?b1x1+?b2x2+....+e,?for?multiple?independent?variables.

在一個(gè)線性方程中，預(yù)測(cè)誤差可以分解為2個(gè)子分量澳叉。一個(gè)是偏差隙咸，一個(gè)是方差。預(yù)測(cè)錯(cuò)誤可能會(huì)由這兩個(gè)分量或者這兩個(gè)中的任何一個(gè)造成成洗。在這里五督，我們將討論由方差所造成的有關(guān)誤差。

嶺回歸通過收縮參數(shù)λ（lambda）解決多重共線性問題瓶殃「藕桑看下面的公式

在這個(gè)公式中，有兩個(gè)組成部分碌燕。第一個(gè)是最小二乘項(xiàng)误证，另一個(gè)是β2（β-平方）的λ倍，其中β是相關(guān)系數(shù)修壕。為了收縮參數(shù)把它添加到最小二乘項(xiàng)中以得到一個(gè)非常低的方差愈捅。

要點(diǎn)：

除常數(shù)項(xiàng)以外，這種回歸的假設(shè)與最小二乘回歸類似慈鸠；

它收縮了相關(guān)系數(shù)的值蓝谨，但沒有達(dá)到零，這表明它沒有特征選擇功能

這是一個(gè)正則化方法，并且使用的是L2正則化譬巫。

?

6. Lasso Regression套索回歸

它類似于嶺回歸咖楣，Lasso （Least Absolute Shrinkage and Selection Operator）也會(huì)懲罰回歸系數(shù)的絕對(duì)值大小。此外芦昔，它能夠減少變化程度并提高線性回歸模型的精度诱贿。看看下面的公式：

Lasso 回歸與Ridge回歸有一點(diǎn)不同咕缎，它使用的懲罰函數(shù)是絕對(duì)值珠十，而不是平方。這導(dǎo)致懲罰（或等于約束估計(jì)的絕對(duì)值之和）值使一些參數(shù)估計(jì)結(jié)果等于零凭豪。使用懲罰值越大焙蹭，進(jìn)一步估計(jì)會(huì)使得縮小值趨近于零。這將導(dǎo)致我們要從給定的n個(gè)變量中選擇變量嫂伞。

要點(diǎn)：

除常數(shù)項(xiàng)以外孔厉，這種回歸的假設(shè)與最小二乘回歸類似；

它收縮系數(shù)接近零（等于零）帖努，這確實(shí)有助于特征選擇撰豺；

這是一個(gè)正則化方法，使用的是L1正則化然磷；

如果預(yù)測(cè)的一組變量是高度相關(guān)的郑趁，Lasso 會(huì)選出其中一個(gè)變量并且將其它的收縮為零。

7.ElasticNet回歸

ElasticNet是Lasso和Ridge回歸技術(shù)的混合體姿搜。它使用L1來訓(xùn)練并且L2優(yōu)先作為正則化矩陣寡润。當(dāng)有多個(gè)相關(guān)的特征時(shí)，ElasticNet是很有用的舅柜。Lasso 會(huì)隨機(jī)挑選他們其中的一個(gè)梭纹，而ElasticNet則會(huì)選擇兩個(gè)。

Lasso和Ridge之間的實(shí)際的優(yōu)點(diǎn)是致份，它允許ElasticNet繼承循環(huán)狀態(tài)下Ridge的一些穩(wěn)定性变抽。

要點(diǎn)：

在高度相關(guān)變量的情況下，它會(huì)產(chǎn)生群體效應(yīng)氮块；

選擇變量的數(shù)目沒有限制绍载；

它可以承受雙重收縮。

除了這7個(gè)最常用的回歸技術(shù)滔蝉，你也可以看看其他模型击儡，如Bayesian、Ecological和Robust回歸蝠引。

如何正確選擇回歸模型阳谍？

當(dāng)你只知道一個(gè)或兩個(gè)技術(shù)時(shí)蛀柴，生活往往很簡(jiǎn)單。我知道的一個(gè)培訓(xùn)機(jī)構(gòu)告訴他們的學(xué)生矫夯，如果結(jié)果是連續(xù)的鸽疾，就使用線性回歸。如果是二元的训貌，就使用邏輯回歸制肮！然而，在我們的處理中旺订，可選擇的越多弄企，選擇正確的一個(gè)就越難超燃。類似的情況下也發(fā)生在回歸模型中区拳。

在多類回歸模型中，基于自變量和因變量的類型意乓，數(shù)據(jù)的維數(shù)以及數(shù)據(jù)的其它基本特征的情況下樱调，選擇最合適的技術(shù)非常重要。以下是你要選擇正確的回歸模型的關(guān)鍵因素：

數(shù)據(jù)探索是構(gòu)建預(yù)測(cè)模型的必然組成部分届良。在選擇合適的模型時(shí)笆凌，比如識(shí)別變量的關(guān)系和影響時(shí)，它應(yīng)該首選的一步士葫。

比較適合于不同模型的優(yōu)點(diǎn)乞而，我們可以分析不同的指標(biāo)參數(shù)，如統(tǒng)計(jì)意義的參數(shù)慢显，R-square爪模，Adjusted R-square，AIC荚藻，BIC以及誤差項(xiàng)屋灌，另一個(gè)是Mallows’ Cp準(zhǔn)則。這個(gè)主要是通過將模型與所有可能的子模型進(jìn)行對(duì)比（或謹(jǐn)慎選擇他們）应狱，檢查在你的模型中可能出現(xiàn)的偏差共郭。

交叉驗(yàn)證是評(píng)估預(yù)測(cè)模型最好額方法。在這里疾呻，將你的數(shù)據(jù)集分成兩份（一份做訓(xùn)練和一份做驗(yàn)證）除嘹。使用觀測(cè)值和預(yù)測(cè)值之間的一個(gè)簡(jiǎn)單均方差來衡量你的預(yù)測(cè)精度。

如果你的數(shù)據(jù)集是多個(gè)混合變量岸蜗，那么你就不應(yīng)該選擇自動(dòng)模型選擇方法尉咕，因?yàn)槟銘?yīng)該不想在同一時(shí)間把所有變量放在同一個(gè)模型中。

它也將取決于你的目的散吵×迹可能會(huì)出現(xiàn)這樣的情況蟆肆，一個(gè)不太強(qiáng)大的模型與具有高度[*]統(tǒng)計(jì)學(xué)意義的模型相比，更易于實(shí)現(xiàn)晦款。

回歸正則化方法（Lasso炎功，Ridge和ElasticNet）在高維和數(shù)據(jù)集變量之間多重共線性情況下運(yùn)行良好。