回歸分析（regression analysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法嵌屎。運用十分廣泛欲芹，回歸分析按照涉及的變量的多少丁逝，分為一元回歸和多元回歸分析尔崔；按照因變量的多少勤婚，可分為簡單回歸分析和多重回歸分析；按照自變量和因變量之間的關(guān)系類型臣疑，可分為線性回歸分析和非線性回歸分析盔憨。如果在回歸分析中，只包括一個自變量和一個因變量讯沈，且二者的關(guān)系可用一條直線近似表示郁岩，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量缺狠，且自變量之間存在線性相關(guān)问慎，則稱為多重線性回歸分析。
定義
在統(tǒng)計學(xué)中挤茄，回歸分析（regression analysis)指的是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法如叼。回歸分析按照涉及的變量的多少穷劈，分為一元回歸和多元回歸分析笼恰；按照因變量的多少，可分為簡單回歸分析和多重回歸分析歇终；按照自變量和因變量之間的關(guān)系類型社证，可分為線性回歸分析和非線性回歸分析。
在大數(shù)據(jù)分析中评凝，回歸分析是一種預(yù)測性的建模技術(shù)追葡，它研究的是因變量（目標(biāo)）和自變量（預(yù)測器）之間的關(guān)系。這種技術(shù)通常用于預(yù)測分析奕短，時間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系宜肉。例如，司機的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系翎碑，最好的研究方法就是回歸崖飘。
回歸分析的方法
有各種各樣的回歸技術(shù)用于預(yù)測。這些技術(shù)主要有三個度量（自變量的個數(shù)杈女，因變量的類型以及回歸線的形狀）朱浴，如下圖。
1. Linear Regression線性回歸
它是最為人熟知的建模技術(shù)之一达椰。線性回歸通常是人們在學(xué)習(xí)預(yù)測模型時首選的技術(shù)之一翰蠢。在這種技術(shù)中，因變量是連續(xù)的啰劲，自變量可以是連續(xù)的也可以是離散的梁沧，回歸線的性質(zhì)是線性的。
線性回歸使用最佳的擬合直線（也就是回歸線）在因變量（Y）和一個或多個自變量（X）之間建立一種關(guān)系蝇裤。
多元線性回歸可表示為Y=a+b1*X +b2*X2+ e廷支，其中a表示截距频鉴，b表示直線的斜率，e是誤差項恋拍。多元線性回歸可以根據(jù)給定的預(yù)測變量（s）來預(yù)測目標(biāo)變量的值垛孔。
2.Logistic Regression邏輯回歸
邏輯回歸是用來計算“事件=Success”和“事件=Failure”的概率。當(dāng)因變量的類型屬于二元（1 / 0施敢，真/假周荐，是/否）變量時，我們就應(yīng)該使用邏輯回歸僵娃。這里概作，Y的值為0或1，它可以用下方程表示默怨。
odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence
ln(odds) = ln(p/(1-p))
logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk
上述式子中讯榕，p表述具有某個特征的概率。你應(yīng)該會問這樣一個問題：“我們?yōu)槭裁匆诠街惺褂脤?shù)log呢匙睹？”瘩扼。
因為在這里我們使用的是的二項分布（因變量），我們需要選擇一個對于這個分布最佳的連結(jié)函數(shù)垃僚。它就是Logit函數(shù)。在上述方程中规辱，通過觀測樣本的極大似然估計值來選擇參數(shù)谆棺，而不是最小化平方和誤差（如在普通回歸使用的）。
3. Polynomial Regression多項式回歸
對于一個回歸方程罕袋，如果自變量的指數(shù)大于1改淑，那么它就是多項式回歸方程。如下方程所示：
y=a+b*x^2
在這種回歸技術(shù)中浴讯，最佳擬合線不是直線朵夏。而是一個用于擬合數(shù)據(jù)點的曲線。
4. Stepwise Regression逐步回歸
在處理多個自變量時榆纽，我們可以使用這種形式的回歸仰猖。在這種技術(shù)中，自變量的選擇是在一個自動的過程中完成的奈籽，其中包括非人為操作饥侵。
這一壯舉是通過觀察統(tǒng)計的值，如R-square衣屏，t-stats和AIC指標(biāo)躏升，來識別重要的變量。逐步回歸通過同時添加/刪除基于指定標(biāo)準(zhǔn)的協(xié)變量來擬合模型狼忱。下面列出了一些最常用的逐步回歸方法：
標(biāo)準(zhǔn)逐步回歸法做兩件事情膨疏。即增加和刪除每個步驟所需的預(yù)測一睁。
向前選擇法從模型中最顯著的預(yù)測開始，然后為每一步添加變量佃却。
向后剔除法與模型的所有預(yù)測同時開始者吁，然后在每一步消除最小顯著性的變量。
這種建模技術(shù)的目的是使用最少的預(yù)測變量數(shù)來最大化預(yù)測能力双霍。這也是處理高維數(shù)據(jù)集的方法之一砚偶。?[2]
5. Ridge Regression嶺回歸
當(dāng)數(shù)據(jù)之間存在多重共線性（自變量高度相關(guān)）時，就需要使用嶺回歸分析洒闸。在存在多重共線性時染坯，盡管最小二乘法（OLS）測得的估計值不存在偏差，它們的方差也會很大丘逸，從而使得觀測值與真實值相差甚遠(yuǎn)单鹿。嶺回歸通過給回歸估計值添加一個偏差值，來降低標(biāo)準(zhǔn)誤差深纲。
在線性等式中仲锄，預(yù)測誤差可以劃分為 2 個分量，一個是偏差造成的湃鹊，一個是方差造成的儒喊。預(yù)測誤差可能會由這兩者或兩者中的任何一個造成。在這里币呵，我們將討論由方差所造成的誤差怀愧。?[2]
嶺回歸通過收縮參數(shù)λ（lambda）解決多重共線性問題。請看下面的等式：
+λ||β||
在這個公式中余赢，有兩個組成部分芯义。第一個是最小二乘項，另一個是β-平方的λ倍妻柒，其中β是相關(guān)系數(shù)向量扛拨，與收縮參數(shù)一起添加到最小二乘項中以得到一個非常低的方差。
6. Lasso Regression套索回歸
它類似于嶺回歸举塔，Lasso （Least Absolute Shrinkage and Selection Operator）也會就回歸系數(shù)向量給出懲罰值項绑警。此外，它能夠減少變化程度并提高線性回歸模型的精度央渣〈海看看下面的公式：
L1=agrmin||y-xβ||
+λ||β||
Lasso 回歸與Ridge回歸有一點不同，它使用的懲罰函數(shù)是L1范數(shù)痹屹，而不是L2范數(shù)章郁。這導(dǎo)致懲罰（或等于約束估計的絕對值之和）值使一些參數(shù)估計結(jié)果等于零。使用懲罰值越大，進一步估計會使得縮小值越趨近于零暖庄。這將導(dǎo)致我們要從給定的n個變量中選擇變量聊替。
如果預(yù)測的一組變量是高度相關(guān)的，Lasso 會選出其中一個變量并且將其它的收縮為零培廓。
7.ElasticNet回歸
ElasticNet是Lasso和Ridge回歸技術(shù)的混合體惹悄。它使用L1來訓(xùn)練并且L2優(yōu)先作為正則化矩陣。當(dāng)有多個相關(guān)的特征時肩钠，ElasticNet是很有用的泣港。Lasso 會隨機挑選他們其中的一個，而ElasticNet則會選擇兩個价匠。
Lasso和Ridge之間的實際的優(yōu)點是当纱，它允許ElasticNet繼承循環(huán)狀態(tài)下Ridge的一些穩(wěn)定性。
數(shù)據(jù)探索是構(gòu)建預(yù)測模型的必然組成部分踩窖。在選擇合適的模型時坡氯，比如識別變量的關(guān)系和影響時，它應(yīng)該是首選的一步洋腮。比較適合于不同模型的優(yōu)點箫柳，我們可以分析不同的指標(biāo)參數(shù)，如統(tǒng)計意義的參數(shù)啥供，R-square悯恍，Adjusted R-square，AIC伙狐，BIC以及誤差項涮毫，另一個是Mallows’ Cp準(zhǔn)則。這個主要是通過將模型與所有可能的子模型進行對比（或謹(jǐn)慎選擇他們）鳞骤，檢查在你的模型中可能出現(xiàn)的偏差。
交叉驗證是評估預(yù)測模型最好的方法黍判。在這里豫尽，將你的數(shù)據(jù)集分成兩份（一份做訓(xùn)練和一份做驗證）。使用觀測值和預(yù)測值之間的一個簡單均方差來衡量你的預(yù)測精度顷帖。
如果你的數(shù)據(jù)集是多個混合變量美旧，那么你就不應(yīng)該選擇自動模型選擇方法，因為你應(yīng)該不想在同一時間把所有變量放在同一個模型中贬墩。
它也將取決于你的目的榴嗅。可能會出現(xiàn)這樣的情況陶舞，一個不太強大的模型與具有高度統(tǒng)計學(xué)意義的模型相比嗽测，更易于實現(xiàn)。回歸正則化方法（Lasso唠粥，Ridge和ElasticNet）在高維和數(shù)據(jù)集變量之間多重共線性情況下運行良好疏魏。?
真的挺復(fù)雜的，具體內(nèi)容和應(yīng)用我會在下一篇中詳細(xì)介紹的晤愧，就這樣嘍大莫。
