摘要：本文主要結(jié)合實(shí)際案例介紹多項(xiàng)式回歸刊懈， 多項(xiàng)式回歸主要包括一元多項(xiàng)式回歸和多元多項(xiàng)式回歸内狸，本文主要介紹的是一元多項(xiàng)式回歸桥爽。
在一元回歸分析中纳击，如果自變量x和因變量y之間的關(guān)系是非線性的续扔，在找不到合適的函數(shù)曲線來擬合的情況下攻臀，可以采用一元多項(xiàng)式回歸。如果自變量不止一個(gè)纱昧，則采用多元多項(xiàng)式回歸刨啸。
多項(xiàng)式回歸可以處理相當(dāng)一類非線性問題，因?yàn)槿我夂瘮?shù)都可以分段识脆，用多項(xiàng)式來逼近设联。
本文采用的案例數(shù)據(jù)為杭州西溪板塊的二手房?jī)r(jià)信息，數(shù)據(jù)是用集搜客（GooSeeker）爬蟲工具用從鏈家官網(wǎng)爬取的灼捂。為了說明多項(xiàng)式回歸离例，對(duì)部分房?jī)r(jià)數(shù)據(jù)做了修改。
讀取并觀察數(shù)據(jù)：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
data = pd.read_csv('house_price.csv')
data.describe()
#觀察數(shù)據(jù)悉稠，發(fā)現(xiàn)離群數(shù)據(jù)size = 853.65宫蛆，處理
data = data[data['size']<= 500]
data.describe()
我們用散點(diǎn)圖分別查看“單價(jià)”、“總價(jià)”和“大小”的關(guān)系：
#大小和單價(jià)的關(guān)系
fig = plt.figure(figsize=(6,4))
T = np.arctan2(data['size'],data['price'])
plt.scatter(data['size'],data['price'], c=T)
plt.xlabel('size')
plt.ylabel('price')
plt.show()
#大小和總價(jià)的關(guān)系
fig = plt.figure(figsize=(6,4))
T2 = np.arctan2(data['size'],data['total_price'])
plt.scatter(data['size'],data['total_price'], c=T2)
plt.xlabel('size')
plt.ylabel('total_price')
plt.show()
可以看到的猛，總價(jià)和大小之間呈現(xiàn)更明顯的相關(guān)性耀盗。我們分別以【大小】和【總價(jià)】做為輸入變量和輸出變量，說明多項(xiàng)式回歸的應(yīng)用卦尊。
在進(jìn)行建模之前叛拷，我們先把數(shù)據(jù)集拆分為訓(xùn)練集和測(cè)試集。Scikit-learn中提供了拆分?jǐn)?shù)據(jù)集的函數(shù)train_test_split用來做較差驗(yàn)證岂却。
#拆分?jǐn)?shù)據(jù)集為訓(xùn)練集和測(cè)試集
from sklearn.cross_validation import train_test_split
xtrain, xtest, ytrain, ytest = train_test_split(data['size'], data['total_price'])
xtrain = xtrain.reshape(len(xtrain),1)
ytrain = ytrain.reshape(len(ytrain),1)
xtest = xtest.reshape(len(xtest),1)
ytest = ytest.reshape(len(ytest),1)
一元線性回歸
為了對(duì)比忿薇，我們首先用一元線性回歸模型來描述【大小】和【總價(jià)】之間的關(guān)系。
#構(gòu)建一元線性回歸模型
from sklearn.linear_model import LinearRegression
lr = LinearRegression()
lr.fit(xtrain, ytrain)
plt.scatter(xtrain, ytrain)
plt.plot(xtest, lr.predict(xtest), 'g-')
可以看到躏哩，一元線性回歸模型并不能很好的擬合【大小】和【總價(jià)】數(shù)據(jù)署浩，不能很好的描述兩者之間的關(guān)系。
計(jì)算R^2震庭，發(fā)現(xiàn)擬合優(yōu)度也不太滿意：
# 計(jì)算R方
r_score = lr.score(xtest,ytest)
R^2 = 0.75
一元多項(xiàng)式回歸
Scikit-learn的preprocessing庫(kù)中瑰抵，提供了PolynomialFeatures類對(duì)數(shù)據(jù)進(jìn)行多項(xiàng)式轉(zhuǎn)換。
from sklearn.preprocessing import PolynomialFeatures
pol = PolynomialFeatures(degree = 2)
其中degree就是我們要處理的自變量的指數(shù)器联，如果degree = 1，就是普通的線性回歸婿崭。
官方對(duì)degree的解釋如下：
Generate polynomial and interaction features.
Generate a new feature matrix consisting of all polynomial combinations of the features with degree less than or equal to the specified degree. For example, if an input sample is two dimensional and of the form [a, b], the degree-2 polynomial features are [1, a, b, a^2, ab, b^2].
在處理多項(xiàng)式回歸的過程中拨拓，需要使用fit_transform函數(shù)對(duì)訓(xùn)練集數(shù)據(jù)先進(jìn)行擬合，然后再標(biāo)準(zhǔn)化氓栈，然后對(duì)測(cè)試集數(shù)據(jù)使用transform進(jìn)行標(biāo)準(zhǔn)化渣磷，屬于數(shù)據(jù)預(yù)處理的一種方法，后續(xù)文章中會(huì)再提到授瘦。
#對(duì)訓(xùn)練集進(jìn)行擬合標(biāo)準(zhǔn)化處理
xtrain_pol = pol.fit_transform(xtrain)
#模型初始化
lr_pol = LinearRegression()
#擬合
lr_pol.fit(xtrain_pol, ytrain)
#對(duì)測(cè)試集進(jìn)行重構(gòu)
x = np.arange(min(xtest), max(xtest)).reshape([-1,1])
#預(yù)測(cè)及展示
plt.scatter(xtrain, ytrain)
plt.plot(x, lr_pol.predict(pol.transform(x)), c='red')
可以看到醋界，多項(xiàng)式回歸的擬合度比線性回歸要好很多竟宋。我們計(jì)算一下R^2：
r_score_pol = lr_pol.score(pol.transform(xtest), ytest)
得到R^2 = 0.82099383118934888
對(duì)比線性回歸的R^2值 = 0.75，可以看到形纺，多項(xiàng)式回歸的擬合效果比現(xiàn)行回歸好很多丘侠。
我們把degree提升到3，執(zhí)行同樣的語(yǔ)句逐样，得到如下曲線：
得到R^2 = 0.82082180554068496
再把degree提升到7蜗字，得到曲線如下：
得到R^2 = 0.81872364187726354
| Degree | R^2 |
|---|---|
| 1 | 0.7497565222717566 |
| 2 | 0.82099383118934888 |
| 3 | 0.82082180554068496 |
| 7 | 0.81872364187726354 |
可以看到，degree = 7的時(shí)候脂新，雖然曲線經(jīng)過的點(diǎn)更多挪捕，但R^2值更低，擬合度并沒有更好争便，這種情況是記憶訓(xùn)練的結(jié)果级零，在訓(xùn)練集效果很好，但在測(cè)試集上效果就不好了滞乙，是一種過擬合（over-fitting）奏纪。所以需要注意的是，degree太高酷宵，容易出現(xiàn)過擬合問題亥贸。
