回歸算法是監(jiān)督式機(jī)器學(xué)習(xí)算法非常重要且常用的一個(gè)分類，經(jīng)常被用來建立各種預(yù)測模型扎唾。
Regression Algorithm
簡單來說召川，假設(shè)我們有一個(gè)數(shù)據(jù)集，把其中每個(gè)數(shù)據(jù)項(xiàng)都是看作是給定空間的一個(gè)點(diǎn)胸遇，那么就可以得到一個(gè)點(diǎn)的集合荧呐，那么回歸就是用一個(gè)函數(shù)去對這個(gè)點(diǎn)的集合進(jìn)行擬合，使得點(diǎn)集與這個(gè)函數(shù)的偏差最小纸镊。
Linear Regression
線性回歸的預(yù)測模型倍阐，也可以說是擬合函數(shù)是一個(gè)一次方程或者叫線性方程。
比如我們有一個(gè)數(shù)據(jù)集
\begin{array}{cc}
\mathrm{x} & \mathrm{y} \
\hline \
\mathrm{x_1} & \mathrm{y_1} \
\mathrm{x_2} & \mathrm{y_2} \
\mathrm{x_3} & \mathrm{y_3} \
\mathrm{x_4} & \mathrm{y_4} \
\mathrm{x_5} & \mathrm{y_5} \
\end{array}
為了擬合這些點(diǎn)逗威，建立一個(gè)簡單線性回歸模型：
$$ y=ax + b $$
接下來要做的就是估計(jì)該模型的參數(shù)收捣，來使得我們的模型對數(shù)據(jù)達(dá)到最佳擬合狀態(tài)。
線性回歸把關(guān)注點(diǎn)放在給定 x 值的 y 的條件概率分布庵楷，而不是 x 和 y 的聯(lián)合概率分布。
在計(jì)算一個(gè)最佳擬合的不同標(biāo)準(zhǔn)之中楣颠，最小二乘法是最常用的算法尽纽。
最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配童漩。 -- from wiki
最小二乘法通過最小化每個(gè)數(shù)據(jù)點(diǎn)到線的垂直偏差平方和來計(jì)算最佳擬合線弄贿。
$$ \sum_{i=1}^m (y^i - f(xi))2 $$
推廣至多元線性回歸，那就是影響目標(biāo)值 y 的元素有多個(gè)：
$$ y=ax + bz + cm + dn $$
有數(shù)據(jù)：
\begin{array}{cc}
\mathrm{y} & \mathrm{x} & \mathrm{m} & \mathrm{n} \
\hline \
\mathrm{x_1} & \mathrm{y_1} & \mathrm{m_1} & \mathrm{n_1} \
\mathrm{x_2} & \mathrm{y_2} & \mathrm{m_2} & \mathrm{n_2}\
\mathrm{x_3} & \mathrm{y_3} & \mathrm{m_3} & \mathrm{n_3}\
\mathrm{x_4} & \mathrm{y_4} & \mathrm{m_4} & \mathrm{n_4}\
\mathrm{x_5} & \mathrm{y_5} & \mathrm{m_5} & \mathrm{5_1}\
\end{array}
線性回歸是機(jī)器學(xué)習(xí)中一個(gè)最簡單的監(jiān)督學(xué)習(xí)(Supervised Learning)模型
下面我對健康習(xí)慣的用戶做了抽樣矫膨，樣本大小是 2000差凹，并嘗試對其健康習(xí)慣記錄情況與首頁打卡情況建立線性回歸模型
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import datasets, linear_model
def get_data(file_name):
data = pd.read_csv(file_name)
x_p = []
y_p = []
for habit_records ,checkin_records in zip(data['habits'],data['checkins']):
x_p.append([float(habit_records)])
y_p.append(float(checkin_records))
return x_p,y_p
def linear_model_main(x_p,y_p):
regr = linear_model.LinearRegression()
regr.fit(x_p, y_p)
predictions = {}
predictions['intercept'] = regr.intercept_
predictions['coefficient'] = regr.coef_
print(predictions)
return predictions
x, y = get_data('linear_date.csv')
linear_model_main(x, y)
我把樣本數(shù)據(jù)寫在一個(gè) csv 文件中，（感嘆下侧馅，python 處理起 csv 和 ruby 一樣方便呀省了不少事）
數(shù)據(jù)大概是這樣：
[[[2.0], 6.0], [[43.0], 3.0], [[1.0], 2.0], [[165.0], 2.0], [[31.0], 3.0], [[10.0], 2.0], [[16.0], 2.0], [[12.0], 3.0], [[136.0], 5.0], [[5.0], 2.0], [[3.0], 2.0], [[1.0], 182.0], [[1.0], 6.0], [[7.0], 45.0], [[3.0], 2.0], [[5.0], 10.0], [[4.0], 2.0], [[5.0], 5.0], [[3.0], 31.0], [[10.0], 10.0], [[6.0], 72.0], [[185.0], 4.0], [[11.0], 18.0], [[62.0], 2.0], [[6.0], 2.0], [[26.0], 372.0], [[114.0], 2.0], [[6.0], 2.0], [[9.0], 17.0], [[7.0], 41.0], [[325.0], 2.0], [[4.0], 3.0], [[6.0], 2.0], [[29.0], 11.0], [[1.0], 4.0], [[1.0], 3.0], [[9.0], 41.0], [[1.0], 2.0], [[3.0], 6.0], [[5.0], 2.0], [[4.0], 2.0], [[5.0], 53.0], [[4.0], 13.0], [[1.0], 2.0], [[2.0], 20.0], [[11.0], 14.0], [[19.0], 2.0], [[3.0], 2.0], [[47.0], 3.0], [[1.0], 2.0], [[15.0], 2.0], [[7.0], 9.0], [[2.0], 2.0], [[1.0], 3.0], [[4.0], 2.0], [[5.0], 53.0], [[119.0], 2.0], [[15.0], 2.0], [[9.0], 5.0], [[3.0], 3.0], [[97.0], 2.0], [[83.0], 9.0], [[5.0], 8.0], [[5.0], 2.0], [[152.0], 2.0], [[3.0], 9.0], [[276.0], 2.0], [[65.0], 2.0], [[30.0], 2.0], [[195.0], 187.0], [[11.0], 7.0], [[51.0], 7.0], [[15.0], 4.0], [[16.0], 2.0], [[1.0], 15.0], [[10.0], 5.0], [[9.0], 52.0], [[6.0], 4.0], [[5.0], 2.0], [[4.0], 51.0], [[7.0], 41.0], [[5.0], 2.0], [[17.0], 431.0], [[1.0], 2.0], [[5.0], 3.0], [[25.0], 3.0], [[5.0], 2.0], [[1.0], 2.0], [[1.0], 2.0], [[7.0], 11.0], [[20.0], 7.0], [[6.0], 3.0], [[4.0], 82.0], [[3.0], 4.0], [[9.0], 37.0], [[1.0], 2.0], [[2.0], 2.0], [[61.0], 2.0], [[3.0], 3.0], [[6.0], 2.0], [[2.0], 3.0], [[53.0], 4.0], [[25.0], 2.0], [[38.0], 159.0] ... ]
最后得到的截距值為：21.606768655113363危尿，斜率是：[ 0.02046425]
畫出擬合后的函數(shù)圖像來就像這樣：
def show_linear_line(x_p,y_p):
regr = linear_model.LinearRegression()
regr.fit(x_p, y_p)
plt.scatter(x_p,y_p, color='blue')
plt.plot(x_p,regr.predict(x_p),color='red',linewidth=4)
plt.xticks(())
plt.yticks(())
plt.show()
可以看出，線性回歸對于異常的值或者說是脫離正常預(yù)測的值是非常敏感的馁痴。顯而易見這個(gè)模型非常不平衡谊娇，而最佳模型就是取得預(yù)測偏差和模型方差之間的平衡。預(yù)測偏差過高就是擬合不夠，方差過高就是擬合過度。
解決高方差有幾種思路拄氯，比如可以嘗試獲取更多的訓(xùn)練樣本哄酝，或者減少所使用特征的集合，也就是減少影響集历葛。
而解決高偏差，可以嘗試使用其他特征，或者增加多項(xiàng)組合特征半等。
我對于 健康習(xí)慣記錄數(shù) - 打卡數(shù) 的線性擬合嘗試所得到的結(jié)果表明，這兩個(gè)動(dòng)作看起來并沒有明顯的線性關(guān)系〗囱迹或許我應(yīng)該增加新的特征維度來約束其回歸吗垮。
