線性回歸算法

一酌毡、機(jī)器學(xué)習(xí)基本概念

1.有監(jiān)督&無監(jiān)督

$\quad$ 有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的主要區(qū)別體現(xiàn)在用于訓(xùn)練的數(shù)據(jù)集是否有反饋值辆脸，即用于糾偏的正確答案但校。
$\quad$ 有監(jiān)督學(xué)習(xí)通過學(xué)習(xí)輸入數(shù)據(jù)(X)和輸出數(shù)據(jù)(y)之間模式，建立模型進(jìn)行分類或預(yù)測啡氢。比如邏輯回歸状囱、決策樹等都是有監(jiān)督分類。訓(xùn)練時通過模型預(yù)測值與實際值的誤差進(jìn)行參數(shù)優(yōu)化求解倘是。
$\quad$ 無監(jiān)督學(xué)習(xí)直接輸入數(shù)據(jù)(X)進(jìn)行學(xué)習(xí)亭枷，通過數(shù)據(jù)之間的聯(lián)系進(jìn)行建模，比如聚類搀崭，通過距離衡量樣本的相似性進(jìn)行簇的劃分叨粘。

2.泛化能力

$\quad$ 泛化能力指的是訓(xùn)練好的模型在未知數(shù)據(jù)集上的預(yù)測能力。即在訓(xùn)練集上表現(xiàn)很好的模型對于新的數(shù)據(jù)是否依然能有很好的預(yù)測準(zhǔn)確率。

3.過擬合&欠擬合及解決方法

偏差：指預(yù)測輸出與真實標(biāo)記的差別升敲；度量學(xué)習(xí)算法的期望預(yù)測與真實結(jié)果的偏離程度袍镀。
方差：刻畫數(shù)據(jù)擾動所造成的影響；表示所有模型構(gòu)建的預(yù)測函數(shù)冻晤，與真實函數(shù)的差別有多大苇羡。(可聯(lián)想統(tǒng)計學(xué)中方差刻畫的是數(shù)據(jù)集的離散程度。)

過擬合&欠擬合及解決方法.png

訓(xùn)練和測試的準(zhǔn)確率都很差時鼻弧，可能是因為數(shù)據(jù)量不夠设江，可以嘗試
增加樣本量或交叉驗證。
注：數(shù)據(jù)量是個相對的概念攘轩，需要結(jié)合特征維度去考量叉存，當(dāng)維度很高時，訓(xùn)練所需要的數(shù)據(jù)量呈指數(shù)級增加度帮。

4.交叉驗證

$\quad$ 一般情況下需要將數(shù)據(jù)集劃分為訓(xùn)練集和測試集歼捏，在訓(xùn)練集上進(jìn)行模型訓(xùn)練，在測試集上進(jìn)行驗證調(diào)優(yōu)笨篷。但數(shù)據(jù)集劃分具有隨機(jī)性瞳秽，模型偏誤會依賴數(shù)據(jù)集的劃分，不同的劃分方法會產(chǎn)生不同的模型預(yù)測誤差率翅，參數(shù)選擇也不同练俐。因此提出了交叉驗證的方法。
$\quad$ k折交叉驗證將數(shù)據(jù)集平均分為k份冕臭，每次選擇其中一份作為測試集腺晾，用剩下的k-1份數(shù)據(jù)進(jìn)行模型訓(xùn)練，共進(jìn)行k次訓(xùn)練辜贵，最后使用平均誤差衡量模型的性能悯蝉。

二、損失函數(shù)vs代價函數(shù)vs目標(biāo)函數(shù)

損失函數(shù)是針對單個樣本來說的托慨；
風(fēng)險函數(shù)是損失函數(shù)的期望(經(jīng)驗風(fēng)險)鼻由；
目標(biāo)函數(shù)：代價函數(shù)(經(jīng)驗風(fēng)險)+正則化項(結(jié)構(gòu)風(fēng)險，衡量模型復(fù)雜度)

三榴芳、線性回歸原理

1.簡單線性回歸

假設(shè)輸入數(shù)據(jù)集D有n個樣本嗡靡，d個特征，則：
$D=\lgroup{ (x^{(1)},y_1) , (x^{(2)},y_2) ...(x^{(n)},y_n) } \rgroup$
其中第 $i$ 個樣本表示為：
$(x^{(i)},y_i)=(x_1^{(i)},x_2^{(i)},...x_d^{(i)},y_i)$
線性模型通過建立線性組合進(jìn)行預(yù)測窟感。我們的假設(shè)函數(shù)為：
$h_\theta(x_1,x_2,...x_d)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_dx_d \qquad(1)$
其中 $\theta_0,\theta_1...\theta_d$ 為模型參數(shù)讨彼。
令 $x_0=1$ ， $x^{(i)}=(x_1^{(i)},x_2^{(i)},...x_d^{(i)})$ 為行向量柿祈，令
$X=\begin{bmatrix} x^{(0)}\\ x^{(1)}\\ \vdots\\ x^{(n)} \end{bmatrix}_{n \times d}哈误， \theta=\begin{bmatrix} \theta_0\\ \theta_1\\ \vdots\\ \theta_d \end{bmatrix}_{d \times 1} 哩至， Y=\begin{bmatrix} y_1\\ y_2\\ \vdots\\ y_n \end{bmatrix}_{n \times 1}$
$X$ 為 $n \times d$ 維矩陣, $\theta$ 為 $d \times 1$ 維向量，則假設(shè)函數(shù)(1)式可表示為：
$h_\theta(X)=X\theta$
損失函數(shù)為均方誤差蜜自，即
$J(\theta)=\frac{1}{2} (X\theta - Y)^T (X\theta - Y)$
最小二乘法求解參數(shù)菩貌，損失函數(shù) $J(\theta)$ 對 $\theta$ 求導(dǎo)：
$\nabla J(\theta)=2X^T(X\theta-Y)$
令 $\nabla J(\theta)=0$ ，得 $\theta=(X^TX)^{-1}X^TY$

2.線性回歸的正則化

為防止模型的過擬合重荠，通常選擇在損失函數(shù)加上正則化項箭阶。
線性回歸的L1正則化為lasso，損失函數(shù)為：
$J(\theta)=\frac{1}{2} (X\theta - Y)^T (X\theta - Y)+\alpha||\theta||_1$
線性回歸的L2正則化為嶺回歸戈鲁，損失函數(shù)為：
$J(\theta)=\frac{1}{2} (X\theta - Y)^T (X\theta - Y)+\frac{1}{2}\alpha||\theta||_2^2$
其中 $\alpha$ 為常數(shù)系數(shù)仇参，需要調(diào)優(yōu)。
L1范數(shù)不可導(dǎo)婆殿，因此不能用最小二乘或梯度下降法求解參數(shù)诈乒，一般用坐標(biāo)軸下降法等求解。

四婆芦、優(yōu)化方法

1.梯度下降法

$\quad$ 梯度下降法常用來求解無約束最優(yōu)化問題怕磨，是一種迭代方法：損失函數(shù) $J(\theta)$ ， $\theta$ 為需要求解的參數(shù)消约；選取初值 $\theta_0$ 肠鲫，不斷迭代更新 $\theta$ 的值，進(jìn)行損失函數(shù)的極小化荆陆。
將第t次迭代后的損失函數(shù) $J(\theta^t)$ 在 $\theta^{t-1}$ 處進(jìn)行一階泰勒展開：
$J(\theta^t)=J(\theta^{t-1})+\nabla J(\theta^{t-1}) \Delta \theta$
要想使 $J(\theta^t) < J(\theta^{t-1})$ 滩届，可取 $\Delta \theta=-\alpha \nabla J(\theta^{t-1})$

則迭代公式為：
$\theta^t=\theta^{t-1}+\Delta \theta =\theta^{t-1} - \alpha \nabla J(\theta^{t-1})$
其中 $\alpha$ 為步長。

2.牛頓法

將第t次迭代后的損失函數(shù) $J(\theta^t)$ 在 $\theta^{t-1}$ 處進(jìn)行二階泰勒展開：
$J(\theta^t)=J(\theta^{t-1})+\nabla J(\theta^{t-1})\Delta \theta + \nabla ^2 J(\theta^{t-1}) \frac{\Delta \theta^2}{2}$
為了簡化問題被啼，先假設(shè)參數(shù)是標(biāo)量，將一階導(dǎo)數(shù)和二階導(dǎo)數(shù)分別記為 $g$ 和 $h$ 棠枉，則有：
$J(\theta^t)=J(\theta^{t-1})+g \Delta \theta + h \frac{\Delta \theta ^2}{2}$
要使 $J(\theta ^t)$ 最小化浓体，即讓 $g \Delta \theta + h \frac{\Delta \theta ^2}{2}$ 最小，對 $\Delta \theta$ 求導(dǎo)辈讶，令其等于0命浴，可得 $\Delta \theta=-\frac{g}{h}$ ，故:
$\theta ^t = \theta ^{t-1} +\Delta \theta =\theta ^{t-1} - \frac{g}{h}$
推廣到向量形式贱除，則迭代公式為：
$\theta ^t=\theta ^{t-1} - H^{-1}g$
其中H為海森矩陣生闲。

3.擬牛頓法

$\quad$ 梯度下降法和牛頓法都需要計算梯度，如果存在不可導(dǎo)的情況則無法求解月幌，因此擬牛頓法構(gòu)造出了近似海森矩陣的正定對稱陣碍讯，進(jìn)行目標(biāo)函數(shù)的優(yōu)化。

五扯躺、評估指標(biāo)

R-Square： $R^2=\frac{回歸平方和}{總平方和}$ 捉兴，
度量回歸模型擬合程度蝎困，反應(yīng)了因變量 $y$ 的變差中被模型所解釋的比例。
MSE:均方誤差倍啥，即預(yù)測值與真實值之間誤差平方和的均值禾乘。
RMSE：均方根誤差。
MAE：平均絕對誤差虽缕。

六始藕、簡單線性回歸sklearn參數(shù)詳解

                 from sklearn.linear_model import LinearRegression

簡單線性回歸參數(shù).png

參考
https://blog.csdn.net/qq_28448117/article/details/79199835?from=singlemessage
https://www.cnblogs.com/pinard/p/6004041.html
https://zhuanlan.zhihu.com/p/24709748
https://blog.csdn.net/garfielder007/article/details/51646604
https://blog.csdn.net/u013704227/article/details/77604500
https://blog.csdn.net/hurry0808/article/details/78148756