線性回歸及梯度下降法

回歸分析：用來建立方程模擬兩個(gè)或者多個(gè)變量之間如何關(guān)聯(lián)
被預(yù)測的變量叫：因變量，輸出
用來進(jìn)行預(yù)測的變量叫：自變量持际，輸入

h_θ（x） = θ₀+θ₁x
這個(gè)方程對應(yīng)的圖像是一條直線杰扫，稱為回歸線戴涝。其中，θ₁為回歸線的斜率斋竞，θ₀為回歸線的截距
代價(jià)函數(shù)（cost Function）
最小二乘法：
真實(shí)值y倔约，預(yù)測值h_θ（x），則誤差為（y-h_θ（x））²
找到合適的參數(shù)坝初，使得誤差平方和：
$\quad\quad\quad\quad\quad$ $J(θ_0浸剩，θ_1) =\frac{1}{2m}$ $\textstyle\sum_{i=1}^{m}（y^i-h_θ（x^i））^2$ 最小
$\quad\quad\quad\quad\quad$ 【注： $\frac{1}{2}$ 可有可無钾军，主要是為了求導(dǎo)和平方的2抵消】

線性回歸
相關(guān)系數(shù)
我們使用相關(guān)系數(shù)去衡量線性相關(guān)性的強(qiáng)弱
$\quad\quad\quad\quad\quad$ $r_{xy} = \frac{\textstyle\sum（X_i-\bar{X}）（Y_i-\bar{Y}）}{\sqrt{\textstyle\sum（X_i-\bar{X}）^2 \textstyle\sum（Y_i-\bar{Y}）^2}}$

決定系數(shù)
相關(guān)系數(shù)R（coefficient of determination）是用來描述兩個(gè)變量之間的線性關(guān)系的，但決定系數(shù)的適用范圍更廣绢要，可以用于描述非線性或者有兩個(gè)及兩個(gè)以上的相關(guān)關(guān)系吏恭。它可以用來評價(jià)模型的效果

$\quad$ 總平方和（SST）： $\textstyle\sum_{i=1}^{n}（y_i-\bar{y}）^2$ 【 $y_i$ 是真實(shí)值， $\bar{y}$ 是真實(shí)值的平均值】
$\quad$ 回歸平方和（SSR）： $\textstyle\sum_{i=1}^{n}（\hat{y}-\bar{y}）^2$ 【 $\hat{y}$ 是預(yù)測值】
$\quad$ 殘差平方和（SSE）： $\textstyle\sum_{i=1}^{n}（y_i-\hat{y}）^2$
$\quad$ 它們?nèi)叩年P(guān)系是：SST=SSR+SSE

$\quad$ 決定系數(shù)： $R^2 = \frac{SSR}{SST} = 1-\frac{SSE}{SST}$ 【 $R^2$ 的值越接近1重罪，說明它們之間的關(guān)系越接近于線性的關(guān)系樱哼，越接近0就越不接近于線性關(guān)系】

梯度下降法：
有這么一個(gè)函數(shù) $J(θ_0，θ_1)$ 求 $minJ(θ_0剿配，θ_1)$
$\quad$ 1. 初始化 $θ_0搅幅，θ_1$
$\quad$ 2. 不斷改變 $θ_0，θ_1$ 呼胚，直到 $J(θ_0茄唐，θ_1)$ 到達(dá)全局最小值，或局部極小值

圖1

圖2

$θ_0砸讳，θ_1$ 取不同初始值的變化結(jié)果琢融，如圖1取值界牡，然后不斷改變 $θ_0簿寂，θ_1$ ，直到 $J(θ_0宿亡，θ_1)$ 到達(dá)全局最小值常遂，如圖2取值，然后不斷改變 $θ_0挽荠，θ_1$ 克胳，直到 $J(θ_0，θ_1)$ 到達(dá)局部極小值

repeat until convergence {
$θ_j:= θ_j- α\frac{?}{?θ_j}J(θ_0圈匆，θ_1) （j=0 漠另，j=1）$ 【α指的是學(xué)習(xí)率】
}

正確做法：同步更新
$temp0:= θ_j- α\frac{?}{?θ_j}J(θ_0，θ_1) （j=0 跃赚，j=1）$
$temp1:= θ_j- α\frac{?}{?θ_j}J(θ_0笆搓，θ_1) （j=0 ，j=1）$
$θ_0:=temp0$
$θ_1:=temp1$

不正確做法：
$temp0:= θ_j- α\frac{?}{?θ_j}J(θ_0纬傲，θ_1) （j=0 满败，j=1）$
$θ_0:=temp0$
$temp1:= θ_j- α\frac{?}{?θ_j}J(θ_0，θ_1) （j=0 叹括，j=1）$
$θ_1:=temp1$

$\quad$ 現(xiàn)在假設(shè)只有一個(gè)參數(shù) $θ_1$ 算墨，公式如下，現(xiàn)在看圖3中的曲線汁雷，當(dāng)我們的染秽帧①處的 $θ_1$ 值报咳，那么我們計(jì)算出來的斜率是負(fù)數(shù)，α學(xué)習(xí)率為正數(shù)面粮，相乘就為負(fù)數(shù)少孝，則 $θ_1$ 減去這個(gè)負(fù)值以后就變大了，賦給 $θ_1$ 熬苍， $θ_1$ 的取值大了稍走，現(xiàn)在到了②處乏苦，計(jì)算出來的斜率還是負(fù)數(shù)兴枯，α學(xué)習(xí)率為正數(shù)累盗，相乘就為負(fù)數(shù)雏蛮，則 $θ_1$ 減去這個(gè)負(fù)值以后又變大了爽撒，接下來到了③處县习，計(jì)算出來的斜率還是正數(shù)沟启，α學(xué)習(xí)率為正數(shù)三娩，相乘就為正數(shù)鸿脓，則 $θ_1$ 減去這個(gè)正值以后變小了抑钟，則下次取值一定在③的左側(cè)，都會忘最小值靠近野哭≡谒【學(xué)習(xí)率的值不能太小（變化會太慢）拨黔，也不能太大（變化會太大）蛔溃，可以多嘗試，找到比較合適的 0.1篱蝇，0.03贺待，0.003，0.001........等等】

圖3

用梯度算法來求解線性回歸：

$\quad\quad\quad\quad\quad\quad\quad$ $j=0: α\frac{?}{?θ_0}J(θ_0零截，θ_1) = \frac{1}{m}\textstyle\sum_{i=1}^{m}（h_θ（x^i）- y^i）$
$\frac{?}{?θ_j}J(θ_0麸塞，θ_1) =$
$\quad\quad\quad\quad\quad\quad\quad$ $j=1: α\frac{?}{?θ_1}J(θ_0，θ_1) = \frac{1}{m}\textstyle\sum_{i=1}^{m}（h_θ（x^i）- y^i）$
repeat until convergence {
$θ_0:= θ_0- α \frac{1}{m}\textstyle\sum_{i=1}^{m}（h_θ（x^i）- y^i）$
$θ_1:= θ_1- α \frac{1}{m}\textstyle\sum_{i=1}^{m}（h_θ（x^i）- y^i）·x^i$
}

梯度算法可能會陷入局部最小值：

梯度下降算法的代價(jià)函數(shù)是凸函數(shù)涧衙，所以會一直往最小值走

梯度下降算法的代價(jià)函數(shù)