最小二乘法：在線性回歸中悔据，最小二乘法就是試圖找到一條直線，使所有的樣本到直線上的歐式距離之和最小睬捶。
- 均方誤差對(duì)應(yīng)了常用的“歐式距離”
特征縮放
在梯度下降算法中奶赠，常常會(huì)用到特征縮放榔组。比如，兩個(gè)特征之間的差距特別大估盘，一個(gè)為1到3瓷患，另一個(gè)為1到2000，會(huì)導(dǎo)致梯度下降算法非常的不好用遣妥，這時(shí)候就會(huì)用到特征縮放。整體化為大致-1到1之間的范圍攀细。
還有一種情況箫踩，叫做均值歸一化（mean normalization），如有有一個(gè)特征均值為a谭贪，那么用(Xi - a)來替代Xi境钟，這樣讓這個(gè)特征的均值為0.
特征縮放的目的是：將梯度下降的速度變得更快 讓梯度下降收斂所需的循環(huán)次數(shù)更少
均值歸一化
- 離差標(biāo)準(zhǔn)化，是對(duì)原始數(shù)據(jù)的線性變換俭识，使結(jié)果值映射到[0 - 1]之間慨削。
Paste_Image.png
如果要讓均值在[-1，1]之間套媚，可以讓分子部分x-均值
- z-score標(biāo)準(zhǔn)化缚态，這種方法給予原始數(shù)據(jù)的均值（mean）和標(biāo)準(zhǔn)差（standard deviation）進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。經(jīng)過處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布堤瘤，即均值為0玫芦，標(biāo)準(zhǔn)差為1，轉(zhuǎn)化函數(shù)
Paste_Image.png
在梯度下降算法的實(shí)用計(jì)較
在梯度下降算法中本辐，學(xué)習(xí)率α的選擇應(yīng)該適中桥帆，如果太大的話會(huì)反向效果，導(dǎo)致誤差函數(shù)值上升慎皱，如果太小老虫，會(huì)需要進(jìn)行多次梯度下降算法，太過復(fù)雜茫多。
一般來說α的選擇可以取值為：0.001祈匙，0.01，0.1地梨，1菊卷，...
