損失函數(shù)介紹簡單線性回歸最小二乘法梯度下降求解線性回歸評價指標多元線性回歸鏈接
損失函數(shù)介紹
損失函數(shù)描述了單個樣本預測值和真實值之間誤差的程度。用來度量模型一次預測的好壞兼蕊。
損失函數(shù)是衡量預測模型預測期望結(jié)果表現(xiàn)的指標恰响。損失函數(shù)越小治专，模型的魯棒性越好竞穷。吴藻。
常用損失函數(shù)有：
0-1損失函數(shù)：用來表述分類問題贯吓，當預測分類錯誤時懈凹，損失函數(shù)值為1，正確為0
平方損失函數(shù)：用來描述回歸問題悄谐，用來表示連續(xù)性變量介评，為預測值與真實值差值的平方。（誤差值越大、懲罰力度越強们陆，也就是對差值敏感）
絕對損失函數(shù)：用在回歸模型寒瓦，用距離的絕對值來衡量
對數(shù)損失函數(shù)：是預測值Y和條件概率之間的衡量。事實上坪仇，該損失函數(shù)用到了極大似然估計的思想杂腰。P(Y|X)通俗的解釋就是：在當前模型的基礎上，對于樣本X椅文，其預測值為Y喂很，也就是預測正確的概率。由于概率之間的同時滿足需要使用乘法皆刺，為了將其轉(zhuǎn)化為加法少辣，我們將其取對數(shù)。最后由于是損失函數(shù)羡蛾，所以預測正確的概率越高漓帅，其損失值應該是越小，因此再加個負號取個反林说。
以上損失函數(shù)是針對于單個樣本的煎殷，但是一個訓練數(shù)據(jù)集中存在N個樣本，N個樣本給出N個損失腿箩，如何進行選擇呢豪直？這就引出了風險函數(shù)。
1珠移、損失函數(shù)：單個樣本預測值和真實值之間誤差的程度弓乙。
2、期望風險：是損失函數(shù)的期望钧惧，理論上模型f(X)關(guān)于聯(lián)合分布P(X,Y)的平均意義下的損失暇韧。
3、經(jīng)驗風險：模型關(guān)于訓練集的平均損失（每個樣本的損失加起來浓瞪，然后平均一下）懈玻。
4、結(jié)構(gòu)風險：在經(jīng)驗風險上加上一個正則化項乾颁，防止過擬合的策略涂乌。
簡單線性回歸
簡單線性回歸方程 ?
損失函數(shù)為：平方損失函數(shù) ?
當損失函數(shù)最小，即L=0時英岭，求解a和b
最小二乘法
對a和b求偏導湾盒，
梯度下降求解
梯度下降就是按照梯度的方向改變?的值，因為梯度的方向就是使損失函數(shù)變化最快的方向
?
批量梯度下降
每次更新?要保證所有樣本的代價函數(shù)下降最快
于是
隨機梯度下降**
每次更新? 保證某一個樣本的代價函數(shù)下降的最快
小批量梯度下降
每次更新? 保證k個樣本的代價函數(shù)下降的最快
線性回歸評價指標
均方誤差MSE：指參數(shù)估計值與參數(shù)真值之差平方的期望值;
均方根誤差RMSE：是均方誤差的算術(shù)平方根
平均絕對MAE：絕對誤差的平均值
R方：?
調(diào)用
mean_squared_error(y_test,y_predict)
mean_absolute_error(y_test,y_predict)
r2_score(y_test,y_predict)</pre>
多元線性回歸
?
簡單線性回歸只需要計算前兩項诅妹，多元線性回歸需要計算n+1個指標
?
class LinearRegression:
?
def __init__(self):
"""初始化Linear Regression模型"""
self.coef_ = None # 系數(shù)（theta0~1 向量）
self.interception_ = None # 截距（theta0 數(shù)）
self._theta = None # 整體計算出的向量theta
?
def fit_normal(self, X_train, y_train):
"""根據(jù)訓練數(shù)據(jù)X_train罚勾，y_train訓練Linear Regression模型"""
assert X_train.shape[0] == y_train.shape[0], \
"the size of X_train must be equal to the size of y_train"
# 正規(guī)化方程求解
X_b = np.hstack([np.ones((len(X_train), 1)), X_train])
self._theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train)
?
self.interception_ = self._theta[0]
self.coef_ = self._theta[1:]
return self
?
def predict(self, X_predict):
"""給定待預測的數(shù)據(jù)集X_predict，返回表示X_predict的結(jié)果向量"""
assert self.interception_ is not None and self.coef_ is not None, \
"must fit before predict"
assert X_predict.shape[1] == len(self.coef_), \
"the feature number of X_predict must be equal to X_train"
X_b = np.hstack([np.ones((len(X_predict), 1)), X_predict])
y_predict = X_b.dot(self._theta)
return y_predict
?
def score(self, X_test, y_test):
"""很倔測試機X_test和y_test確定當前模型的準確率"""
y_predict = self.predict(self, X_test)
return r2_score(y_test, y_predict)
?
def __repr__(self):
return "LinearRegression()"</pre>
調(diào)用
from myAlgorithm.model_selection import train_test_split
from myAlgorithm.LinearRegression import LinearRegression
?
X_train, X_test, y_train, y_test = train_test_split(X, y, seed = 666)
?
reg = LinearRegression()
reg.fit_normal(X_train, y_train)
?
reg.coef_
輸出：
array([-1.18919477e-01, 3.63991462e-02, -3.56494193e-02, 5.66737830e-02,
-1.16195486e+01, 3.42022185e+00, -2.31470282e-02, -1.19509560e+00,
2.59339091e-01, -1.40112724e-02, -8.36521175e-01, 7.92283639e-03,
-3.81966137e-01])
?
reg.interception_
輸出：
34.16143549622471
?
reg.score(X_test, y_test)
輸出：
0.81298026026584658</pre>
