1.一元線性回歸
輸入xi yi
預(yù)測值 f(xi) = wxi + b 使f(xi) 接近yi
注：基于均方誤差最小化來進(jìn)行模型求解成為最小二乘法**
上式也可以使用誤差正態(tài)分布來推算出公式
那對上式分別對w b求導(dǎo)，導(dǎo)數(shù)為零極為極值點取视。此時就可以求出w,b
令式都等于零展鸡，連立方程即可求出w, b
2.多元線性回歸
基本原理和一元線性一致鹃唯，
樣本是由d個屬性描述觉至。即一元線性回歸xi表示一個樣本链烈。而多元就是xi表示的是一個向量跨晴。
為了方便計算蓖谢，將b放入w中 也就是w' = (w;b) 相應(yīng)的xi擴(kuò)充一個1的列
那可以得到：
對w進(jìn)行求導(dǎo)得到：
如滿秩，則可以得到：
如果不是滿秩顽铸，因為變量和樣例數(shù)往往不是相同的茁计。通常引入正則化。
3.邏輯回歸
邏輯回歸其實可以理解為分類谓松。
sigmod函數(shù)：
在這里插入圖片描述
輸入值映射到[-1星压， 1]
在這里插入圖片描述
在這里插入圖片描述
分類任務(wù)：
在這里插入圖片描述
整合之后（而分類情況 y只有1和0兩種情況）：
在這里插入圖片描述
也就是求取似然函數(shù)：
在這里插入圖片描述
由于懲罰求起來比較困難践剂，轉(zhuǎn)為對數(shù)似然成為加法：
在這里插入圖片描述
由于需要求最大值，故轉(zhuǎn)換為梯度下降任務(wù) J = -(1/m)*l
對該式子求導(dǎo)得到導(dǎo)數(shù)：
在這里插入圖片描述
參數(shù)更新：
在這里插入圖片描述
