第三章線性模型

3.1 基本形式

給定由d個(gè)屬性的示例x= $(x_1;x_2;...;x_d)$ 沪悲，其中 $x_i$ 是x在第i個(gè)屬性上的取值穷当，線性模型試圖學(xué)習(xí)一個(gè)通過屬性的線性組合來進(jìn)行預(yù)測的函數(shù)：
? $f(x)=w_1x_1+w_2x_2+...+w_dx_d+b \tag{3.1}$
或者
? $f(x)=w^Tx+b \tag{3.2}$
其中 $w=(w_1;w_2;...;w_d)$ .

3.2 線性回歸

給定數(shù)據(jù)集 $D={(x_1,y_1),(x_2,y_2),...,(x_m,y_m)}$ ,其中 $x_i=(x_{i1};x_{i2};...x_{id}),y_i\in R$ ,線性回歸試圖學(xué)得：
$f(x_i)=wx_i+b,使得f(x_i)\approx y_i. \tag{3.3}$
我們采用均方誤差作為回歸任務(wù)的性能度量提茁，即
$(w^*,b^*)=\underset{(w,b)}{\arg\min} \sum_{i=1}^m(f(x_i)-y_i)^2\tag{3.4}$
基于均方誤差最小化求解的方法稱為“最小二乘法"[c++實(shí)現(xiàn)]，對w和b求導(dǎo)：
$\frac{\partial E_{(w,b)}}{\partial w} = 2\left(w\sum_{i=1}^m x_i^2 - \sum_{i=1}^m (y_i - b)x_i \right) \tag{3.5}$
$\frac{\partial E_{(w,b)}}{\partial b} = 2\left(mb - \sum_{i=1}^m (y_i - wx_i) \right) \tag{3.6}$
令（3.5）和（3.6）為零可得到w和b的最優(yōu)解的閉式解
$w=\frac{\sum_{i=1}^m y_i(x_i-\overline{x})}{\sum_{i=1}^m x_i^2 - \frac{1}{m} \left( \sum_{i=1}^m x_i^2 \right) ^2 } \tag{3.7}$
$b=\frac{1}{m} \sum_{i=1}^m (y_i-wx_i) \tag{3.8}$
其中 $\overline{x} = \frac{1}{m} \sum_{i=1}^m x_i$ 為x的均值
類似的馁菜，對于“多元線性回歸”同樣可以用最小二乘法求解

3.3 對數(shù)線性回歸

我們可以把線性回歸模型寫成 $y=w^Tx+b$ 甘凭，其中y代表由模型預(yù)測出的值，如果我們使模型去預(yù)測y的衍生物火邓，例如
$\ln{y}=w^Tx+b \tag{3.9}$
這就是“對數(shù)線性回歸”丹弱，實(shí)際上就相當(dāng)于讓 $e^{w^Tx+b}$ 逼近y，實(shí)質(zhì)上是輸入空間的線性組合對輸出空間的一個(gè)映射铲咨，即
$y=g^{-1}(w^Tx+b) \tag{3.10}$
以上都在進(jìn)行回歸學(xué)習(xí)躲胳，如果要進(jìn)行分類的話，例如二分類任務(wù)纤勒，其輸出標(biāo)記為 $y\in{\{0,1\}}$ 坯苹，如果要將 $z=w^Tx+b$ 轉(zhuǎn)換為0/1值，可以用階躍函數(shù)：
$y=\begin{cases} 0, & \text{z<0;} \\ 0.5, & \text{z=0;} \\ 1, & \text{z>0;} \end{cases} \tag{3.11}$
如圖所示：

單位階躍函數(shù)與對數(shù)幾率函數(shù).PNG

但階躍函數(shù)不連續(xù)摇天，于是我們用一個(gè)“替代函數(shù)”粹湃，例如對數(shù)幾率函數(shù)：
$y=\frac{1}{1+e^{-z}} \tag{3.12}$
上式可以寫為
$\ln{\frac{y}{1-y}} = w^Tx+b \tag{3.13}$
其中，y表示x為正例的概率泉坐，1-y為x為反例的概率为鳄，則 $\frac{y}{1-y}$ 稱為“幾率”， $\ln{\frac{y}{1-y}}$ 為“對數(shù)幾率”

最后編輯于：2018.10.27 20:46:32

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

第三章 線性模型

3.1 基本形式

3.2 線性回歸

3.3 對數(shù)線性回歸

第三章線性模型