李宏毅ML05—Logistics Regression

Logistics Regression

1 邏輯回歸和線性回歸的比較

Logistics Regression	Linear Regression
$f_{w,b}(x)=\sigma(\sum\limits_iw_ix_i+b)$	$f_{w,b}(x)=\sum\limits_iw_ix_i+b$
Output: 0~1	Output: 任何值
$L(f)=\sum\limits_nC(f(x^n),y^n)$	$L(f)=\frac{1}{2}\sum\limits_n(f(x^n)-y^n)^2$
$y^n$ ：1 代表Class1声登，0 代表 Class2	$y^n$ 是真實的數(shù)值
$w_{i+1}=w_i-\eta\sum\limits_n-(y^n-f_{w,b}(x^n))x_i^n$	同左邊

其中Cross Entropy: $C(f(x^n),y^n)=-[y^n\ln(f(x^n))+(1-y^n)\ln(1-f(x^n))]$
為什么要用Cross Entropy（交叉熵）狠鸳，為什么不直接用線性回歸中的 Square Error？
在邏輯回歸中悯嗓，如果用Square Error件舵，經(jīng)過公式推導(dǎo)，若 $y^n=1$ 脯厨，則當(dāng) $f(x^n)$ 等于1（close to Class1）或者等于0（far from Class1）時铅祸， $\frac{\partial L}{\partial w_i}$ 都將為0.

Cross Entropy vs Square Error

$Likelihood(w,b) = L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))...f_{w,b}(x^N)$
求該函數(shù)的最大值，為了方便合武，轉(zhuǎn)化成下面的函數(shù)临梗，求最小值點
$\begin{align*} -\ln L(w,b) & = \ln f_{w,b}(x^1)+\ln f_{w,b}(x^2)+\ln (1-f_{w,b}(x^3))...\\ & = \sum\limits _n-[y^n \ln f_{w,b}(x^n)+(1-y^n)\ln (1-f_{w,b}(x^n))] \end{align*}$
其中 $y^n$ 為1時，代表Class1稼跳，為0時盟庞，代表Class2

$\frac{\ln L(w,b)}{\partial w_i}=\frac{\partial \ln(1-f_{w,b}(x))}{\partial w_i}=-\frac{1}{1-\sigma(z)}\frac{\partial\sigma(z)}{\partial z}=-\sigma(z)$
這是損失函數(shù)里中括號里的一項，最終可將損失函數(shù)化簡得
$\frac{-\ln L(w,b)}{\partial w_i}=\sum\limits _n -(y^n-f_{w,b}(x^n))x^n_i$
$w_{i+1}=w_i-\eta\sum\limits _n -(y^n-f_{w,b}(x^n))x^n_i$

Discriminative 和 Generative 是兩種尋找參數(shù)的方法
前者直接找到 $w$ 和 $b$
后者會找到 $\mu1,\mu2,\Sigma^{-1}$
兩者最終得到的w和b是不一樣的
從最終的測試結(jié)果來說汤善，Discriminative 得到的結(jié)果是更好的
但是Generative Model 在一些情況下會得到更好的結(jié)果什猖，因為Generative Model 會有“腦補的過程”
即，在樣本集合中不存在的某個樣本红淡，也會被Generative腦補出來不狮，這樣的樣本在一個大的樣本集合中可能會出現(xiàn)。

Generative 判斷兩個紅球同時出現(xiàn)的可能性 Class2 更大
Generative 的好處
對訓(xùn)練集的數(shù)量要求更小
對訓(xùn)練集的噪音抗干擾能力更強

以三個類為例
$C1:w^1,b_1;z_1=w^1·x+b_1$
$C2:w^2,b_2;z_2=w^2·x+b_2$
$C1:w^3,b_3;z_3=w^3·x+b_3$
如下圖所示在旱，三個類經(jīng)過Softmax函數(shù)之后摇零，最終的值都會落在0,1之間

大的越大，小的越小

假設(shè)有3個Class颈渊，都是高斯分布遂黍，共用同一個協(xié)方差矩陣终佛，這種情況下，做一般推導(dǎo)以后雾家，得到的就是softmax function

$L(x_i)=-\sum\limits_{i=1}^3y_i^*\ln y_i$
x屬于 Class1時
$y^*=\begin{bmatrix} 1\\ 0\\ 0 \end{bmatrix}$
x屬于 Class2時
$y^*=\begin{bmatrix} 0\\ 1 \\ 0 \end{bmatrix}$
x屬于 Class3時
$y^*=\begin{bmatrix} 0\\ 0\\ 1 \end{bmatrix}$
用這種方式表示 $y^*$ 的好處是铃彰，Class之間不再有某兩者更加近的距離（如2比1離3更近）

更新中...

最后編輯于：2019.05.29 22:10:24

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者