CS229學習筆記（二）——分類問題與邏輯斯蒂回歸（Classification and Logistic Regression）

? ? 當 $y$ 僅能取小數(shù)目的離散值時，即為分類問題档痪。本節(jié)著重分析二分（binary classification）問題捐下，其中 $y$ 僅能取0和1。0又被稱為負類（negative class）雁比，1又被稱為正類（positive class），有時也會使用符號“-”傻铣、“+”表示章贞。

（一）邏輯斯蒂回歸（Logistic Regression）

? ? 由于 $y$ 的取值發(fā)生了變化，我們相應修改 $h_\theta(x)$ 形式：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? $h_\theta=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$ 非洲，

這里 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?? $g(z) = \frac{1}{1+e^{-z}}$

被稱為邏輯斯蒂方程（logistic function）或者sigmoid函數(shù)（sigmoid function）鸭限。函數(shù)圖像如下：

同樣，我們令 $x_0 = 1$ 两踏，使得 $\theta^Tx = \theta_0 + \sum_{j=1}^n \theta_j x_j$ .

計算出 $g(z)$ 的導數(shù)有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $g’(z) = \fracld0yduk{dz} \frac{1}{1+e^{-z}}$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $=\frac{1}{(1+e^{-z})^2}(e^{-z})$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $=\frac{1}{1+e^{-z}}\cdot (1-\frac{1}{(1+e^{-z})})$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $=g(z)(1-g(z))$

讓我們假設(shè)：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $P(y=1|x;\theta) = h_\theta(x)$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $P(y=0|x;\theta) = 1-h_\theta(x)$

將兩式和為一式有： ? ? ? ? ? $p(y|x;\theta)=(h_\theta(x))^y(1-h_\theta(x))^{1-y}$ 败京。

假設(shè) $m$ 個訓練例子相互獨立，則其最大似然函數(shù)可寫為：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $L(\theta) = p(\vec{y}|X;\theta)$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $=\prod_{i=1}^m p(y^{(i)}|x^{(i)};\theta)$

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $=\prod_{i=1}^m (h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)})) ^{1-y^{(i)}}$

與前例相同梦染，我們?nèi)匀蛔畲蠡瘜?shù)似然函數(shù)

? ? ? ? ? ? ?? $l(\theta)=logL(\theta)=\sum_{i=1}^{m}y^{(i)}log(x^{(i)})+(1-y^{(i)})log(1-h(x^{(i)}))$

選用梯度上升的方式最大化對數(shù)似然函數(shù)赡麦，（在線性回歸中，最大化對數(shù)似然函數(shù)即最小化代價函數(shù)帕识，故在線性回歸中選用的梯度下降法泛粹。）同樣，我們先考慮一個訓練例子的情況肮疗，：

推廣到隨機梯度上升法有：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $\theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}$

與線性回歸相同晶姊，同樣可以使用牛頓法得到 $\theta$ 。

（二）感知器學習算法（The perceptron learning algorithm）

考慮修改邏輯斯蒂回歸方法使得輸出值只能為0和1伪货，自然地们衙，我們需要將 $g$ 設(shè)定為閾值函數(shù)：

同樣令 $h_\theta(x)=g(\theta^Tx)$ 钾怔，如果我們使用如下更新規(guī)則：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? $\theta_j:=\theta_j+\alpha(y^{(i)}-h_\theta(x^{(i)}))x_j^{(i)}$

則稱為感知器學習算法。

?

最后編輯于：2019.01.16 13:42:34

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者