機器學習系列4:邏輯回歸與softmax回歸詳解

一剩燥、Logistic regression中sigmod函數(shù)推導

sigmod函數(shù)的推導

1.伯努利分布

一個事件x，其結果只有兩種：x=1 or 0，比如拋硬幣椎木。
when $x=1$ , $p(1)=p\{x=1\}=p$
when $x=0$ , $p(0)=p\{x=0\}=1-p$
伯努利分布的概率質(zhì)量函數(shù)為：
$f(x|p)=p^x(1-p)^{1-x}$
可以寫成 $x - Bernoulli(p)$

2.指數(shù)族分布

如果一個分布能用以下的方式寫出，就設這類分布屬于指數(shù)族：
$p(y|n)=b(y)e^{\eta T(y)-\alpha(\eta)}$
伯努利分布可以表示成：
$\begin{split} p(x|y)= {} & p^x(1-p)^{1-x} {}\\ & = e^{xlnp+(1-x)ln(1-p)} {} \\ &=e^{x(lnp-ln(1-p))+ln(1-p)} {}\\ & = e^{xln\frac{p}{1-p }+ln(1-p)} \end{split}$
可以發(fā)現(xiàn)博烂，伯努利分布是指數(shù)族分布香椎，其中：
$\begin{cases} T(y) =x \\ b(y)=1 \\ \eta =ln\frac{p}{1-p} \\ \alpha(\eta)=-ln(1-p)=ln(1+e^{\eta} ) \end{cases}$

3.sigmod函數(shù)的推導

標準的邏輯回歸問題中，是二分類的禽篱，與伯努利分布類似畜伐。
$\eta = ln\frac{p}{1-p}$ $\Rightarrow e^\eta = \frac{p}{1-p}$ $\Rightarrow p = \frac{1}{1+e^{-\eta}}$
上式即為sigmod函數(shù)的由來。
綜上：若有一個樣本空間 $y|x;\theta - Bernoulli(p)$ 躺率，
那么 $E[y|x;\theta]=p$
有 $h_\theta(x)=E[y|x;\theta]=p=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^Tx}}$
$h_\theta(x)$ 即為 $sigmod \quad function$

二玛界、Logistic regression損失函數(shù)推導

與線性回歸的損失函數(shù)推導類似，通過最大似然函數(shù)估計來推出：
首先已知：
$p(y=1|x;\theta)=h_\theta(x)$ $p(y=0|x;\theta)=1-h_\theta(x)$
更簡潔地悼吱，上式可以寫成：
$p(y|x;\theta)=h_\theta(x)^y(1-h_\theta(x))^{1-y}$
假設m個樣本都是相互獨立的慎框，即可得似然函數(shù)：
$\begin{split} L(\theta)= {} & p(\vec{y}|x;\theta) {}\\ & =\prod_{i=1}^mp((y^{(i)}|x^{(i)};\theta) {}\\ & = \prod_{i=1}^m h_\theta(x^i)^{y^i} (1-h_\theta(x^i))^{1-y^i} \end{split}$
取對數(shù)：
$\begin{split} l(\theta)= {} & log(L(\theta)) {}\\ & = \sum_{i=1}^m \left \{ y^i log(h_\theta(x^i)) + (1-y^i)log(1-h_\theta(x^i)) \right \} \end{split}$
我們要求似然函數(shù)的最大值，反之在似然函數(shù)前加個負號舆绎，就能得到損失函數(shù)：
$J(\theta)= -\frac{1}{m} \sum_{i=1}^m \left \{ y^i log(h_\theta(x^i)) + (1-y^i)log(1-h_\theta(x^i)) \right \}$

三鲤脏、Logistic regression梯度下降

我們先將 $J(\theta)$ 簡化：
$J(\theta)=-\frac{1}{m} \sum_{i=1}^m \left \{ y^i log(\frac{1}{1+e^{-\theta^Tx^i }}) + (1-y^i)log(1-\frac{1}{1+e^{-\theta^Tx^i }}) \right \} {}\\ =-\frac{1}{m} \sum_{i=1}^m \left \{ -y^i log({1+e^{-\theta^Tx^i }}) - (1-y^i)log({1+e^{\theta^Tx^i }}) \right \}$
可得：
$\begin{split} \frac{\partial {J(\theta) } }{\partial{\theta_j}} = {} & -\frac{1}{m} \sum_{i=1}^m \left \{ -y^i \frac{-x_j^i e^ {-\theta^Tx^i }} {1+e^ {-\theta^Tx^i }} - (1-y^i) \frac{x_j^ie^{\theta^Tx^i }}{1+e^{\theta^Tx^i }}) \right \} {}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ y^i \frac{ x_j^i} {1+e^{\theta^Tx^i }} - (1-y^i) \frac{x_j^ie^{\theta^Tx^i }}{1+e^{\theta^Tx^i }}) \right \} {}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ \frac{ y^ix_j^i - x_j^i e^{\theta^Tx^i } +y^ix_j^ie^{\theta^Tx^i }} {1+e^{\theta^Tx^i }} \right \} {}\\ &=-\frac{1}{m} \sum_{i=1}^m \left \{ \frac{y^i(1+e^{\theta^Tx^i }) - e^{\theta^Tx^i } } {1+e^{\theta^Tx^i }} x_j^i \right \} {}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ y^i - \frac{1 } {1+e^{-\theta^Tx^i }} x_j^i \right \}{}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ (y^i - h_\theta(x^i)) x_j^i \right \}{}\\ &=\frac{1}{m} \sum_{i=1}^m \left \{ ( h_\theta(x^i) - y^i ) x_j^i \right \} \end{split}$

四、softmax函數(shù)推導

softmax回歸是邏輯回歸的推廣吕朵，在標準的邏輯回歸中猎醇，響應變量y只有兩個類別：0或1，在softmax回歸中努溃，y可以是k個取值中的任意一個：
$y \in \{ 1,2,\cdots,k \}$
比如說在手寫數(shù)字識別問題中硫嘶，k=10，y有10個類別梧税。
y取每個類別都對應一個概率沦疾，由于總的概率相加必為1，因此我們可以用k-1個參數(shù)來對這些概率值參數(shù)化第队。
令： $\phi _i=p(y=i;\phi)$
可得：
$\phi_k=p(y=k;\phi)=1-\sum_{i=1}^{k-1}\phi_i$
對應定義 $T(y) \in R^{k-1}$
$T(1)=\begin{bmatrix} 1 \\ 0 \\ 0 \\ \vdots\\ 0\\ \end{bmatrix}$ $T(2)=\begin{bmatrix} 0 \\ 1 \\ 0 \\ \vdots\\ 0\\ \end{bmatrix}$ $,\cdots ,$ $T(k-1)=\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots\\ 1\\ \end{bmatrix}$ $T(k)=\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots\\ 0 \\ \end{bmatrix}$

T(y)是一個k-1維的向量哮塞， $T(y)_i$ 代表向量第i個元素。
這就是熟悉的one-hot向量的形式
再介紹一種幾號：指示函數(shù)： $1\{ \cdot \}$ 凳谦，若參數(shù)為真忆畅，則等于1，否則等于0.
比如 $1\{ 2==3 \}=0$ 尸执， $1\{ 1==1 \}=1$
根據(jù)定義家凯，可知： $T(y)_i=1 \{ y=i\}$ （確保理解此處）
因為： $E[(T(y))_i]=p(y=i)=\phi_i$
把k個多項式表示成指數(shù)分布：
$\begin{split} p(y;\phi)= {} & \phi_1^{1 \{y=1 \} }\phi_2^{1 \{y=2 \}} \cdots \phi_k^{1 \{y=k \}} {}\\ & = \phi_1^{ T(y)_1} \phi_2^{ T(y)_2} \cdots \phi_k^{ 1-\sum_{i=1}^{k-1}T(y)_i} {}\\ &= exp \left\{ T(y)_1 log(\phi_1) + T(y)_2 log(\phi_2) + \cdots + (1- \sum_{i=1}^{k-1}T(y)_i)log(\phi_k) \right \} {}\\ &=exp \left\{ T(y)_1 log(\frac{\phi_1}{\phi_k}) + T(y)_2 log( \frac{\phi_2}{\phi_k }) + \cdots + log(\phi_k) \right \} {}\\ & =b(y)exp(\eta^TT(y)-\alpha(\eta)) \end{split}$
其中：
$\begin{cases} \eta = \begin{bmatrix} log( \frac{\phi_1}{\phi_k }) \\ log( \frac{\phi_2}{\phi_k }) \\ \vdots\\ log( \frac{\phi_{k-1}}{\phi_k }) \\ \end{bmatrix}\\ \alpha(\eta)=-log(\phi_k )\\ b(y)=1 \end{cases}$
與i=1,2缓醋，...，k相對應的鏈接函數(shù)為：
$\eta_i=log(\frac{\phi_i}{\phi_k})$
為方便起見绊诲，定義： $\eta_k=log(\frac{\phi_k}{\phi_k})=0$
對鏈接函數(shù)取反函數(shù)：
$e^{\eta_i}=\frac{\phi_i}{\phi_k}$ $\phi_ke^{\eta_i}=\phi_i$
得: $\phi_k\sum_{i=1}^ke^{\eta_i}=\sum_{i=1}^k\phi_i=1$
可得：
$\phi_k=\frac{1}{\sum_{i=1}^{k}e^{\eta_i}}$
得到響應函數(shù)：
$\phi_i=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}}$
與邏輯回歸送粱，線性回歸一樣，softmax回歸也屬于廣義線性模型掂之，滿足假設：自然參數(shù) $\eta$ 和輸入x是線性相關的抗俄，即 $\eta=\theta^Tx$
即可得到y(tǒng)的條件分布為：
$\begin{split} p(y=i|x;\theta) {} & = \phi_i {}\\ &=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}} {}\\ &=\frac{e^{\theta_i^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \end{split}$
最終得到的適用于解決多分類問題的模型，即為softmax回歸的激活函數(shù)世舰。

一下還有softmax損失函數(shù)和梯度下降的推導橄镜，由于時間關系，改天再補上冯乘，請見諒。

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末晒夹，一起剝皮案震驚了整個濱河市裆馒，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌丐怯，老刑警劉巖喷好，帶你破解...
沈念sama閱讀 222,378評論 6贊 516
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異读跷，居然都是意外死亡梗搅，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,970評論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門效览，熙熙樓的掌柜王于貴愁眉苦臉地迎上來无切，“玉大人，你說我怎么就攤上這事丐枉《呒” “怎么了？”我有些...
開封第一講書人閱讀 168,983評論 0贊 362
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵瘦锹，是天一觀的道長籍嘹。經(jīng)常有香客問我，道長弯院，這世上最難降的妖魔是什么辱士？我笑而不...
開封第一講書人閱讀 59,938評論 1贊 299
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮听绳，結果婚禮上颂碘，老公的妹妹穿的比我還像新娘。我一直安慰自己辫红，他們只是感情好凭涂，可當我...
茶點故事閱讀 68,955評論 6贊 398
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布祝辣。她就那樣靜靜地躺著，像睡著了一般切油。火紅的嫁衣襯著肌膚如雪蝙斜。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 52,549評論 1贊 312
城市分裂傳說
那天澎胡，我揣著相機與錄音孕荠，去河邊找鬼。笑死攻谁，一個胖子當著我的面吹牛稚伍，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播戚宦，決...
沈念sama閱讀 41,063評論 3贊 422
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼个曙，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了受楼？” 一聲冷哼從身側響起垦搬，我...
開封第一講書人閱讀 39,991評論 0贊 277
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎艳汽，沒想到半個月后猴贰，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 46,522評論 1贊 319
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡河狐，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 38,604評論 3贊 342
?白月光啟示錄
正文我和宋清朗相戀三年米绕，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片馋艺。...
茶點故事閱讀 40,742評論 1贊 353
活死人
序言：一個原本活蹦亂跳的男人離奇死亡栅干，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出捐祠，到底是詐尸還是另有隱情非驮，我是刑警寧澤，帶...
沈念sama閱讀 36,413評論 5贊 351
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布雏赦，位于F島的核電站劫笙，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏星岗。R本人自食惡果不足惜填大，卻給世界環(huán)境...
茶點故事閱讀 42,094評論 3贊 335
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望俏橘。院中可真熱鬧允华，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,572評論 0贊 25
一樁弒父案磷蜀，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至百炬，卻和暖如春褐隆，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背剖踊。一陣腳步聲響...
開封第一講書人閱讀 33,671評論 1贊 274
情欲美人皮
我被黑心中介騙來泰國打工庶弃，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人德澈。一個月前我還...
沈念sama閱讀 49,159評論 3贊 378
代替公主和親
正文我出身青樓歇攻，卻偏偏與公主長得像，于是被迫代替她去往敵國和親梆造。傳聞我的和親對象是個殘疾皇子缴守，可洞房花燭夜當晚...
茶點故事閱讀 45,747評論 2贊 361