機器學習系列4:邏輯回歸與softmax回歸詳解

一剩燥、Logistic regression中sigmod函數(shù)推導

sigmod函數(shù)的推導

1.伯努利分布

一個事件x,其結果只有兩種:x=1 or 0,比如拋硬幣椎木。
when x=1,p(1)=p\{x=1\}=p
when x=0, p(0)=p\{x=0\}=1-p
伯努利分布的概率質(zhì)量函數(shù)為:
f(x|p)=p^x(1-p)^{1-x}
可以寫成x - Bernoulli(p)

2.指數(shù)族分布

如果一個分布能用以下的方式寫出,就設這類分布屬于指數(shù)族:
p(y|n)=b(y)e^{\eta T(y)-\alpha(\eta)}
伯努利分布可以表示成:
\begin{split} p(x|y)= {} & p^x(1-p)^{1-x} {}\\ & = e^{xlnp+(1-x)ln(1-p)} {} \\ &=e^{x(lnp-ln(1-p))+ln(1-p)} {}\\ & = e^{xln\frac{p}{1-p }+ln(1-p)} \end{split}
可以發(fā)現(xiàn)博烂,伯努利分布是指數(shù)族分布香椎,其中:
\begin{cases} T(y) =x \\ b(y)=1 \\ \eta =ln\frac{p}{1-p} \\ \alpha(\eta)=-ln(1-p)=ln(1+e^{\eta} ) \end{cases}

3.sigmod函數(shù)的推導

標準的邏輯回歸問題中,是二分類的禽篱,與伯努利分布類似畜伐。
\eta = ln\frac{p}{1-p} \Rightarrow e^\eta = \frac{p}{1-p} \Rightarrow p = \frac{1}{1+e^{-\eta}}
上式即為sigmod函數(shù)的由來。
綜上:若有一個樣本空間y|x;\theta - Bernoulli(p)躺率,
那么E[y|x;\theta]=p
h_\theta(x)=E[y|x;\theta]=p=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^Tx}}
h_\theta(x)即為sigmod \quad function

二玛界、Logistic regression損失函數(shù)推導

與線性回歸的損失函數(shù)推導類似,通過最大似然函數(shù)估計來推出:
首先已知:
p(y=1|x;\theta)=h_\theta(x) p(y=0|x;\theta)=1-h_\theta(x)
更簡潔地悼吱,上式可以寫成:
p(y|x;\theta)=h_\theta(x)^y(1-h_\theta(x))^{1-y}
假設m個樣本都是相互獨立的慎框,即可得似然函數(shù):
\begin{split} L(\theta)= {} & p(\vec{y}|x;\theta) {}\\ & =\prod_{i=1}^mp((y^{(i)}|x^{(i)};\theta) {}\\ & = \prod_{i=1}^m h_\theta(x^i)^{y^i} (1-h_\theta(x^i))^{1-y^i} \end{split}
取對數(shù):
\begin{split} l(\theta)= {} & log(L(\theta)) {}\\ & = \sum_{i=1}^m \left \{ y^i log(h_\theta(x^i)) + (1-y^i)log(1-h_\theta(x^i)) \right \} \end{split}
我們要求似然函數(shù)的最大值,反之在似然函數(shù)前加個負號舆绎,就能得到損失函數(shù):
J(\theta)= -\frac{1}{m} \sum_{i=1}^m \left \{ y^i log(h_\theta(x^i)) + (1-y^i)log(1-h_\theta(x^i)) \right \}

三鲤脏、Logistic regression梯度下降

我們先將J(\theta)簡化:
J(\theta)=-\frac{1}{m} \sum_{i=1}^m \left \{ y^i log(\frac{1}{1+e^{-\theta^Tx^i }}) + (1-y^i)log(1-\frac{1}{1+e^{-\theta^Tx^i }}) \right \} {}\\ =-\frac{1}{m} \sum_{i=1}^m \left \{ -y^i log({1+e^{-\theta^Tx^i }}) - (1-y^i)log({1+e^{\theta^Tx^i }}) \right \}
可得:
\begin{split} \frac{\partial {J(\theta) } }{\partial{\theta_j}} = {} & -\frac{1}{m} \sum_{i=1}^m \left \{ -y^i \frac{-x_j^i e^ {-\theta^Tx^i }} {1+e^ {-\theta^Tx^i }} - (1-y^i) \frac{x_j^ie^{\theta^Tx^i }}{1+e^{\theta^Tx^i }}) \right \} {}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ y^i \frac{ x_j^i} {1+e^{\theta^Tx^i }} - (1-y^i) \frac{x_j^ie^{\theta^Tx^i }}{1+e^{\theta^Tx^i }}) \right \} {}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ \frac{ y^ix_j^i - x_j^i e^{\theta^Tx^i } +y^ix_j^ie^{\theta^Tx^i }} {1+e^{\theta^Tx^i }} \right \} {}\\ &=-\frac{1}{m} \sum_{i=1}^m \left \{ \frac{y^i(1+e^{\theta^Tx^i }) - e^{\theta^Tx^i } } {1+e^{\theta^Tx^i }} x_j^i \right \} {}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ y^i - \frac{1 } {1+e^{-\theta^Tx^i }} x_j^i \right \}{}\\ &= -\frac{1}{m} \sum_{i=1}^m \left \{ (y^i - h_\theta(x^i)) x_j^i \right \}{}\\ &=\frac{1}{m} \sum_{i=1}^m \left \{ ( h_\theta(x^i) - y^i ) x_j^i \right \} \end{split}

四、softmax函數(shù)推導

softmax回歸是邏輯回歸的推廣吕朵,在標準的邏輯回歸中猎醇,響應變量y只有兩個類別:0或1,在softmax回歸中努溃,y可以是k個取值中的任意一個:
y \in \{ 1,2,\cdots,k \}
比如說在手寫數(shù)字識別問題中硫嘶,k=10,y有10個類別梧税。
y取每個類別都對應一個概率沦疾,由于總的概率相加必為1,因此我們可以用k-1個參數(shù)來對這些概率值參數(shù)化第队。
令:\phi _i=p(y=i;\phi)
可得:
\phi_k=p(y=k;\phi)=1-\sum_{i=1}^{k-1}\phi_i
對應定義T(y) \in R^{k-1}
T(1)=\begin{bmatrix} 1 \\ 0 \\ 0 \\ \vdots\\ 0\\ \end{bmatrix} T(2)=\begin{bmatrix} 0 \\ 1 \\ 0 \\ \vdots\\ 0\\ \end{bmatrix} ,\cdots , T(k-1)=\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots\\ 1\\ \end{bmatrix} T(k)=\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots\\ 0 \\ \end{bmatrix}

T(y)是一個k-1維的向量哮塞,T(y)_i代表向量第i個元素。
這就是熟悉的one-hot向量的形式
再介紹一種幾號:指示函數(shù):1\{ \cdot \}凳谦,若參數(shù)為真忆畅,則等于1,否則等于0.
比如1\{ 2==3 \}=0尸执,1\{ 1==1 \}=1
根據(jù)定義家凯,可知:T(y)_i=1 \{ y=i\} (確保理解此處)
因為:E[(T(y))_i]=p(y=i)=\phi_i
把k個多項式表示成指數(shù)分布:
\begin{split} p(y;\phi)= {} & \phi_1^{1 \{y=1 \} }\phi_2^{1 \{y=2 \}} \cdots \phi_k^{1 \{y=k \}} {}\\ & = \phi_1^{ T(y)_1} \phi_2^{ T(y)_2} \cdots \phi_k^{ 1-\sum_{i=1}^{k-1}T(y)_i} {}\\ &= exp \left\{ T(y)_1 log(\phi_1) + T(y)_2 log(\phi_2) + \cdots + (1- \sum_{i=1}^{k-1}T(y)_i)log(\phi_k) \right \} {}\\ &=exp \left\{ T(y)_1 log(\frac{\phi_1}{\phi_k}) + T(y)_2 log( \frac{\phi_2}{\phi_k }) + \cdots + log(\phi_k) \right \} {}\\ & =b(y)exp(\eta^TT(y)-\alpha(\eta)) \end{split}
其中:
\begin{cases} \eta = \begin{bmatrix} log( \frac{\phi_1}{\phi_k }) \\ log( \frac{\phi_2}{\phi_k }) \\ \vdots\\ log( \frac{\phi_{k-1}}{\phi_k }) \\ \end{bmatrix}\\ \alpha(\eta)=-log(\phi_k )\\ b(y)=1 \end{cases}
與i=1,2缓醋,...,k相對應的鏈接函數(shù)為:
\eta_i=log(\frac{\phi_i}{\phi_k})
為方便起見绊诲,定義:\eta_k=log(\frac{\phi_k}{\phi_k})=0
對鏈接函數(shù)取反函數(shù):
e^{\eta_i}=\frac{\phi_i}{\phi_k} \phi_ke^{\eta_i}=\phi_i
得:\phi_k\sum_{i=1}^ke^{\eta_i}=\sum_{i=1}^k\phi_i=1
可得:
\phi_k=\frac{1}{\sum_{i=1}^{k}e^{\eta_i}}
得到響應函數(shù):
\phi_i=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}}
與邏輯回歸送粱,線性回歸一樣,softmax回歸也屬于廣義線性模型掂之,滿足假設:自然參數(shù)\eta和輸入x是線性相關的抗俄,即\eta=\theta^Tx
即可得到y(tǒng)的條件分布為:
\begin{split} p(y=i|x;\theta) {} & = \phi_i {}\\ &=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}} {}\\ &=\frac{e^{\theta_i^Tx}}{\sum_{j=1}^{k}e^{\theta_j^Tx}} \end{split}
最終得到的適用于解決多分類問題的模型,即為softmax回歸的激活函數(shù)世舰。

一下還有softmax損失函數(shù)和梯度下降的推導橄镜,由于時間關系,改天再補上冯乘,請見諒。

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末晒夹,一起剝皮案震驚了整個濱河市裆馒,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌丐怯,老刑警劉巖喷好,帶你破解...
    沈念sama閱讀 222,378評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異读跷,居然都是意外死亡梗搅,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,970評論 3 399
  • 文/潘曉璐 我一進店門效览,熙熙樓的掌柜王于貴愁眉苦臉地迎上來无切,“玉大人,你說我怎么就攤上這事丐枉《呒” “怎么了?”我有些...
    開封第一講書人閱讀 168,983評論 0 362
  • 文/不壞的土叔 我叫張陵瘦锹,是天一觀的道長籍嘹。 經(jīng)常有香客問我,道長弯院,這世上最難降的妖魔是什么辱士? 我笑而不...
    開封第一講書人閱讀 59,938評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮听绳,結果婚禮上颂碘,老公的妹妹穿的比我還像新娘。我一直安慰自己辫红,他們只是感情好凭涂,可當我...
    茶點故事閱讀 68,955評論 6 398
  • 文/花漫 我一把揭開白布祝辣。 她就那樣靜靜地躺著,像睡著了一般切油。 火紅的嫁衣襯著肌膚如雪蝙斜。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,549評論 1 312
  • 那天澎胡,我揣著相機與錄音孕荠,去河邊找鬼。 笑死攻谁,一個胖子當著我的面吹牛稚伍,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播戚宦,決...
    沈念sama閱讀 41,063評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼个曙,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了受楼?” 一聲冷哼從身側響起垦搬,我...
    開封第一講書人閱讀 39,991評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎艳汽,沒想到半個月后猴贰,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,522評論 1 319
  • 正文 獨居荒郊野嶺守林人離奇死亡河狐,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,604評論 3 342
  • 正文 我和宋清朗相戀三年米绕,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片馋艺。...
    茶點故事閱讀 40,742評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡栅干,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出捐祠,到底是詐尸還是另有隱情非驮,我是刑警寧澤,帶...
    沈念sama閱讀 36,413評論 5 351
  • 正文 年R本政府宣布雏赦,位于F島的核電站劫笙,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏星岗。R本人自食惡果不足惜填大,卻給世界環(huán)境...
    茶點故事閱讀 42,094評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望俏橘。 院中可真熱鬧允华,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,572評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至百炬,卻和暖如春褐隆,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背剖踊。 一陣腳步聲響...
    開封第一講書人閱讀 33,671評論 1 274
  • 我被黑心中介騙來泰國打工庶弃, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人德澈。 一個月前我還...
    沈念sama閱讀 49,159評論 3 378
  • 正文 我出身青樓歇攻,卻偏偏與公主長得像,于是被迫代替她去往敵國和親梆造。 傳聞我的和親對象是個殘疾皇子缴守,可洞房花燭夜當晚...
    茶點故事閱讀 45,747評論 2 361

推薦閱讀更多精彩內(nèi)容