logistic回歸

假設(shè)有m個(gè)樣本為\{(x^{(1)}, y^{(1)}), (x^{(2)},y^{(2)}),...,(x^{(i)}, y^{(i)}),...,(x^{(m)},y^{(m)})\}皇忿,其中x^{(i)}為第i個(gè)樣本的特征葡幸,y^{(i)}為第i個(gè)樣本的標(biāo)簽。
logistic regression的hypothesis為:
h_{\theta} (x^{(i)})=\frac{1}{1+{exp}^{- \theta^Tx^{(i)}}}
從上式的logistic函數(shù)可知h_{\theta}(x^{(i)})的取值在0\sim1之間朗恳,對(duì)于二分類任務(wù)而言湿颅,y^{(i)}\subset\{0,1 \},因此可以假設(shè)h_{\theta}(x^{(i)})y^{(i)}取某個(gè)值時(shí)的概率分布粥诫,即:
\begin{align} p(y^{(i)}=1|x^{(i)};\theta) &= h_{\theta}(x^{(i)})\\ p(y^{(i)}=0|x^{(i)};\theta) &= 1-h_{\theta}(x^{(i)}) \end{align}
即:
p(y^{(i)}|x^{(i)};\theta) = {h_{\theta} (x^{(i)})}^{y^{(i)}} {\bigl(1-h_{\theta}(x^{(i)})\bigr)}^{1-y^{(i)}}
m個(gè)樣本的似然函數(shù)為:
L(\theta) = \prod_{i=1}^{m}p(y^{(i)}|x^{(i)}; \theta)
對(duì)似然函數(shù)取對(duì)數(shù)可得:
\begin{align} l(\theta) &= log\bigl(L(\theta)\bigr)= \sum_{i=1}^{m}log\bigl(p(y^{(i)}|x^{(i)}\theta)\bigr)\\ &= \sum_{i=1}^{m}log\biggl({h_{\theta}(x^{(i)})}^{y^{(i)}}{\bigl(1-h_{\theta}(x^{(i)})\bigr)}^{1-y^{(i)}}\biggr)\\ &= \sum_{i=1}^{m}y^{(i)}log\bigl(h_{\theta}(x^{(i)})\bigr) + \bigl(1-y^{(i)}\bigr)log\bigl(1-h_{\theta}(x^{(i)})\bigr) \end{align}
最大化對(duì)數(shù)似然函數(shù)油航,求對(duì)數(shù)似然函數(shù)l(\theta)對(duì)\theta的導(dǎo)數(shù),即求\frac{\partial{l(\theta)}}{\partial{\theta}}怀浆。
對(duì)于一般的logistic函數(shù)g(z)=\frac{1} {1+{exp}^{-z}}對(duì)其求導(dǎo)可得:
g'(z) = g(z)\cdot\bigl(1-g(z)\bigr)
因此:
\begin{align} \frac{\partial{l(\theta)}} {\partial{\theta}} &= \sum_{i=1}^{m}y^{(i)}\frac{1}{h_{\theta}\bigl(x^{(i)}\bigr)}h_{\theta}\bigl(x^{(i)}\bigr)\biggl(1-h_{\theta}\bigl(x^{(i)}\bigr)\biggr){x^{(i)}}^T \\ &+ \sum_{i=1}^{m}\bigl(1-y^{(i)}\bigr)\frac{-1}{1-h_{\theta}(x^{(i)})}h_{\theta}\bigl(x^{(i)}\bigr)\biggl(1-h_{\theta}\bigl(x^{(i)}\bigr)\biggr){x^{(i)}}^T\\ &= \sum_{i=1}^{m} \biggl(y^{(i)}-h_{\theta}(x^{i})\biggr)\cdot{x^{(i)}}^T \end{align}
對(duì)\theta進(jìn)行梯度更新谊囚,可得:
\theta:=\theta+\alpha\cdot \sum_{i=1}^{m} \biggl(y^{(i)}-h_{\theta}(x^{i})\biggr)\cdot{{x^{(i)}}^T}
注意:因?yàn)槭亲畲蠡迫缓瘮?shù),所以使用梯度更新的時(shí)候是相加而非相減执赡。\alpha為學(xué)習(xí)率镰踏。對(duì)比一下最小二乘擬合,可以發(fā)現(xiàn)沙合,兩者的梯度更新非常相像奠伪,不同點(diǎn)在于logistic regression是要最大化似然函數(shù),所以采用了梯度上升的策略首懈,而最小二乘采用的是最小化均方誤差損失函數(shù)绊率,所以采用了梯度下降的策略進(jìn)行梯度更新。

references:
http://cs229.stanford.edu/notes/cs229-notes1.pdf

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末猜拾,一起剝皮案震驚了整個(gè)濱河市即舌,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌挎袜,老刑警劉巖顽聂,帶你破解...
    沈念sama閱讀 222,681評(píng)論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件肥惭,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡紊搪,警方通過查閱死者的電腦和手機(jī)蜜葱,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來耀石,“玉大人牵囤,你說我怎么就攤上這事≈臀埃” “怎么了揭鳞?”我有些...
    開封第一講書人閱讀 169,421評(píng)論 0 362
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)梆奈。 經(jīng)常有香客問我野崇,道長(zhǎng),這世上最難降的妖魔是什么亩钟? 我笑而不...
    開封第一講書人閱讀 60,114評(píng)論 1 300
  • 正文 為了忘掉前任乓梨,我火速辦了婚禮,結(jié)果婚禮上清酥,老公的妹妹穿的比我還像新娘扶镀。我一直安慰自己,他們只是感情好焰轻,可當(dāng)我...
    茶點(diǎn)故事閱讀 69,116評(píng)論 6 398
  • 文/花漫 我一把揭開白布臭觉。 她就那樣靜靜地躺著,像睡著了一般鹦马。 火紅的嫁衣襯著肌膚如雪胧谈。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,713評(píng)論 1 312
  • 那天荸频,我揣著相機(jī)與錄音菱肖,去河邊找鬼。 笑死旭从,一個(gè)胖子當(dāng)著我的面吹牛稳强,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播和悦,決...
    沈念sama閱讀 41,170評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼退疫,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了鸽素?” 一聲冷哼從身側(cè)響起褒繁,我...
    開封第一講書人閱讀 40,116評(píng)論 0 277
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎馍忽,沒想到半個(gè)月后棒坏,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體燕差,經(jīng)...
    沈念sama閱讀 46,651評(píng)論 1 320
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,714評(píng)論 3 342
  • 正文 我和宋清朗相戀三年坝冕,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了徒探。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,865評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡喂窟,死狀恐怖测暗,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情磨澡,我是刑警寧澤碗啄,帶...
    沈念sama閱讀 36,527評(píng)論 5 351
  • 正文 年R本政府宣布,位于F島的核電站钱贯,受9級(jí)特大地震影響挫掏,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜秩命,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,211評(píng)論 3 336
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望褒傅。 院中可真熱鬧弃锐,春花似錦、人聲如沸殿托。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽支竹。三九已至旋廷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間礼搁,已是汗流浹背饶碘。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評(píng)論 1 274
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留馒吴,地道東北人扎运。 一個(gè)月前我還...
    沈念sama閱讀 49,299評(píng)論 3 379
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像饮戳,于是被迫代替她去往敵國(guó)和親豪治。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,870評(píng)論 2 361

推薦閱讀更多精彩內(nèi)容