假設(shè)有
個(gè)樣本為%7D%2C%20y%5E%7B(1)%7D)%2C%20(x%5E%7B(2)%7D%2Cy%5E%7B(2)%7D)%2C...%2C(x%5E%7B(i)%7D%2C%20y%5E%7B(i)%7D)%2C...%2C(x%5E%7B(m)%7D%2Cy%5E%7B(m)%7D)%5C%7D)
皇忿，其中%7D)
為第
個(gè)樣本的特征葡幸，%7D)
為第個(gè)樣本的標(biāo)簽。
logistic regression的hypothesis為：
%7D)%3D%5Cfrac%7B1%7D%7B1%2B%7Bexp%7D%5E%7B-%20%5Ctheta%5ETx%5E%7B(i)%7D%7D%7D)
從上式的logistic函數(shù)可知%7D))
的取值在
之間朗恳，對(duì)于二分類任務(wù)而言湿颅，%7D%5Csubset%5C%7B0%2C1%20%5C%7D)
，因此可以假設(shè)為取某個(gè)值時(shí)的概率分布粥诫，即：
%7D%3D1%7Cx%5E%7B(i)%7D%3B%5Ctheta)%20%26%3D%20h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%5C%5C%20p(y%5E%7B(i)%7D%3D0%7Cx%5E%7B(i)%7D%3B%5Ctheta)%20%26%3D%201-h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%20%5Cend%7Balign%7D)
即：
%7D%7Cx%5E%7B(i)%7D%3B%5Ctheta)%20%3D%20%7Bh_%7B%5Ctheta%7D%20(x%5E%7B(i)%7D)%7D%5E%7By%5E%7B(i)%7D%7D%20%7B%5Cbigl(1-h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%5Cbigr)%7D%5E%7B1-y%5E%7B(i)%7D%7D)
個(gè)樣本的似然函數(shù)為：
%20%3D%20%5Cprod_%7Bi%3D1%7D%5E%7Bm%7Dp(y%5E%7B(i)%7D%7Cx%5E%7B(i)%7D%3B%20%5Ctheta))
對(duì)似然函數(shù)取對(duì)數(shù)可得：
%20%26%3D%20log%5Cbigl(L(%5Ctheta)%5Cbigr)%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7Dlog%5Cbigl(p(y%5E%7B(i)%7D%7Cx%5E%7B(i)%7D%5Ctheta)%5Cbigr)%5C%5C%20%26%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7Dlog%5Cbiggl(%7Bh_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%7D%5E%7By%5E%7B(i)%7D%7D%7B%5Cbigl(1-h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%5Cbigr)%7D%5E%7B1-y%5E%7B(i)%7D%7D%5Cbiggr)%5C%5C%20%26%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7Dy%5E%7B(i)%7Dlog%5Cbigl(h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%5Cbigr)%20%2B%20%5Cbigl(1-y%5E%7B(i)%7D%5Cbigr)log%5Cbigl(1-h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%5Cbigr)%20%5Cend%7Balign%7D)
最大化對(duì)數(shù)似然函數(shù)油航，求對(duì)數(shù)似然函數(shù))
對(duì)
的導(dǎo)數(shù)，即求%7D%7D%7B%5Cpartial%7B%5Ctheta%7D%7D)
怀浆。
對(duì)于一般的logistic函數(shù)%3D%5Cfrac%7B1%7D%20%7B1%2B%7Bexp%7D%5E%7B-z%7D%7D)
對(duì)其求導(dǎo)可得：
%20%3D%20g(z)%5Ccdot%5Cbigl(1-g(z)%5Cbigr))
因此：
%7D%7D%20%7B%5Cpartial%7B%5Ctheta%7D%7D%20%26%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7Dy%5E%7B(i)%7D%5Cfrac%7B1%7D%7Bh_%7B%5Ctheta%7D%5Cbigl(x%5E%7B(i)%7D%5Cbigr)%7Dh_%7B%5Ctheta%7D%5Cbigl(x%5E%7B(i)%7D%5Cbigr)%5Cbiggl(1-h_%7B%5Ctheta%7D%5Cbigl(x%5E%7B(i)%7D%5Cbigr)%5Cbiggr)%7Bx%5E%7B(i)%7D%7D%5ET%20%5C%5C%20%26%2B%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%5Cbigl(1-y%5E%7B(i)%7D%5Cbigr)%5Cfrac%7B-1%7D%7B1-h_%7B%5Ctheta%7D(x%5E%7B(i)%7D)%7Dh_%7B%5Ctheta%7D%5Cbigl(x%5E%7B(i)%7D%5Cbigr)%5Cbiggl(1-h_%7B%5Ctheta%7D%5Cbigl(x%5E%7B(i)%7D%5Cbigr)%5Cbiggr)%7Bx%5E%7B(i)%7D%7D%5ET%5C%5C%20%26%3D%20%5Csum_%7Bi%3D1%7D%5E%7Bm%7D%20%5Cbiggl(y%5E%7B(i)%7D-h_%7B%5Ctheta%7D(x%5E%7Bi%7D)%5Cbiggr)%5Ccdot%7Bx%5E%7B(i)%7D%7D%5ET%20%5Cend%7Balign%7D)
對(duì)進(jìn)行梯度更新谊囚，可得：
%7D-h_%7B%5Ctheta%7D(x%5E%7Bi%7D)%5Cbiggr)%5Ccdot%7B%7Bx%5E%7B(i)%7D%7D%5ET%7D)
注意：因?yàn)槭亲畲蠡迫缓瘮?shù)，所以使用梯度更新的時(shí)候是相加而非相減执赡。
為學(xué)習(xí)率镰踏。對(duì)比一下最小二乘擬合，可以發(fā)現(xiàn)沙合，兩者的梯度更新非常相像奠伪，不同點(diǎn)在于logistic regression是要最大化似然函數(shù)，所以采用了梯度上升的策略首懈，而最小二乘采用的是最小化均方誤差損失函數(shù)绊率，所以采用了梯度下降的策略進(jìn)行梯度更新。
references:
http://cs229.stanford.edu/notes/cs229-notes1.pdf
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
