什么是邏輯回歸
邏輯回歸用于分類問題咐吼。在分類問題中簸呈，我們嘗試預(yù)測(cè)目前觀測(cè)目標(biāo)屬于哪一類御铃，它會(huì)產(chǎn)生一個(gè)離散的二元結(jié)果y∈{0,1}蒿涎。而線性回歸模型產(chǎn)生的預(yù)測(cè)值為z=θTx是實(shí)數(shù)值穿撮，于是我們引入一個(gè)新的模型缺脉，使輸出變量z的值到始終在0和1之間，于是便找到了Sigmoid function悦穿。
Sigmoid function的圖像是一條值在0-1之間的S形曲線攻礼，如圖：
Sigmoid function
通常，我們把Sigmoid fuction計(jì)算得到的值大于等于0.5的歸為類別1栗柒，小于0.5的歸為類別0礁扮。從Sigmoid function圖像可以看出，當(dāng)z≥0時(shí)，g(z)≥0.5;當(dāng)z<0時(shí)太伊，g(z)<0.5雇锡。
合起來，我們得到邏輯回歸模型的假設(shè)：
邏輯回歸的代價(jià)函數(shù)
我們第一個(gè)想到的自然是模仿線性回歸的做法，利用誤差平方和來當(dāng)代價(jià)函數(shù)：
那么我們不妨來?yè)Q一個(gè)思路解決這個(gè)問題惹苗。前面說到殿较，我們可以將hθ(x)視為y=1的后驗(yàn)概率估計(jì)，所以可以得到：
P(y=1|x;θ) = hθ(x) = g(θTx) = g(z)
P(y=0|x;θ) = 1- g(z)
將這兩式寫成一般形式：P(y|x;θ) = g(z)y(1- g(z))(1-y)
接下來我們就要用極大似然估計(jì)來根據(jù)給定的訓(xùn)練集估計(jì)出參數(shù)θ桩蓉。
J(g(z),y; θ)=? (y ln(g(z)) + (1?y) ln (1?g(z)))
也就是說：
代價(jià)函數(shù)圖像為：
利用梯度下降法求參數(shù)
在得到這樣一個(gè)代價(jià)函數(shù)以后眉撵，我們便可以用梯度下降算法來求得能使代價(jià)函數(shù)最小的參數(shù)了侦香。算法為：
Sigmoid function有一個(gè)性質(zhì)：g'(z)=g(z)*(1-g(z))落塑，在梯度下降過程中會(huì)用到。
所以鄙皇，在使用梯度下降法更新權(quán)重時(shí)
