邏輯回歸的代價(jià)函數(shù)
如上圖央碟，對(duì)于二分類邏輯回歸，即有m個(gè)樣本均函，每個(gè)樣本的特征X有n+1個(gè)（Xo=1）亿虽，分類變量Y屬于0或1菱涤，然后使用這些數(shù)據(jù)集來(lái)確定假設(shè)函數(shù)的參數(shù)θ。
之前所說(shuō)的線性回歸的代價(jià)函數(shù)如下所示：
如下圖洛勉，當(dāng)我們用Cost(hθ(X),Y)來(lái)表示平方和之后粘秆，
邏輯回歸的代價(jià)函數(shù)就成了：
因?yàn)檫壿嫽貧w的假設(shè)函數(shù)為Sigmoid函數(shù)：
使得J(θ)不再像像線性回歸中是凸函數(shù)（下圖右），而是成了非凸函數(shù)（下圖左）收毫，會(huì)有許多個(gè)局部最小值攻走，從而使得使用梯度下降法尋找全局最小值來(lái)確定參數(shù)θ較為困難。
因此此再，我們定義邏輯回歸中要付的懲罰或代價(jià)為：
Cost(hθ(X),Y)與hθ(X)的關(guān)系如下圖所示：
當(dāng)數(shù)據(jù)集中實(shí)際Y=1時(shí)昔搂，倘若hθ(X)的值也為1，則Cost代價(jià)為0输拇，但Y=1而hθ(X)不為1時(shí)巩趁，Cost代價(jià)隨hθ(X)的減小而逐漸增大。當(dāng)數(shù)據(jù)集中實(shí)際Y=0時(shí)淳附，倘若hθ(X)的值也為0议慰，則Cost代價(jià)為0，但Y=0而hθ(X)不為0時(shí)奴曙，Cost代價(jià)隨hθ(X)的增大而逐漸增大别凹。
構(gòu)建的Cost(hθ(X),Y)簡(jiǎn)化如下:
將其帶入到代價(jià)函數(shù)J(θ)得到：
然后擬合確定參數(shù)θ：
如上圖所示，對(duì)于新的樣本x進(jìn)行預(yù)測(cè)洽糟，得到的hθ(X)是y=1的概率炉菲。
使用梯度下降法來(lái)最小化代價(jià)函數(shù)。代價(jià)函數(shù)為：
梯度下降的算法為：
對(duì)于每一個(gè)樣本同時(shí)更新所有的θ（用它自己減去學(xué)習(xí)率乘以后面的微分項(xiàng)）坤溃，求導(dǎo)后得到：
當(dāng)使用梯度下降法來(lái)實(shí)現(xiàn)邏輯回歸時(shí)拍霜，對(duì)于所有的θ進(jìn)行更新，提倡使用向量化的實(shí)現(xiàn)薪介，而不是編寫for循環(huán)祠饺。
此外，如果特征范圍差距很大汁政，同樣需要進(jìn)行特征縮放道偷，這樣可以讓梯度下降更快收斂。
微信公眾號(hào)：BioLearner
定期更新记劈，歡迎關(guān)注
