分類問題(Classification):y的取值只能為某些離散的固定的值绷耍,如0蛾号,1
對(duì)于分類問題碘赖,如果用線性回歸安岂,會(huì)發(fā)現(xiàn)幾點(diǎn)問題
1.線性回歸可能會(huì)出現(xiàn)遠(yuǎn)小于可能出現(xiàn)的最小值或遠(yuǎn)大于可能出現(xiàn)的最大值
2.線性回歸可能會(huì)被個(gè)別非常特殊的點(diǎn)影響轻猖,如某個(gè)x非常大但是y等于1的孤立點(diǎn)加入,會(huì)對(duì)斜率造成相當(dāng)大的影響
所以我們對(duì)于分類問題嗜闻,采用邏輯回歸進(jìn)行擬合
邏輯回歸是通過S型函數(shù)(Sigmoid function)也叫邏輯函數(shù)(logistic function)來進(jìn)行擬合的
在線性回歸中蜕依,擬合函數(shù)是這個(gè)形式的:
而邏輯回歸的擬合函數(shù)為:
如果θ的轉(zhuǎn)置與X相乘小于0,則分母大于2,則可直接被認(rèn)為擬合值為0样眠,若大于0友瘤,則分母大于1小于2,則可以直接認(rèn)為擬合值為1檐束,非常聰明的方程
此處算出來的h(x)辫秧,實(shí)際上相當(dāng)于預(yù)測y等于1的概率
對(duì)于表達(dá)式P(y=1|x;θ)=a
意思是指,在已知的θ情況下被丧,給定x盟戏,y=1的概率為a
決策邊界(Decision Boundary):
如上面所說的,我們認(rèn)為了當(dāng)h(x)大于等于0.5時(shí)甥桂,預(yù)測值為1柿究,當(dāng)h(x)小于0.5時(shí),預(yù)測值為0黄选,對(duì)于這種判斷蝇摸,我們的決策邊界就為0.5,以0.5為界办陷,大于等于的取1貌夕,小于的取0
代價(jià)方程(Cost Function):
對(duì)于邏輯回歸,原本的代價(jià)方程顯得不是那么好用民镜,原因是按照原本的代價(jià)方程啡专,會(huì)有多個(gè)局部最小,也就是極小值制圈,所以針對(duì)邏輯回歸引入了新的代價(jià)方程:
可合并為:
梯度下降(Gradient Descent):
雖然邏輯回歸的的代價(jià)方程有所變化们童,但是針對(duì)梯度下降法中的步驟并沒有改變,同時(shí)鲸鹦,計(jì)算出的式子經(jīng)過簡化也與線性回歸的一致:
其他求θ的方法:
除了梯度下降法病附,還有其他的方法可以更快的求出θ,如 "Conjugate gradient", "BFGS", 和 "L-BFGS" 亥鬓,這些方法在Octave中已經(jīng)有提供,不必自己寫
多項(xiàng)分類問題(Multiclass Classification):
針對(duì)結(jié)果有多種可能的情況域庇,我們只需要針對(duì)每個(gè)結(jié)果每次只考慮兩種情況嵌戈,屬于這個(gè)結(jié)果,或者不屬于听皿,然后迭代即可熟呛,也稱作One-vs-all
這樣,我們有了n個(gè)假設(shè)方程尉姨,針對(duì)給出的x庵朝,我們只需給出所有假設(shè)方程中,估計(jì)概率最大的那個(gè)即可