邏輯回歸提出的原因：
對(duì)于分類問題侵浸，為什么不能用我們之前學(xué)習(xí)的線性回歸算法來解決呢棕孙？有以下兩點(diǎn)：?
1：不能很好地說明實(shí)際情況的真正意義?
2：函數(shù)值可能大于1或者小于0（對(duì)于二類分類0,1）
假設(shè)函數(shù)：
為了使函數(shù)值在0~1之間屋彪，假設(shè)函數(shù)h(x)從h(x) = θ’x換為 h(x) = g(θ’x) 课幕，其中g(shù)(z)=1/(1+e^-z)
由h(x)的含義可知辫狼，我們可以得到：?
P(y=1|x;θ) = h(x)：? ?即狰闪，當(dāng)P=0.7時(shí)，發(fā)生y=1的概率為70%
P(y=0|x;θ) = 1-h(x)：即表制，當(dāng)P=0.7時(shí)健爬，發(fā)生y=0的概率為70%
通常，我們假設(shè)h（x）>=0.5時(shí)（即θ’x>=0）為偏向y=1事件發(fā)生么介，h（x）<0.5時(shí)（即θ’x<0）為y=0事件發(fā)生娜遵。
代價(jià)函數(shù)：
對(duì)于線性回歸問題，代價(jià)函數(shù)如下所示：
但是若對(duì)于邏輯回歸問題（分類）同樣使用上面的代價(jià)函數(shù)的話壤短，將會(huì)發(fā)現(xiàn)J并不是一個(gè)凸函數(shù)（這里不進(jìn)行說明）设拟，函數(shù)中間會(huì)存在很多的局部最優(yōu)解，這對(duì)我們使用梯度下降算法來說不是很好久脯。所以要改變邏輯回歸問題的代價(jià)函數(shù)纳胧，如下：?
上圖所示的代價(jià)函數(shù)是通過統(tǒng)計(jì)學(xué)的最大似然估計(jì)得出的，我先不進(jìn)行解釋,也許是上面的e^-z和下面的log(z)函數(shù)相對(duì)應(yīng)了帘撰。這里我們先對(duì)上面的代價(jià)函數(shù)進(jìn)行驗(yàn)證跑慕，看它是否能夠滿足我們問題的實(shí)際要求，即預(yù)測(cè)的好代價(jià)小骡和，預(yù)測(cè)的差代價(jià)大相赁。
當(dāng)y=1時(shí)， h(x)的值越接近1慰于，代表結(jié)果為1的可能性越大钮科，預(yù)測(cè)值和實(shí)際值相符，代價(jià)函數(shù)值也越趨于0婆赠。當(dāng)h(x)越接近0時(shí)绵脯，代表預(yù)測(cè)的結(jié)果越差佳励，所以代價(jià)函數(shù)值越大，滿足要求蛆挫。
同理赃承，也滿足實(shí)際要求。
所以邏輯回歸算法的整體代價(jià)函數(shù)整合后如下圖：
梯度上升算法：
經(jīng)過計(jì)算偏導(dǎo)數(shù)項(xiàng)悴侵，邏輯回歸梯度下降具體計(jì)算過程如下：
你會(huì)驚訝的發(fā)現(xiàn)瞧剖，現(xiàn)在邏輯回歸的迭代計(jì)算過程和線性回歸的一模一樣！(可能是數(shù)學(xué)家的總結(jié))可免，不過它們的h(x)的表達(dá)式改變了抓于。
多元分類算法：
對(duì)于上圖問題，我們先將三角形看為1類浇借，其他的看為0類捉撮，這就變成了我們熟悉的二類問題了，通過擬合樣本訓(xùn)練得到h1(x)妇垢，可以計(jì)算出新的樣本為三角形這一類的概率巾遭。對(duì)于矩形和叉同理，訓(xùn)練出的h2(x)闯估，h3(x)分別表示新的樣本為矩形或叉這一類的概率灼舍。最后比較三個(gè)函數(shù)值的大小，將新樣本歸為最大值的那一類睬愤。
如上圖所示片仿，現(xiàn)在有多分類問題（三角形，矩形尤辱，叉）。我們知道一個(gè)邏輯回歸函數(shù)只能將樣本分為不同的兩類0和1厢岂，并且h(x)的值表示樣本為1的概率」舛剑現(xiàn)在對(duì)于多類問題，我們的處理是用不同的預(yù)測(cè)函數(shù)hi(x)計(jì)算出新的樣本屬于每一類的概率塔粒，最后選定概率最大的類结借。
