在說邏輯回歸前，還是得提一提他的兄弟，線性回歸止潘。在某些地方，邏輯回歸算法和線性回歸算法是類似的矫限。但它和線性回歸最大的不同在于，邏輯回歸是作用是分類的佩抹。

還記得之前說的嗎叼风，線性回歸其實就是求出一條擬合空間中所有點的線。邏輯回歸的本質(zhì)其實也和線性回歸一樣棍苹，但它加了一個步驟无宿，邏輯回歸使用sigmoid函數(shù)轉(zhuǎn)換線性回歸的輸出以返回概率值，然后可以將概率值映射到兩個或更多個離散類枢里。

如果給出學(xué)生的成績孽鸡，比較線性回歸和邏輯回歸的不同如下：

• 線性回歸可以幫助我們以0-100的等級預(yù)測學(xué)生的測試分數(shù)。線性回歸預(yù)測是連續(xù)的（某個范圍內(nèi)的數(shù)字）栏豺。
• Logistic回歸可以幫助預(yù)測學(xué)生是否通過彬碱。邏輯回歸預(yù)測是離散的（僅允許特定值或類別）。我們還可以查看模型分類背后的概率值奥洼。

一.從回歸到分類的核心 --Sigmoid Function

之前介紹線性回歸的時候巷疼，它的函數(shù)是這樣樣子的：

h(x)=θ0 + θ1 * x1 + θ2 * x2 + θ3 * x3 ...

但這樣的函數(shù)是沒辦法進行分類的工作的，所以我們要借助一下其他函數(shù)灵奖，那就是Sigmoid Function嚼沿。

我們先來看看這個Sigmoid Function長什么樣估盘，Sigmoid Function的數(shù)學(xué)公式是這樣子的：

Sigmoid函數(shù)

如果表示在平面坐標軸上呢，那它長這個樣子骡尽。

Sigmoid函數(shù)的坐標軸

這個Sigmoid Function可以將線性的值遣妥，映射到[0-1]這個范圍中。如果映射結(jié)果小于0.5攀细，則認為是負的樣本箫踩，如果是大于0.5，則認為是正的樣本辨图。

比方說要對垃圾郵箱進行分類班套，分垃圾郵箱和正常郵箱肢藐。當(dāng)這個Sigmoid Function的計算出來后故河，小于0.5，則認為是垃圾郵箱吆豹，大于0.5則是非垃圾郵箱鱼的。

原先線性回歸的計算公式是這樣的：

線性回歸公式

那么將這個z函數(shù)代入到Sigmoid Function中，OK痘煤，現(xiàn)在我們就有了一個邏輯回歸的函數(shù)了凑阶。

邏輯回歸的公式

二.代價函數(shù)Cost Function

和線性回歸一樣，邏輯回歸也有代價函數(shù)衷快。并且都是通過最小化Cost Function來求得最終解的宙橱。

我們先來看單個點的情況，

代價函數(shù)

這個代價函數(shù)呢蘸拔，叫做交叉熵师郑，其中y(i)指的是預(yù)測的結(jié)果，而hθ(xi)指的是xi這個點原本的值调窍。

那么它具體是什么意思呢宝冕，為什么叫做交叉熵？我們舉兩個極端的例子看看就明白了：

1.xi原始值hθ=1邓萨，預(yù)測結(jié)果地梨，yi=1的情況

極端情況下的Sigmoid函數(shù)1

這個時候，代價函數(shù)的加號右邊會被消掉缔恳，因為右邊（1-y(i)）是0宝剖，左邊部分呢，因為hθ(xi)=1歉甚，故而log(1)=0万细。

y(i)log(hθ(xi)) = 1 * log(0) = 0

也就是說，若xi原始值是1铃芦，當(dāng)預(yù)測值y=1的時候雅镊，代價函數(shù)是0的襟雷。這個也比較好理解，代價函數(shù)為0就是說預(yù)測結(jié)果和原始結(jié)果完全一致的仁烹，沒有半點出差錯耸弄。

2.計算結(jié)果，yi=0卓缰，原始值hθ=0

極端情況下的Sigmoid函數(shù)2

這次的結(jié)果就和上面的反過來了计呈，因為yi=0，所以左邊部分全軍覆沒征唬，來看右邊捌显，

(1-yi) * log(1-hθ(xi)) = 1 * log(0) = 0

因為1-hθ(xi)，最終結(jié)果還是等于0总寒。

也就是說扶歪，這個損失函數(shù)，只要原始值與預(yù)測結(jié)果越相符摄闸，損失函數(shù)就越大善镰，反之，損失函數(shù)就會越小年枕。

以上說的只是一個點的情況炫欺，實際的代價函數(shù)，是要計算所有點的損失函數(shù)的均值熏兄，如下所示：

變換的損失函數(shù)

三.梯度下降

和線性回歸一樣品洛，邏輯回歸的解法也可以通過梯度下降來進行求解。梯度下降的目的摩桶，是為了最小化代價函數(shù)Cost function桥状。

要求使用梯度下降，需要先求解偏導(dǎo)數(shù)典格，以下是求導(dǎo)數(shù)的一個具體過程：

求導(dǎo)過程

而梯度下降的計算方法也和線性回歸的計算方法是一樣的岛宦。只是其中的代價函數(shù)，換成了邏輯回歸的代價函數(shù)耍缴。

image

其中砾肺，α右邊部分對應(yīng)我們上面對代價函數(shù)求偏導(dǎo)的結(jié)果。而α是用來控制訓(xùn)練速率的防嗡，這個在線性回歸那里已經(jīng)有說到变汪，這里就不再介紹了。

最終就是對θj不斷迭代蚁趁，直到損失函數(shù)降到最小裙盾，那就可以求出我們要的θ值了。

四.小結(jié)

OK，今天介紹了線性回歸和邏輯回歸的區(qū)別番官，同樣都是回歸分析庐完，邏輯回歸能完成分類任何的核心，就算使用了Sigmoid Function徘熔。

這里留一個小問題门躯，上面所述的邏輯回歸，通常是僅僅能夠進行二分類酷师，那有沒有辦法來讓邏輯回歸實現(xiàn)多分類呢讶凉？

下一次將闡述用邏輯回歸進行多分類，以及正則化相關(guān)內(nèi)容山孔，并介紹sklearn的邏輯回歸參數(shù)和用法６丁！

以上~~

推薦閱讀：
通俗得說線性回歸算法（一）線性回歸初步介紹
通俗得說線性回歸算法（二）線性回歸初步介紹
Scala 函數(shù)式編程指南（一） 函數(shù)式思想介紹
通俗地說決策樹算法（二）實例解析
大數(shù)據(jù)存儲的進化史 --從 RAID 到 Hadoop Hdfs
C台颠，java褐望，Python，這些名字背后的江湖蓉媳！