??Logistic回歸 為概率型非線性回歸模型月培，它是一個 分類算法谷暮，它可以處理二元分類以及多元分類蔑匣。雖然它名字里面有 回歸 兩個字劣欢，卻不是一個回歸算法。

1. 從線性回歸到邏輯回歸

??線性回歸的模型可簡寫為：
此時是連續(xù)的裁良，所以是回歸模型凿将。假如樣本所對應(yīng)的輸出是在指數(shù)尺度上變化，那我們可以將真實值的對數(shù)作為我們回歸模型逼近的目標价脾，即：
這就是對數(shù)線性回歸丸相，其本質(zhì)上是求解輸入空間到輸出空間的非線性函數(shù)映射，這里的對數(shù)函數(shù)只是起到了將線性回歸模型的預(yù)測值跟真實標簽聯(lián)系起來的作用彼棍。更一般性灭忠，考慮單調(diào)可微函數(shù)，令這樣得到的模型稱為廣義線性模型座硕，很顯然對數(shù)線性回歸是廣義線性模型在的特例弛作。

2. 二元邏輯回歸模型

??上面提到對線性回歸的結(jié)果做一個在函數(shù)g上的轉(zhuǎn)換，如果令的值在某個實數(shù)區(qū)間的時候是類別A华匾，在另一個實數(shù)區(qū)間的時候是類別B映琳，以此類推机隙，就得到了一個分類模型。如果結(jié)果的類別只有兩種萨西，那么就是一個二元分類模型了有鹿。邏輯回歸的出發(fā)點就是從這來的。
??這個函數(shù)在邏輯回歸中我們一般取為sigmoid函數(shù)谎脯，形式如下：

3. 二元邏輯回歸的損失函數(shù)

??線性回歸的損失函數(shù)使用 MSE 來定義損失函數(shù)息罗。但是邏輯回歸不是連續(xù)的掂咒，自然MSE就用不上了。不過我們可以用 最大似然法 來推導(dǎo)出我們的損失函數(shù)迈喉。
假設(shè)我們的樣本輸出是0或者1兩類绍刮。那么對于一個樣本有：則， 把這兩個式子寫成一個式子挨摸，就是：其中y的取值只能是0或者1孩革。
得到了的概率分布函數(shù)表達式，因為各個觀測樣本之間 相互獨立得运，那么它們的聯(lián)合分布為各邊緣分布的乘積膝蜈。得到似然函數(shù)為:
其中m為樣本的個數(shù)锅移。
我們就可以用似然函數(shù)最大化來求解我們需要的模型系數(shù)。為了方便求解饱搏，這里我們用對數(shù)似然函數(shù)最大化非剃，對數(shù)似然函數(shù)取反即為我們的損失函數(shù)。對似然函數(shù)對數(shù)化取反的表達式推沸，即損失函數(shù)表達式為：

4. 損失函數(shù)的優(yōu)化方法

??對于二元邏輯回歸的損失函數(shù)極小化备绽，有比較多的方法，最常見的有梯度下降法坤学，坐標軸下降法疯坤，牛頓法等报慕。這里推導(dǎo)出梯度下降法中??每次迭代的公式深浮。
求邏輯回歸模型f(θ)，等價于：采用梯度下降法：

中間用到了
從而迭代θ至收斂即可：其中眠冈，??為梯度下降法的步長飞苇。實踐中，我們一般不用操心優(yōu)化方法蜗顽，大部分機器學(xué)習(xí)庫都內(nèi)置了各種邏輯回歸的優(yōu)化方法布卡，不過了解至少一種優(yōu)化方法還是有必要的。

5. 二元邏輯回歸的正則化

??邏輯回歸也會面臨過擬合問題雇盖，所以我們也要考慮正則化忿等。常見的有L1正則化和L2正則化。
邏輯回歸的L1正則化的損失函數(shù)表達式相比普通的邏輯回歸損失函數(shù)崔挖，增加了L1的范數(shù)做作為懲罰贸街，超參數(shù)??作為懲罰系數(shù)，調(diào)節(jié)懲罰項的大小狸相。
二元邏輯回歸的L1正則化損失函數(shù)表達式如下：
其中||??||1為??的L1范數(shù)薛匪。
邏輯回歸的L1正則化損失函數(shù)的優(yōu)化方法常用的有坐標軸下降法和最小角回歸法。
L1正則相當(dāng)于加入拉普拉斯先驗脓鹃。
L2正則相當(dāng)于加入高斯先驗逸尖。
二元邏輯回歸的L2正則化損失函數(shù)表達式如下：
其中||??||2為??的L2范數(shù)。
邏輯回歸的L2正則化損失函數(shù)的優(yōu)化方法和普通的邏輯回歸類似瘸右。

6. 二元邏輯回歸的推廣：多元邏輯回歸

??前面幾節(jié)我們的邏輯回歸的模型和損失函數(shù)都局限于二元邏輯回歸娇跟，實際上二元邏輯回歸的模型和損失函數(shù)很容易推廣到多元邏輯回歸。比如總是認為某種類型為正值太颤，其余為0值苞俘，這種方法為最常用的one-vs-rest，簡稱OvR.
??另一種多元邏輯回歸的方法是Many-vs-Many(MvM)栋齿，它會選擇一部分類別的樣本和另一部分類別的樣本來做邏輯回歸二分類苗胀。最常用的是One-Vs-One（OvO）襟诸。OvO是MvM的特例。每次我們選擇兩類樣本來做二元邏輯回歸基协。
這里只介紹多元邏輯回歸的softmax回歸的一種特例推導(dǎo)：
首先回顧下二元邏輯回歸歌亲。

其中y只能取到0和1。則有：如果我們要推廣到多元邏輯回歸澜驮，則模型要稍微做下擴展陷揪。
我們假設(shè)是K元分類模型,即樣本輸出y的取值為1,2,...,K.

根據(jù)二元邏輯回歸的經(jīng)驗，我們有：


....

上面有K-1個方程杂穷。
加上概率之和為1的方程如下：

從而得到K個方程悍缠，里面有K個邏輯回歸的概率分布。

解出這個K元一次方程組耐量，得到K元邏輯回歸的概率分布如下：


多元邏輯回歸的損失函數(shù)推導(dǎo)以及優(yōu)化方法和二元邏輯回歸類似飞蚓。

小結(jié)：Logistic回歸尤其是二元Logistic回歸是非常常見的模型，訓(xùn)練速度很快廊蜒，雖然使用起來沒有SVM那么占主流趴拧，但是解決普通的分類問題是足夠了，訓(xùn)練速度也比起SVM要快不少山叮，適合分布式訓(xùn)練著榴，適用于離散特征。如果想要理解機器學(xué)習(xí)的所有分類算法屁倔，那么第一個應(yīng)該學(xué)習(xí)的分類算法個人覺得應(yīng)該是邏輯回歸脑又。理解了邏輯回歸，其他的分類算法再學(xué)習(xí)起來應(yīng)該沒有那么難了锐借。