之前整理過一篇關(guān)于邏輯回歸的帖子第美，但是只是簡單介紹了一下了LR的基本思想增显，面試的時(shí)候基本用不上易稠，那么這篇帖子就深入理解一下LR的一些知識(shí)，希望能夠?qū)γ嬖囉幸欢ǖ膸椭?/p>

1吟秩、邏輯斯諦分布

介紹邏輯斯諦回歸模型之前，首先看一個(gè)并不常見的概率分布绽淘，即邏輯斯諦分布涵防。設(shè)X是連續(xù)隨機(jī)變量，X服從邏輯斯諦分布是指X具有如下的累積分布函數(shù)和概率密度函數(shù)：

式中沪铭，μ為位置參數(shù)壮池，γ>0為形狀參數(shù)。邏輯斯諦的分布的密度函數(shù)f(x)和分布函數(shù)F(x)的圖形如下圖所示杀怠。其中分布函數(shù)屬于邏輯斯諦函數(shù)椰憋，其圖形為一條S形曲線。該曲線以點(diǎn)(μ,1／2)

為中心對(duì)稱赔退，即滿足：

曲線在中心附近增長較快橙依，在兩端增長較慢，形狀參數(shù)γ的值越小硕旗，曲線在中心附近增長得越快窗骑。

2、邏輯斯諦回歸模型：

線性回歸的應(yīng)用場(chǎng)合大多是回歸分析漆枚，一般不用在分類問題上创译，原因可以概括為以下兩個(gè)：

1）回歸模型是連續(xù)型模型，即預(yù)測(cè)出的值都是連續(xù)值（實(shí)數(shù)值）墙基，非離散值软族；

2）預(yù)測(cè)結(jié)果受樣本噪聲的影響比較大。

2.1 LR模型表達(dá)式

LR模型的表達(dá)式為參數(shù)化的邏輯斯諦函數(shù)残制，即：

2.2 理解LR模型

2.2.1 對(duì)數(shù)幾率

一個(gè)事件發(fā)生的幾率(odds)是指該事件發(fā)生的概率與該事件不發(fā)生的概率的比值立砸。如果事件發(fā)生的概率是p，那么該事件的幾率為p／(1-p) ,該事件的對(duì)數(shù)幾率（log odds）或logit函數(shù)是：

對(duì)LR而言痘拆，根據(jù)模型表達(dá)式可以得到：

即在LR模型中仰禽，輸出y=1的對(duì)數(shù)幾率是輸入x的線性函數(shù)，或者說y=1的對(duì)數(shù)幾率是由輸入x的線性函數(shù)表示的模型纺蛆，即LR模型吐葵。

2.2.2 函數(shù)映射

除了從對(duì)數(shù)幾率的角度理解LR之外，從函數(shù)映射也可以理解LR模型桥氏。

考慮對(duì)輸入實(shí)例x進(jìn)行分類的線性表達(dá)式θT温峭，其值域?yàn)閷?shí)數(shù)域，通過LR模型的表達(dá)式可以將線性函數(shù)θTx的結(jié)果映射到(0,1)區(qū)間字支，取值表示為結(jié)果為1的概率(在二分類場(chǎng)景中).

線性函數(shù)的值越接近于正無窮大凤藏，概率值就越近1奸忽；反之，其值越接近于負(fù)無窮揖庄，概率值就越接近于0栗菜，這樣的模型就是LR模型。

LR本質(zhì)上還是線性回歸蹄梢，只是特征到結(jié)果的映射過程中加了一層函數(shù)映射疙筹，即sigmoid函數(shù)，即先把特征線性求和禁炒，然后使用sigmoid函數(shù)將線性和約束至(0,1)之間而咆，結(jié)果值用語二分或回歸預(yù)測(cè)。

2.2.3 概率解釋

LR模型多用于解決二分類問題幕袱，如廣告是否被點(diǎn)擊(是／否)暴备，商品是否被購買(是／否)等互聯(lián)網(wǎng)領(lǐng)域中常見的應(yīng)用場(chǎng)景。但在實(shí)際場(chǎng)景中们豌，我們又不把它處理成絕對(duì)的分類涯捻，而是用其預(yù)測(cè)值作為事件發(fā)生的概率。

這里從事件玛痊，變量以及結(jié)果的角度給予解釋汰瘫。

我們所能拿到的訓(xùn)練數(shù)據(jù)統(tǒng)稱為觀測(cè)樣本。問題擂煞，樣本是如何生成的混弥？

一個(gè)樣本可以理解為發(fā)生的一次事件，樣本生成的過程即事件發(fā)生的過程对省，對(duì)于0/1分類問題來講左刽，產(chǎn)生的結(jié)果有兩種可能落午，符合伯努利試驗(yàn)的概率假設(shè)碴里。因此缺脉，我們可以說樣本的生成過程即為伯努利試驗(yàn)過程，產(chǎn)生的結(jié)果(0/1)服從伯努利分布劳秋，那么對(duì)于第i個(gè)樣本仓手，概率公式表示如下：

將上面兩個(gè)公式合并在一起，可以得到第i個(gè)樣本正確預(yù)測(cè)的概率：

上式是對(duì)一個(gè)樣本進(jìn)行建模的數(shù)據(jù)表達(dá)玻淑。為什么可以這么做呢嗽冒，因?yàn)閥=1時(shí)后面一項(xiàng)為1，y=0時(shí)前面一項(xiàng)為1补履。那么對(duì)于所有的樣本添坊，假設(shè)每條樣本生成過程獨(dú)立，在整個(gè)樣本空間中（N個(gè)樣本）的概率分布（即似然函數(shù)）為：

接下來我們就可以通過極大似然估計(jì)方法求概率參數(shù)箫锤。

3贬蛙、模型參數(shù)估計(jì)

3.1 Sigmoid函數(shù)

上圖所示即為sigmoid函數(shù)雨女，它的輸入范圍為?∞→+∞，而值域剛好為(0,1)阳准，正好滿足概率分布為(0,1)的要求氛堕。用概率去描述分類器，自然要比閾值要來的方便溺职。而且它是一個(gè)單調(diào)上升的函數(shù)岔擂，具有良好的連續(xù)性，不存在不連續(xù)點(diǎn)浪耘。

此外非常重要的，sigmoid函數(shù)求導(dǎo)后為：

3.2 參數(shù)估計(jì)推導(dǎo)

上一節(jié)的公式不僅可以理解為在已觀測(cè)的樣本空間中的概率分布表達(dá)式塑崖。如果從統(tǒng)計(jì)學(xué)的角度可以理解為參數(shù)θ

θ

似然性的函數(shù)表達(dá)式（即似然函數(shù)表達(dá)式）七冲。就是利用已知的樣本分布，找到最有可能（即最大概率）導(dǎo)致這種分布的參數(shù)值规婆；或者說什么樣的參數(shù)才能使我們觀測(cè)到目前這組數(shù)據(jù)的概率最大澜躺。參數(shù)在整個(gè)樣本空間的似然函數(shù)可表示為：

為了方便參數(shù)求解，對(duì)這個(gè)公式取對(duì)數(shù)抒蚜，可得對(duì)數(shù)似然函數(shù)：

然后掘鄙，我們使用隨機(jī)梯度下降的方法，對(duì)參數(shù)進(jìn)行更新：

最后嗡髓，通過掃描樣本操漠，迭代下述公式可救的參數(shù)：

式中，a表示學(xué)習(xí)率饿这。

以上的推導(dǎo)浊伙，就是LR模型的核心部分，在機(jī)器學(xué)習(xí)相關(guān)的面試中长捧，LR模型公式推導(dǎo)可能是考察頻次最高的一個(gè)點(diǎn)嚣鄙，要將其熟練掌握。

4串结、LR的優(yōu)缺點(diǎn)

優(yōu)點(diǎn)

一哑子、預(yù)測(cè)結(jié)果是界于0和1之間的概率；

二肌割、可以適用于連續(xù)性和類別性自變量卧蜓；

三、容易使用和解釋声功；

缺點(diǎn)

一烦却、對(duì)模型中自變量多重共線性較為敏感，例如兩個(gè)高度相關(guān)自變量同時(shí)放入模型先巴，可能導(dǎo)致較弱的一個(gè)自變量回歸符號(hào)不符合預(yù)期其爵，符號(hào)被扭轉(zhuǎn)冒冬。?需要利用因子分析或者變量聚類分析等手段來選擇代表性的自變量，以減少候選變量之間的相關(guān)性摩渺；

二简烤、預(yù)測(cè)結(jié)果呈“S”型，因此從log(odds)向概率轉(zhuǎn)化的過程是非線性的摇幻，在兩端隨著?log(odds)值的變化横侦，概率變化很小，邊際值太小绰姻，slope太小枉侧，而中間概率的變化很大，很敏感狂芋。 導(dǎo)致很多區(qū)間的變量變化對(duì)目標(biāo)概率的影響沒有區(qū)分度榨馁，無法確定閥值。

5帜矾、LR和SVM

1翼虫、LR采用log損失，SVM采用合頁損失屡萤。

2珍剑、LR對(duì)異常值敏感，SVM對(duì)異常值不敏感死陆。

3招拙、在訓(xùn)練集較小時(shí)，SVM較適用翔曲，而LR需要較多的樣本迫像。

4、LR模型找到的那個(gè)超平面瞳遍，是盡量讓所有點(diǎn)都遠(yuǎn)離他闻妓，而SVM尋找的那個(gè)超平面，是只讓最靠近中間分割線的那些點(diǎn)盡量遠(yuǎn)離掠械，即只用到那些支持向量的樣本由缆。

5、對(duì)非線性問題的處理方式不同猾蒂，LR主要靠特征構(gòu)造均唉，必須組合交叉特征，特征離散化肚菠。SVM也可以這樣舔箭，還可以通過kernel。

6、svm 更多的屬于非參數(shù)模型层扶，而logistic regression 是參數(shù)模型箫章，本質(zhì)不同。其區(qū)別就可以參考參數(shù)模型和非參模型的區(qū)別

那怎么根據(jù)特征數(shù)量和樣本量來選擇SVM和LR模型呢镜会？Andrew NG的課程中給出了以下建議：

如果Feature的數(shù)量很大檬寂，跟樣本數(shù)量差不多，這時(shí)候選用LR或者是Linear Kernel的SVM

如果Feature的數(shù)量比較小戳表，樣本數(shù)量一般桶至，不算大也不算小，選用SVM+Gaussian Kernel

如果Feature的數(shù)量比較小匾旭，而樣本數(shù)量很多镣屹，需要手工添加一些feature變成第一種情況。(LR和不帶核函數(shù)的SVM比較類似价涝。)

參考文獻(xiàn)：https://plushunter.github.io/2017/01/12/機(jī)器學(xué)習(xí)算法系列（3）：邏輯斯諦回歸/

作者：石曉文的學(xué)習(xí)日記

鏈接：http://www.reibang.com/p/e8dca5613da6

來源：簡書

簡書著作權(quán)歸作者所有野瘦，任何形式的轉(zhuǎn)載都請(qǐng)聯(lián)系作者獲得授權(quán)并注明出處。