邏輯回歸自問(wèn)自答

邏輯回歸作為最基礎(chǔ)艇搀、最簡(jiǎn)單的模型缴挖，在工業(yè)界應(yīng)用非常廣泛繁成。LR本身具有極強(qiáng)的魯棒性和非常簡(jiǎn)單的計(jì)算方式，以至于我們不需要了解很多“為什么”就可以得到一個(gè)不錯(cuò)的結(jié)果己儒。
本著什么都略懂一些崎岂，生活更精彩一點(diǎn)的原則，大概用幾個(gè)Q&A的形式（這也是從最近看的《百面機(jī)器學(xué)習(xí)》里面學(xué)來(lái)的）來(lái)記錄一些關(guān)于LR的小知識(shí)址愿。

1. “邏輯回歸”為什么要叫回歸该镣？

1.1 歷史問(wèn)題

邏輯回歸是個(gè)分類(lèi)模型，之所以叫這個(gè)名字是因?yàn)樽钤缣岢鯨R是在一篇叫《xxxx回歸分析》的文章里，后面就沿用了這個(gè)名字损合。

1.2 “回歸”概率

這個(gè)解釋往往不是那么令人性福省艳，那么下面這個(gè)說(shuō)法會(huì)更好一些，如果我們把一個(gè)分類(lèi)問(wèn)題嫁审，看作是對(duì)一次實(shí)驗(yàn)出現(xiàn)“1”概率 $p$ 的預(yù)估問(wèn)題跋炕，用一個(gè)什么函數(shù)去擬合這個(gè) $p$ ，也就是 $f(x)=p$ （事實(shí)上律适，分類(lèi)問(wèn)題一般也都是這么做的）辐烂，那我們的問(wèn)題其實(shí)也就變成了“回歸一個(gè)函數(shù) $f(x)$ ”。

1.3 LR的由來(lái)

所以LR是這樣設(shè)計(jì)的捂贿，訓(xùn)練一個(gè)函數(shù)纠修，來(lái)擬合“出現(xiàn)1的概率” $p$ 。在普通問(wèn)題中我們會(huì)考慮回歸目標(biāo)的值域厂僧，然后選擇一個(gè)合適的激活函數(shù)作為上面的 $f(·)$ 扣草，但是站在設(shè)計(jì)LR的歷史角度上來(lái)說(shuō)，可能還沒(méi)有激活函數(shù)的概念颜屠。那就選最簡(jiǎn)單的線性函數(shù)：
??????? $f(x)=wx+b$
直接擬合 $p$ 是不現(xiàn)實(shí)的辰妙，這時(shí)候就需要把 $p$ 做個(gè)映射，變成一個(gè)值域和 $f(x)$ 匹配的值甫窟，也即 $g(p) \in (-\infty, \infty); p \in [0, 1]$ 密浑。反正，找到一個(gè)：
??????? $g(p)=log{\frac p {1-p}}$
概率學(xué)上將 $\frac p {1-p}$ 稱(chēng)為出現(xiàn)1的“幾率”粗井， $log{\frac p {1-p}}$ 叫做“對(duì)數(shù)幾率”尔破，用 $f(x)$ 去擬合 $g(p)$ 則有：
??????? $wx+b=log{\frac p {1-p}}$
做個(gè)簡(jiǎn)單的變換，把 $p$ 放到等號(hào)一邊浇衬，變成一個(gè)end2end的標(biāo)準(zhǔn)問(wèn)題：
??????? $p = \frac 1 {1+e^{-wx-b}}$
其實(shí) $p$ 也就是我們的學(xué)習(xí)目標(biāo) $y$ 呆瞻，寫(xiě)成這樣是不是就很眼熟。
所以對(duì)于邏輯回歸径玖，一言以蔽之就是：

邏輯回歸是對(duì)實(shí)驗(yàn)成功對(duì)數(shù)幾率的線性擬合

2. LR的損失函數(shù)是啥痴脾？

2.1 損失函數(shù)推導(dǎo)

按照上述的理論，LR直接輸出的就是一個(gè)概率值梳星，很自然的赞赖，對(duì)于樣本 $\{x_i\}$ （也就是所謂的訓(xùn)練集）可以做最大似然做參數(shù)的估計(jì)
??????? $L(x)=\prod^n_{i=0}p_i$
注意到， $p$ 表達(dá)的是 $y=1$ 的概率冤灾，那么對(duì)于 $y=0$ 的樣本前域，需要寫(xiě)成 $1-p$ ，所以最大似然估計(jì)寫(xiě)成的loss應(yīng)該是
??????? $L(x)=\prod^n_{i=0}(p_i)^{y_i}(1-p_i)^{1-y_i}$
進(jìn)一步韵吨，取個(gè)對(duì)數(shù)
???? $L(x)=\sum^n_{i=0}{y_i} log\frac 1 {1+e^{-wx_i-b}}+ {(1-y_i)}log \frac {e^{-wx_i-b}} {1+e^{-wx_i-b}}$

2.2 收斂性

關(guān)于損失函數(shù)的最大似然推導(dǎo)顯得非常順暢匿垄，但是經(jīng)驗(yàn)告訴我們，損失函數(shù)并不是寫(xiě)出來(lái)就可以的，loss最大的作用是在于利用梯度來(lái)尋優(yōu)椿疗，最終完成模型參數(shù)的訓(xùn)練漏峰。因此，一個(gè)loss能否求得最優(yōu)解就最需要考慮的問(wèn)題届榄。
不出意外地浅乔，書(shū)上都會(huì)告訴我們，這個(gè)loss（也就是分類(lèi)問(wèn)題中的交叉熵?fù)p失）铝条，是滿(mǎn)足KKT條件的靖苇，也就是說(shuō)整個(gè)求解問(wèn)題是個(gè)凸問(wèn)題，進(jìn)而告訴我們有全局最優(yōu)解班缰。相應(yīng)的基于最小二乘的MSE在這個(gè)問(wèn)題上贤壁，是不滿(mǎn)足KKT條件的，所以這個(gè)最自然的結(jié)果也就是最好的結(jié)果——這往往是符合體感的埠忘，人類(lèi)勞動(dòng)中總結(jié)出來(lái)的經(jīng)驗(yàn)總是被科學(xué)證實(shí)芯砸，但仍然對(duì)所謂的KKT條件認(rèn)識(shí)不是很清晰，下面我們可以用一種比較土的方式感受一下凸命題给梅。基于交叉熵和均方誤差的loss都寫(xiě)在下面：

$\begin{align*} L_1(x)&=\sum^n_{i=0}{y_i} \frac 1 {1+e^{-wx_i-b}}+ {(1-y_i)} \frac {e^{-wx_i-b}} {1+e^{-wx_i-b}} \\ \end{align*}$

$\begin{align*} L_2(x)&=\sum^n_{i=0}({y_i} - \frac 1 {1+e^{-wx_i-b}})^2+ ({(1-y_i)} \frac {e^{-wx_i-b}} {1+e^{-wx_i-b}}) ^2 \\ \end{align*}$

話不多說(shuō)双揪，對(duì)loss求導(dǎo)动羽，公式里面全是sigmoid函數(shù)，因此可以先把sigmoid函數(shù)的導(dǎo)數(shù)寫(xiě)出來(lái)渔期，后面會(huì)簡(jiǎn)潔一些

$sigmoid(x)=\frac 1 {1+e^{-wx-b}}$
$\frac {\partial sigmoid(x)} {\partial x}=w(sigmoid(x)-sigmoid(x)^2)$
$\frac {\partial log(sigmoid(x))} {\partial x} =w(1-sigmoid(x))$

好了下面開(kāi)始求導(dǎo)运吓，這里把sigmoid函數(shù)稱(chēng)為 $s(wx)$
對(duì)于交叉熵?fù)p失，有：

$\begin{align*} \frac {\partial L_1(x)} {\partial x} &= \sum _{i=1} ^n[wy_i(1-s(wx))-w(1-y_i)s(wx)]\\ &= \sum _{i=1} ^nw[y_i-s(wx)] \end{align*}$
$\begin{align*} \frac {\partial^2 L_1(x)} {\partial^2 x} &= \sum _{i=1} ^n-w*s(wx)'\\ &=-w^2 \sum _{i=1} ^n [s(wx)-s^2(wx)] \\ &<0 \end{align*}$

而對(duì)于平均平方損失有：

$\begin{align*} \frac {\partial L_2(x)} {\partial x} &= \sum _{i=1} ^n2[y_i-s(wx)]*s(wx)'\\ &=\sum _{i=1} ^n2w[y_i-s(wx)]*[s(wx)-s^2(wx)]\\ &=\sum _{i=1} ^n2w*s(wx)*[y_i-s(wx)]*[1-s(wx)]\\ \end{align*}$
$\begin{align*} \frac {\partial^2 L_2(x)} {\partial^2 x} &=\sum _{i=1} ^n2w*s(wx)'*[y_i-s(wx)]*[1-s(wx)] \\ & ~~ ~~ ~~+2w*s(wx)*[y_i-s(wx)]*[1-s(wx)'] \\ & ~~ ~~ ~~+2w*s(wx)*[y_i-s(wx)']*[1-s(wx)]\\ &=\sum _{i=1} ^n2w^2*[s-s^2]*[y_i-s]*[1-s] \\ & ~~ ~~ ~~~+2w*s*[y_i-s]*[1-ws+ws^2] \\ & ~~ ~~ ~~~+2w*s*[y_i-ws+ws^2]*[1-s]\\ \end{align*}$

用二階導(dǎo)數(shù)來(lái)理解疯趟，交叉熵的二階導(dǎo)數(shù)符號(hào)確定拘哨，因此是個(gè)凸的;
用MSE求出來(lái)的導(dǎo)數(shù)符號(hào)不確定浪默，存在多個(gè)極值點(diǎn)类少，所以非凸。

2.3 MSE vs. CrossEntropy

交叉熵在分類(lèi)中是一個(gè)非常好用的損失芜茵，同時(shí)MSE又是一個(gè)哪里都能用的萬(wàn)金油損失盹舞，在工具非常發(fā)達(dá)的情況下尤其是tf/torch這種傻瓜式框架的普及产镐，loss的選擇有時(shí)候就成了一種超參數(shù)，并行跑個(gè)實(shí)驗(yàn)靠數(shù)據(jù)說(shuō)話即可踢步。
但損失函數(shù)具體表現(xiàn)區(qū)別的原因究竟是為什么癣亚，我們從梯度反向傳播的角度來(lái)說(shuō)一說(shuō)——說(shuō)白了，還是求導(dǎo)获印。假設(shè)輸出（在nn里也就是激活函數(shù)）還是一個(gè)sigmoid述雾，寫(xiě)成這樣 $y=\sigma(x)=\frac 1 {1+ e^{-wx-b}}$
在一次backpropagation中，得到對(duì)參數(shù) $w$ 和 $b$ 的梯度（也就是偏導(dǎo)）如下：

$\begin{align*} \frac {\partial y} {\partial w}&=\sum^n_{i=0}{y_i} * x(1-s(wx))- {(1-y_i)} *x*s(wx)) \\ &=\sum^n_{i=0}{y_i} * x- x*s(wx) \\ &=\sum^n_{i=0}x*[y_i-s(wx)] \end{align*}$

$\begin{align*} \frac {\partial y} {\partial b}&=\sum^n_{i=0}{y_i} * (1-s(wx))- {(1-y_i)} *s(wx)\\ &=\sum^n_{i=0} [yi-s(wx)] \end{align*}$

bias的偏導(dǎo)直接跟誤差線性相關(guān)了

但是MSE的偏導(dǎo)是這樣的

$\begin{align*}y &= L_2(x)\\ &=\sum^n_{i=0}({y_i} - \frac 1 {1+e^{-wx_i-b}})^2 \end{align*}$
$\begin{align*} \frac {\partial y} {\partial w} &= \sum^n_{i=0}2x({y_i} - s(wx))*(s(wx)-s(wx)^2)\\ \end{align*}$
$\begin{align*} \frac {\partial y} {\partial b}=\sum^n_{i=0}2({y_i} - s(wx))*(s(wx)-s(wx)^2) \end{align*}$

注意到， $s(wx)$ 是很容易飽和的玻孟，也就是說(shuō)上述的 $s(wx)'=s(wx)-s(wx)^2$ 非常容易為0唆缴，這個(gè)時(shí)候，反向傳播的梯度就消失了取募。

所以琐谤，通常會(huì)有這種結(jié)論，如果sigmoid激活的分類(lèi)問(wèn)題玩敏，一般用交叉熵的效率會(huì)比MSE高斗忌。

2.4 MSE是怎么來(lái)的？

在損失函數(shù)領(lǐng)域旺聚，最小二乘和極大似然可以說(shuō)是各領(lǐng)半壁江山织阳。

極大似然很好理解，就是把每個(gè)樣本當(dāng)成是獨(dú)立事件砰粹，計(jì)算各個(gè)樣本的聯(lián)合概率唧躲，通過(guò)優(yōu)化概率訓(xùn)練參數(shù)。
最小二乘看起來(lái)也很好理解碱璃，直接把樣本的誤差求導(dǎo)弄痹，但是由于 $L1$ 范數(shù)在原點(diǎn)不可導(dǎo)，所以變成了可導(dǎo)的二次函數(shù) $L2=\frac 1 n \sum(y_i-\hat y_i)^2$ 嵌器。

那對(duì)于最小二乘肛真，有沒(méi)有其他的解釋呢，其實(shí)是有的：最小二乘其實(shí)仍然是基于極大似然的推導(dǎo)爽航。
對(duì)于一個(gè)學(xué)習(xí)任務(wù)蚓让， $y(i) = \hat y(i) + \epsilon(i)$ ，我們認(rèn)為 $\hat y(i)$ 是對(duì)真實(shí)值的擬合/估計(jì)讥珍， $\epsilon(i)$ 為誤差历极。最小二乘一個(gè)基礎(chǔ)的假設(shè)是誤差符合均值為0的正態(tài)分布，也就是說(shuō):

$\begin{align*} \epsilon(i) \sim N(0, \sigma^2) &= \frac 1 {\sqrt {2\pi}\sigma} e^{-\frac {\epsilon(i)^2} {2\sigma^2}}\\ &= \frac 1 {\sqrt {2\pi}\sigma} e^{-\frac {(y_i-\hat y_i)^2} {2\sigma^2}} \end{align*}$

根據(jù)誤差 $\epsilon(i)$ 的概率密度函數(shù)衷佃，也可以構(gòu)造一個(gè)極大似然函數(shù)

$\begin{align*} L(x)&=\prod^n_{i=0}\epsilon(i)\\ &= \prod^n_{i=0} \frac 1 {\sqrt {2\pi}\sigma} e^{-\frac {\epsilon(i)^2} {2\sigma^2}}\\ &=\prod^n_{i=0} \frac 1 {\sqrt {2\pi}\sigma} e^{-\frac {(y_i-\hat y_i)^2} {2\sigma^2}} \\ &=(\frac 1 {\sqrt {2\pi}\sigma})^n\prod^n_{i=0} e^{-\frac {(y_i-\hat y_i)^2} {2\sigma^2}} \\ &=(\frac 1 {\sqrt {2\pi}\sigma})^n e^{-\frac 1 {2\sigma^2}\sum^n_{i=0}{ {(y_i-\hat y_i)^2} }} \end{align*}$

注意到
$\sum^n_{i=0} {(y_i-\hat y_i)^2} = n*L2(x)$
其極大似然寫(xiě)成：
$\begin{align*} L(x) &= (\frac 1 {\sqrt {2\pi}\sigma})^n e^{-\frac 1 {2\sigma^2}\sum^n_{i=0}{{(y_i-\hat y_i)^2}}} \\ &=(\frac 1 {\sqrt {2\pi}\sigma})^n e^{-\frac n {2\sigma^2} L2(x)} \end{align*}$

$L(x)$ 關(guān)于 $L2(x)$ 是單調(diào)的趟卸，優(yōu)化 $L(x)$ 跟 $L2(x)$ 的結(jié)果是一樣的——至此，得到了最小二乘從最大似然的推導(dǎo)氏义。

小結(jié)

以上是一點(diǎn)關(guān)于LR最基礎(chǔ)用法的來(lái)由和相關(guān)的一點(diǎn)分析衰腌，換成神經(jīng)網(wǎng)絡(luò)里面的術(shù)語(yǔ)，無(wú)外乎“激活函數(shù)”和“損失函數(shù)”觅赊。
內(nèi)容不多右蕊，但是里面很多東西也是理解了很長(zhǎng)時(shí)間才想明白個(gè)大概，包括在寫(xiě)這些公式的過(guò)程中吮螺，也會(huì)陷入一些自己都不知道怎么解釋的窘境饶囚，也是翻閱了不少材料帕翻，其中大神劉建平Pinard的博客真的是獲益匪淺，深入淺出言簡(jiǎn)意賅萝风，每一篇都值得讀一讀嘀掸。
關(guān)于LR還有很多有意思的應(yīng)用，也正是這些工業(yè)化的改造才使得這么一個(gè)簡(jiǎn)單的函數(shù)在這個(gè)深度學(xué)習(xí)滿(mǎn)天飛的年代依然是某些大公司的首選规惰，留著日后再說(shuō)睬塌。

最后編輯于：2019.05.06 11:02:48

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市歇万，隨后出現(xiàn)的幾起案子揩晴，更是在濱河造成了極大的恐慌，老刑警劉巖贪磺，帶你破解...
沈念sama閱讀 218,204評(píng)論 6贊 506
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件硫兰，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡寒锚，警方通過(guò)查閱死者的電腦和手機(jī)劫映，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,091評(píng)論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)刹前，“玉大人泳赋，你說(shuō)我怎么就攤上這事±恚” “怎么了祖今？”我有些...
開(kāi)封第一講書(shū)人閱讀 164,548評(píng)論 0贊 354
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵，是天一觀的道長(zhǎng)轧飞。經(jīng)常有香客問(wèn)我，道長(zhǎng)撒踪，這世上最難降的妖魔是什么过咬？我笑而不...
開(kāi)封第一講書(shū)人閱讀 58,657評(píng)論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮制妄，結(jié)果婚禮上掸绞，老公的妹妹穿的比我還像新娘。我一直安慰自己耕捞，他們只是感情好衔掸，可當(dāng)我...
茶點(diǎn)故事閱讀 67,689評(píng)論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布。她就那樣靜靜地躺著俺抽，像睡著了一般敞映。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上磷斧，一...
開(kāi)封第一講書(shū)人閱讀 51,554評(píng)論 1贊 305
城市分裂傳說(shuō)
那天振愿，我揣著相機(jī)與錄音捷犹，去河邊找鬼。笑死冕末，一個(gè)胖子當(dāng)著我的面吹牛萍歉，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播档桃，決...
沈念sama閱讀 40,302評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼枪孩，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了藻肄？” 一聲冷哼從身側(cè)響起蔑舞，我...
開(kāi)封第一講書(shū)人閱讀 39,216評(píng)論 0贊 276
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎仅炊，沒(méi)想到半個(gè)月后斗幼，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,661評(píng)論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡抚垄，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,851評(píng)論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年蜕窿，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片呆馁。...
茶點(diǎn)故事閱讀 39,977評(píng)論 1贊 348
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡桐经，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出浙滤，到底是詐尸還是另有隱情阴挣，我是刑警寧澤，帶...
沈念sama閱讀 35,697評(píng)論 5贊 347
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布纺腊，位于F島的核電站畔咧，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏揖膜。R本人自食惡果不足惜誓沸，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,306評(píng)論 3贊 330
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望壹粟。院中可真熱鬧拜隧，春花似錦、人聲如沸趁仙。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 31,898評(píng)論 0贊 22
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)雀费。三九已至干奢，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間盏袄，已是汗流浹背律胀。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 33,019評(píng)論 1贊 270
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工宋光，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人炭菌。一個(gè)月前我還...
沈念sama閱讀 48,138評(píng)論 3贊 370
代替公主和親
正文我出身青樓罪佳，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親黑低。傳聞我的和親對(duì)象是個(gè)殘疾皇子赘艳，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,927評(píng)論 2贊 355