機(jī)器學(xué)習(xí)——邏輯回歸

??線性回歸用于處理因變量是連續(xù)量的預(yù)測問題货徙，而邏輯回歸是解決二分類的問題（邏輯回歸名字叫“回歸”其實(shí)解決的是分類問題）蹲坷。邏輯回歸的結(jié)果只有兩種情況（0或1）槽畔，那么為什么冠以“回歸”的名稱呢趾浅？

“邏輯回歸”為什么叫“回歸”闰挡？

??假設(shè)有一個(gè)“買車”問題举娩，買車與否與一個(gè)人的收入有關(guān)系析校，收入多則買車，收入低就不會(huì)買車铜涉。假設(shè)一個(gè)人的收入與工齡智玻、每周工作時(shí)間、支出等因素有關(guān)芙代，這樣收入的多少與工齡吊奢、工作時(shí)間、支出等可以看做一個(gè)線性回歸問題 $Z=W^{^{T}}X$ 纹烹。很顯然是否買車與與工齡页滚、每周工作時(shí)間、支出等因素有關(guān)卻不能用一個(gè)線性的模型去模擬铺呵。買車與否在數(shù)學(xué)建模上來說本質(zhì)上是一個(gè)（0逻谦， 1）問題。我們希望能有一個(gè)模型能幫我們實(shí)現(xiàn)從 $Z$ 值到0陪蜻， 1的轉(zhuǎn)換邦马。

圖1、 sigmod函數(shù).png

\phi(x)=\frac{1}{1+e^{x}}

??數(shù)學(xué)家們發(fā)現(xiàn)一個(gè)函數(shù)具有如圖1所示的性質(zhì)宴卖。則是sigmod函數(shù)滋将，其能將實(shí)數(shù)轉(zhuǎn)換在[0，-1]范圍內(nèi)症昏。這樣我們便可以將上面線性回歸的結(jié)果

Z

作為sigmod函數(shù)的輸入随闽，sigmod函數(shù)的輸出便是我們要的分類結(jié)果（“1”代表“買車”，“0”代表“不買車”）肝谭。便有下面的公式：

\phi(Z)=\frac{1}{1+e^{Z}} =\frac{1}{1+e^{W^{T}X}}

??這樣便能實(shí)現(xiàn)對一個(gè)二分類問題進(jìn)行建模與預(yù)測掘宪，因?yàn)槠鋝igmod函數(shù)的輸入運(yùn)用的便是之前的線性回歸的東西，所以這里叫“邏輯回歸”攘烛。

尋找代價(jià)函數(shù)

為什么不能用誤差函數(shù)作為代價(jià)函數(shù)

??建造邏輯回歸的模型公式后魏滚，我們需要找一個(gè)懲罰函數(shù)或者說代價(jià)函數(shù)，以便來訓(xùn)練模型坟漱。這個(gè)我們可以試著用以前處理線性回歸一樣方法來找邏輯回歸的代價(jià)函數(shù)鼠次，如下式： $J(w)=\sum_{i}^{m}\frac{1}{2}(\phi (z^{(i)})-y^{i})^{2}$ ??其中， $z^{(i)}=w^{T}x^{i}+b$ ， $i$ 表示第 $i$ 個(gè)樣本點(diǎn)腥寇， $y^{i}$ 表示第 $i$ 個(gè)樣本點(diǎn)的真實(shí)值成翩， $\phi (z^{(i)})$ 表示第 $i$ 個(gè)樣本的預(yù)測值。直接對上式求導(dǎo)求其最小值赦役，最后會(huì)發(fā)現(xiàn)代價(jià)函數(shù)是一個(gè)關(guān)于 $w$ 的非凸函數(shù)麻敌，如圖2。這意味著其會(huì)有很多局部極小值掂摔，這不利于求解庸论。

2.jpg

可行的代價(jià)函數(shù)

??換個(gè)思路，前面運(yùn)用sigmod函數(shù)將問題最終轉(zhuǎn)化為一個(gè)（0棒呛， 1）問題聂示，其也可以看做是一個(gè)后驗(yàn)概率的估計(jì) $p(y=1|x)$ ，即在 $y=1$ 的情況下簇秒， $x$ 的分布鱼喉。所以就有如下公式： $p(y=1|x;w)=\phi (Z)=\phi (W^{T}X)$
$p(y=0|x;w)=1-\phi (Z)$ ??其中， $p(y=1|x;w)$ 表示具有參數(shù) $w$ 的情況下趋观，在 $x$ 點(diǎn)扛禽， $y=1$ 的概率。上面的式子也可以寫作如下的一般形式： $p(y|x;w)=\phi (z)^{y}(1-\phi (z))^{(1-y)}$ ??這個(gè)式子相當(dāng)于是將上面兩個(gè)式子合二為一皱坛，當(dāng) $y=1$ 時(shí)编曼， $1-y=0$ 則上式變?yōu)?img class="math-inline" src="https://math.jianshu.com/math?formula=p(y%7Cx%3Bw)%3D%5Cphi%20(Z)" alt="p(y|x;w)=\phi (Z)" mathimg="1">，當(dāng) $y=0$ 時(shí)剩辟，上式變?yōu)?img class="math-inline" src="https://math.jianshu.com/math?formula=p(y%3D0%7Cx%3Bw)%3D1-%5Cphi%20(Z)" alt="p(y=0|x;w)=1-\phi (Z)" mathimg="1">掐场。
??對于上面帶有參數(shù) $w$ 的一般形式可以運(yùn)用極大似然的思想進(jìn)行理解，即：求一個(gè) $W$ 使 $X$ 經(jīng)過上面的運(yùn)算最接近 $y$ 贩猎。則上面式可以寫為似然函數(shù)如下式： $L(w)=\prod_{i}^{n}p(y^{i}|x^{i};w)=\prod_{i}^{n}(\phi z^{(i)})^{y^{i}}(1-\phi (z^{i}))^{()1-y^{i})}$ ??為了簡化可以兩邊取對數(shù) $l(w)=log(L(w))=\sum_{i}^{m}y^{i}ln(\phi(z^{(i)}))+(1-y^{(i)}log(1-\phi (z^{(i)}))$ ??上式是求 $W$ 使 $\phi (z^{(i)})$ 最接近 $y^{(i)}$ 熊户，將上式取負(fù)（加負(fù)號(hào)）則是求最小值，這便是我們需要的目標(biāo)函數(shù)吭服，如下： $J(w)=-l(w)=-\sum_{i}^{m}y^{i}ln(\phi(z^{(i)}))+(1-y^{(i)}log(1-\phi (z^{(i)}))$ ??為了更好的理解代價(jià)函數(shù)嚷堡，拿一個(gè)例子（其中的一項(xiàng)）來看一下： $J(y,\phi (z);w)=\left\{\begin{matrix} -ln(\phi (z)) \qquad if \quad y=1\\ -ln(1-\phi (z)) \quad if \quad y=0 \end{matrix}\right.$

3.jpg_副本.png

??從圖中可以看出若樣本的值是1，估計(jì)值越接近1艇棕，付出的代價(jià)越小蝌戒，反之越大。同理沼琉，如果樣本的值是0北苟，估計(jì)值越接近0，付出的代價(jià)越少刺桃，反之越大粹淋。

利用梯度下降法求解

?? sigmoid函數(shù)有一個(gè)很好的性質(zhì)那就是： $\phi{}' (z)=\phi (z)(1-\phi (z))$
??梯度下降法的使用： $w_{j}:=w_{j}-\alpha\frac{\partial J(w)}{\partial w_{j}}$ ??其中吸祟， $w_{j}$ 表示第 $j$ 個(gè)特征的權(quán)重瑟慈， $\alpha$ 為學(xué)習(xí)率桃移，用來控制步長，式中的梯度如下： $\begin{align*} \frac{\partial J(w)}{\partial w_{j}} &=-\frac{\partial }{\partial x}\sum_{i}^{n}[y^{(i)}ln(\phi z^{(i)})+(1-y^{(i)})ln(1-\phi (z^{(i)}))]\\ &=-\sum_{i}^{n}[(y^{(i)}\frac{1}{\phi (z^{(i))}))}-(1-y^{(i)})\frac{1}{1-\phi (z^{(i)})})\phi{}' (z^{(i)})]\\ &=-\sum_{i}^{n}[(y^{(i)}\frac{1}{\phi (z^{(i))}))}-(1-y^{(i)})\frac{1}{1-\phi (z^{(i)})})\phi (z^{(i)})(1-\phi (z^{(i)}))]\\ &=-\sum_{i}^{n}[(y^{(i)}(1-\phi (z^{(i)}))-(1-y^{(i)})\phi (z^{(i)}))x_{j}]\\ &=-\sum_{i}^{n}[(y^{(i)}-\phi (z^{(i)}))x_{j}] \end{align*}$
?? 在使用梯度下降算法更新權(quán)重時(shí)葛碧，可進(jìn)行批量更新權(quán)重： $w_{j}:=w_{j}+\alpha \sum_{i}^{n}[(y^{(i)}-\phi (z^{(i)}))x_{j}]$ ??在數(shù)據(jù)樣本較大的時(shí)候每次更新權(quán)重非常的消耗時(shí)間借杰，這時(shí)可以采用隨機(jī)梯度下降和小批量梯度下降法.

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市进泼，隨后出現(xiàn)的幾起案子蔗衡，更是在濱河造成了極大的恐慌，老刑警劉巖乳绕，帶你破解...
沈念sama閱讀 210,978評論 6贊 490
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件绞惦，死亡現(xiàn)場離奇詭異，居然都是意外死亡洋措，警方通過查閱死者的電腦和手機(jī)济蝉，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 89,954評論 2贊 384
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來菠发，“玉大人王滤，你說我怎么就攤上這事∽茵” “怎么了雁乡？”我有些...
開封第一講書人閱讀 156,623評論 0贊 345
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長糜俗。經(jīng)常有香客問我踱稍，道長，這世上最難降的妖魔是什么悠抹？我笑而不...
開封第一講書人閱讀 56,324評論 1贊 282
?港島之戀（遺憾婚禮）
正文為了忘掉前任寞射，我火速辦了婚禮，結(jié)果婚禮上锌钮，老公的妹妹穿的比我還像新娘桥温。我一直安慰自己，他們只是感情好梁丘，可當(dāng)我...
茶點(diǎn)故事閱讀 65,390評論 5贊 384
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布侵浸。她就那樣靜靜地躺著，像睡著了一般氛谜。火紅的嫁衣襯著肌膚如雪掏觉。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 49,741評論 1贊 289
城市分裂傳說
那天值漫，我揣著相機(jī)與錄音澳腹，去河邊找鬼。笑死，一個(gè)胖子當(dāng)著我的面吹牛酱塔，可吹牛的內(nèi)容都是我干的沥邻。我是一名探鬼主播，決...
沈念sama閱讀 38,892評論 3贊 405
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼羊娃，長吁一口氣：“原來是場噩夢啊……” “哼唐全！你這毒婦竟也來了？” 一聲冷哼從身側(cè)響起蕊玷，我...
開封第一講書人閱讀 37,655評論 0贊 266
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤邮利，失蹤者是張志新（化名）和其女友劉穎，沒想到半個(gè)月后垃帅，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體延届，經(jīng)...
沈念sama閱讀 44,104評論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,451評論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年贸诚，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了方庭。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 38,569評論 1贊 340
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡赦颇，死狀恐怖二鳄，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情媒怯，我是刑警寧澤订讼，帶...
沈念sama閱讀 34,254評論 4贊 328
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站扇苞，受9級特大地震影響欺殿，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜鳖敷，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,834評論 3贊 312
男人毒藥：我在死后第九天來索命
文/蒙蒙一脖苏、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧定踱，春花似錦棍潘、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,725評論 0贊 21
一樁弒父案亦歉，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至畅哑，卻和暖如春肴楷，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背荠呐。一陣腳步聲響...
開封第一講書人閱讀 31,950評論 1贊 264
情欲美人皮
我被黑心中介騙來泰國打工赛蔫，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留砂客，地道東北人。一個(gè)月前我還...
沈念sama閱讀 46,260評論 2贊 360
代替公主和親
正文我出身青樓呵恢，卻偏偏與公主長得像鞠值，于是被迫代替她去往敵國和親。傳聞我的和親對象是個(gè)殘疾皇子瑰剃，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,446評論 2贊 348