機(jī)器學(xué)習(xí)算法深度總結(jié)(5)-邏輯回歸

1. 模型定義

邏輯回歸屬于基于概率分類的學(xué)習(xí)法. 基于概率的模式識別是指對模式x所對應(yīng)的類別y的后驗概率 $p(y|x)$ 禁行學(xué)習(xí).
其所屬類別為后驗概率最大時的類別:
$\hat y = \underset{y=1,\cdots,c}{argmax}\ p(y|x)$
預(yù)測類別的后驗概率 $p(y=\hat y|x)$ , 可理解為模式x所屬類別y的可信度.
邏輯回歸(logistic), 使用線性對數(shù)函數(shù)對分類后驗概率 $p(y|x)$ 進(jìn)行模型化:
$q(y|x;\theta) = \frac{\exp(\sum_{j=1}^b\theta_j^{(y)}\phi_j(x))}{\sum_{y'=1}^c \exp(\sum_{j=1}^b\theta_j^{(y')}\phi_j(x))}$
上式, 分母是滿足概率總和為1的約束條件的正則化項, 參數(shù)向量 $\theta$ 維數(shù)為 $b \times c$ :

考慮二分類問題 $y\in \{+1,-1\}$ :
$q(y=+1|x;\theta) + q(y=-1|x;\theta) = 1$
使用上述關(guān)系式, logistic模型的參數(shù)個數(shù)從2b降為b個, 模型簡化為:
$q(y|x;\theta) =\frac{1}{1 + \exp(-y\sum_{j=1}^b\theta_j\phi_j(x))}$

補(bǔ)充知識 -對數(shù)似然:

似然函數(shù): $\prod_{i=1}^{n}q(y_i|x_i;\theta)$
對數(shù)似然: $\sum_{i=1}^n\log\ q(y_i|x_i;\theta)$
似然是n次相乘的結(jié)果, 一個非常小的值, 經(jīng)常發(fā)生計算丟位現(xiàn)象, 因此, 一般用對數(shù)來解決, 即將乘法變換為加法防止丟位現(xiàn)象發(fā)生.

二分類邏輯回歸模型改寫為對數(shù)自然最大化:
$\underset{\theta}{\min}\sum_{i=1}^n\log\{1+\exp(-y_i\sum_{j=1}^b\theta_j\phi_j(x_i))\}$

已知關(guān)于參數(shù)的線性模型:
$f_\theta(x) = \sum_{j=1}^b\theta_j\phi_j(x)$
的間隔 $m=f_\theta(x)y$ 和邏輯回歸的損失 $\log(1+\exp(-m))$ 是等價的.

2. 從最大似然估計 (MLE)理解

1. 決策函數(shù)

一個機(jī)器學(xué)習(xí)的模型，實際上是把決策函數(shù)限定在某一組條件下，這組限定條件就決定了模型的假設(shè)空間垦搬。當(dāng)然，我們還希望這組限定條件簡單而合理稳捆。而邏輯回歸模型所做的假設(shè)是：
$P(y=1|x;θ)=g(θ^Tx)=\frac{1}{1+\exp(?θ^Tx)}$
這里的 g(h) 是sigmoid 函數(shù)，相應(yīng)的決策函數(shù)為：
$y^?=1, if \ P(y=1|x)>0.5$
選擇0.5作為閾值是一個一般的做法麦轰，實際應(yīng)用時特定的情況可以選擇不同閾值乔夯，如果對正例的判別準(zhǔn)確性要求高，可以選擇閾值大一些款侵，對正例的召回要求高末荐，則可以選擇閾值小一些。

選擇0.5作為閾值是一個一般的做法新锈，實際應(yīng)用時特定的情況可以選擇不同閾值甲脏，如果對正例的判別準(zhǔn)確性要求高，可以選擇閾值大一些妹笆，對正例的召回要求高块请，則可以選擇閾值小一些。

2. 參數(shù)求解

對數(shù)似然最大化
在邏輯回歸模型中拳缠，令 $q(y=+1|x;\theta) =h_\theta(x) = \frac{1}{1+e^{-\theta x}}$ , 則 $q(y=-1|x;\theta) = 1-h_\theta(x)$
故似然度可表示為：
$\prod_{i=1}^m[h_\theta(x^{(i)}]^{y^{(i)}}[1-h_\theta(x^{(i)}]^{1-y^{(i)}}$
對數(shù)似然:
$J(θ)=?\frac{1}{m}\sum_{i=1}^m [y^{(i)} \log \; h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1- h_\theta(x^{(i)})) ]$

邏輯回歸模型中墩新，我們最大化似然函數(shù)和最小化交叉熵?fù)p失函數(shù)實際上是等價的。對于該優(yōu)化問題窟坐，存在多種求解方法海渊，這里以梯度下降的為例說明。梯度下降(Gradient Descent)又叫作最速梯度下降哲鸳，是一種迭代求解的方法臣疑，通過在每一步選取使目標(biāo)函數(shù)變化最快的一個方向調(diào)整參數(shù)的值來逼近最優(yōu)值。

對于該優(yōu)化問題徙菠，存在多種求解方法朝捆，這里以梯度下降求解為例說明。

給 $\theta$ 以初始值
隨機(jī)選擇一個訓(xùn)練樣本 $(x_i,y_i)$
對于選定的訓(xùn)練樣本, 已梯度上升方向?qū)?shù) $\theta$ 進(jìn)行更新:
$\theta_j \leftarrow \theta_j - \epsilon \nabla _{\theta}J_j(\theta)$
其中:
$\nabla _{\theta}J_j(\theta) = \frac{1}{N}(h_\theta(x^{(i)})-y^{(i)})x^{(i)} \\$
故:
$\theta_j= \theta_j - \epsilon[ \frac{1}{m}\sum_{j=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}]$

L2約束的邏輯回歸:
$J(θ)=?\frac{1}{m}\sum_{i=1}^m [y^{(i)} \log \; h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1- h_\theta(x^{(i)})) ] + \frac{\lambda}{2m}\sum_{j=1}^n\theta_j^2$

參數(shù)更新(梯度下降):
$\theta_j= \theta_j - \epsilon[ \frac{1}{m}\sum_{j=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}] - \epsilon \frac{\lambda}{m}\theta_j$
此處的 $h_\theta(x^{(i)}) = \frac{1}{1+\exp(-\theta^Tx^{(i)})}$ , 在這里λ稱作正則化參數(shù)懒豹，它通過平衡擬合訓(xùn)練的目標(biāo)和保持參數(shù)值較小的目標(biāo)芙盘。從而來保持假設(shè)的形式相對簡單，來避免過度的擬合脸秽。

3. 從最小化Logstic損失來理解

回顧邏輯回歸模型, 并考慮二分類 $y \in \{+1,-1\}$ :
$q(y|x;\theta) = \frac{\exp(\sum_{j=1}^b\theta_j^{(y)}\phi_j(x))}{ \exp(\sum_{j=1}^b\theta_j^{(y'=+1)}\phi_j(x)) + \exp(\sum_{j=1}^b\theta_j^{(y'=-1)}\phi_j(x))}$
邏輯斯蒂回歸二分類模型的基本假設(shè)是輸出Y=1的對數(shù)幾率是輸入x的線性函數(shù)儒老，換句話說
$\log\frac{q(y=+1|x;\theta)}{q(y=-1|x;\theta)} = \theta^Tx \ \ (1)$
對于二分類問題, 有:
$q(y=+1|x;\theta) + q(y=-1|x;\theta) = 1 \ \ (2)$
令 $q(y=+1|x;\theta) = p_{+1}$ , $q(y=-1|x;\theta) = p_{-1}$ , 結(jié)合(1)(2)式:
$p_{+1} = p_{-1} \cdot \exp(\theta^Tx) = (1-p_{+1})exp(\theta^Tx)$
故:
$p_{+1} = \frac{\exp(\theta^Tx)}{1+\exp(\theta^Tx)} = \frac{1}{1+ \exp(-\theta^Tx)}\ \ (3) \\ p_{-1} = \frac{p_{+1}}{\exp(\theta^Tx)} = \frac{1}{1+\exp(\theta^Tx)} \ \ (4)$
這里得到了 $q(y=+1|x;\theta)$ 的決策函數(shù) $\frac{1}{1+\exp(-z)}$ , 綜合(3)(4)得:
$q(y|x;\theta) = \frac{1}{1+\exp(-y\theta^Tx)}$
在 training data 上進(jìn)行 maximum log-likelihood 參數(shù)估計:
$\underset{\theta}{\max}\log \prod_{i=1}^m P(y_i|x_i) = \underset{\theta}{\max}\sum_{i=1}^m\log(\frac{1}{1+\exp({-y_i\theta^Tx_i})})= \underset{\theta}{\max}\sum_{i=1}^m-\log(1+\exp({-y_i\theta^Tx_i}))$
等價于:
$\underset{\theta}{\min}\sum_{i=1}^m\log(1+\exp({-y_i\theta^Tx_i}))$
令 $L(\theta) = \sum_{i=1}^m\log(1+\exp({-y_i\theta^Tx_i}))$ , 此時目標(biāo)函數(shù)是 strongly convex 的。接下來我們考慮用 gradient descent 來對目標(biāo)函數(shù)進(jìn)行優(yōu)化记餐。首先其 Gradient 是:
$\nabla_{\theta}L(\theta) = \sum_{i=1}^m-\frac{\exp(-y_i)}{1+\exp(-y_i\theta^Tx_i)}y_ix_i$

L2正則化:
$L'(\theta) = L(\theta) + \frac{\lambda}{2}\theta^T\theta \\ \nabla_{\theta}L'(\theta) = \sum_{i=1}^m-\frac{\exp(-y_i)}{1+\exp(-y_i\theta^Tx_i)}y_ix_i + \lambda \theta$

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末驮樊，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子片酝，更是在濱河造成了極大的恐慌囚衔，老刑警劉巖，帶你破解...
沈念sama閱讀 222,183評論 6贊 516
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件雕沿，死亡現(xiàn)場離奇詭異练湿，居然都是意外死亡，警方通過查閱死者的電腦和手機(jī)审轮，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 94,850評論 3贊 399
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門肥哎，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人疾渣，你說我怎么就攤上這事篡诽。” “怎么了榴捡？”我有些...
開封第一講書人閱讀 168,766評論 0贊 361
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵杈女，是天一觀的道長。經(jīng)常有香客問我吊圾，道長达椰，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 59,854評論 1贊 299
?港島之戀（遺憾婚禮）
正文為了忘掉前任街夭，我火速辦了婚禮砰碴，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘板丽。我一直安慰自己呈枉，他們只是感情好，可當(dāng)我...
茶點故事閱讀 68,871評論 6贊 398
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布埃碱。她就那樣靜靜地躺著猖辫，像睡著了一般。火紅的嫁衣襯著肌膚如雪砚殿。梳的紋絲不亂的頭發(fā)上啃憎，一...
開封第一講書人閱讀 52,457評論 1贊 311
城市分裂傳說
那天，我揣著相機(jī)與錄音似炎，去河邊找鬼辛萍。笑死悯姊，一個胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的贩毕。我是一名探鬼主播悯许，決...
沈念sama閱讀 40,999評論 3贊 422
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼辉阶！你這毒婦竟也來了先壕？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 39,914評論 0贊 277
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤谆甜，失蹤者是張志新（化名）和其女友劉穎垃僚，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體规辱，經(jīng)...
沈念sama閱讀 46,465評論 1贊 319
?護(hù)林員之死
正文獨居荒郊野嶺守林人離奇死亡谆棺，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 38,543評論 3贊 342
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了按摘。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片包券。...
茶點故事閱讀 40,675評論 1贊 353
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖炫贤，靈堂內(nèi)的尸體忽然破棺而出溅固，到底是詐尸還是另有隱情，我是刑警寧澤兰珍，帶...
沈念sama閱讀 36,354評論 5贊 351
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布侍郭，位于F島的核電站，受9級特大地震影響掠河，放射性物質(zhì)發(fā)生泄漏亮元。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 42,029評論 3贊 335
男人毒藥：我在死后第九天來索命
文/蒙蒙一唠摹、第九天我趴在偏房一處隱蔽的房頂上張望爆捞。院中可真熱鬧，春花似錦勾拉、人聲如沸煮甥。這莊子的主人今日做“春日...
開封第一講書人閱讀 32,514評論 0贊 25
一樁弒父案藕赞，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽成肘。三九已至，卻和暖如春斧蜕，著一層夾襖步出監(jiān)牢的瞬間双霍，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 33,616評論 1贊 274
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留洒闸，地道東北人染坯。一個月前我還...
沈念sama閱讀 49,091評論 3贊 378
代替公主和親
正文我出身青樓，卻偏偏與公主長得像顷蟀，于是被迫代替她去往敵國和親酒请。傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 45,685評論 2贊 360