關(guān)于邏輯回歸模型的梯度下降算法

邏輯回歸的代價(jià)函數(shù)：

$J(\theta)=-\frac{1}{m} \sum_1^m [y^{(i)} \log(h_\theta(x^{(i)})) + (1-y^{(i)}) \log(1-h_\theta(x^{(i)}))]$

與線性回歸一樣，它的梯度下降算法類似：

重復(fù)直到 $J(\theta)$ 收斂 {
$\theta_j:=\theta_j?\alpha \frac{\partial}{\partial \theta_j} J(\theta)$
}

計(jì)算 $\frac{\partial}{\partial \theta_j} J(\theta)$ 后會得到：
$\theta_j:=\theta_j?\alpha \frac{1}{m} \sum_{i=0}^m((h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}), j \epsilon \left(0, 1, 2,...,n\right)$

計(jì)算后得到的和線性回歸的看上去沒有區(qū)別，但是兩者的 $h_\theta(x)$ 不同。
線性回歸的是： $h_\theta(x) = \theta^Tx$
邏輯回歸的是： $h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}$

因?yàn)轭A(yù)測函數(shù)改變了咕幻，所以兩者的梯度下降算法是不一樣的线得。

舉例說明

假設(shè)數(shù)據(jù)集有5個(gè)樣本，每個(gè)樣本有2個(gè)特征值蓝翰，即 $m=5,n=2$ 如下：

$X = \left[ \begin{matrix} 34.62 & 78.02 \\\ 30.29 & 3.89 \\\ 35.85 & 72.9 \\\ 60.18 & 86.31 \\\ 79.03 & 75.34 \end{matrix} \right], y = \left[ \begin{matrix}0 \\\ 0 \\\ 0 \\\ 1 \\\ 1 \end{matrix} \right]$

初始化 $\theta=\left[ \begin{matrix}0 \\\ 0 \\\ 0 \end{matrix} \right]$ 光绕，然后在輸入矩陣加上一列 $x_0=1$ ，
$X = \left[ \begin{matrix} 1 & 34.62 & 78.02 \\\ 1 & 30.29 & 3.89 \\\ 1 & 35.85 & 72.9 \\\ 1 & 60.18 & 86.31 \\\ 1 & 79.03 & 75.34 \end{matrix} \right]$

先計(jì)算預(yù)測函數(shù) $h$ ：
$h=g(X\cdot\theta)$
$X\cdot\theta = \left[ \begin{matrix} 1 & 34.62 & 78.02 \\\ 1 & 30.29 & 3.89 \\\ 1 & 35.85 & 72.9 \\\ 1 & 60.18 & 86.31 \\\ 1 & 79.03 & 75.34 \end{matrix} \right] \left[ \begin{matrix} 0 \\\ 0 \\\ 0 \end{matrix} \right] = \left[ \begin{matrix} 0 \\\ 0 \\\ 0 \end{matrix} \right]$
代入 $g$ 函數(shù)畜份，可以的得到預(yù)測結(jié)果 $h=\left[ \begin{matrix} \frac{1}{1+e^0} \\\ \frac{1}{1+e^0} \\\ \frac{1}{1+e^0}\\\ \frac{1}{1+e^0}\\\ \frac{1}{1+e^0} \end{matrix} \right]=\left[ \begin{matrix} 0.5 \\\ 0.5 \\\ 0.5 \\\ 0.5 \\\ 0.5 \end{matrix} \right]$

代入J的公式
$J(\theta)=\frac{1}{m} \cdot (-y^T \log(h) -(1-y)^T \log(1-h))$
此時(shí)代價(jià)函數(shù) $J$ 的值為： $\color{red}{0.69315}$

下面計(jì)算第一次梯度下降的梯度值诞帐，代入下面的公式
$\theta = \theta - \frac{\alpha}{m} X^T(h-y)$

即：
$\theta = \theta - \alpha\frac{1}{5} \cdot \left[ \begin{matrix} 1 & 1 & 1 & 1 & 1 \\\ 34.62 & 30.29 & 35.85 & 60.18 & 79.03 \\\ 78.02 & 3.89 & 72.9 & 86.31 & 75.34 \end{matrix} \right] \left[ \begin{matrix} 0.5 - 0 \\\ 0.5-0 \\\ 0.5-0 \\\ 0.5-1 \\\ 0.5-1 \end{matrix} \right] = \left[ \begin{matrix} 0 \\\ 0 \\\ 0 \end{matrix} \right] - \alpha \cdot \left[ \begin{matrix} 0.1 \\\ -3.846 \\\ 3.317 \end{matrix} \right]$

假設(shè) $\alpha=0.01$ ，則 $\theta=\left[ \begin{matrix}0.001 \\\ 0.03846 \\\ -0.03317\end{matrix} \right]$

再次計(jì)算代價(jià)函數(shù) $J$ 為： $\color{red}{0.51494}$

這個(gè)例子用矩陣和向量來進(jìn)行了代價(jià)函數(shù)和梯度下降的計(jì)算爆雹。

轉(zhuǎn)載自：
https://codeeper.com/2020/01/11/tech/machine_learning/classification_gradient_descent.html

最后編輯于：2020.03.17 16:21:22

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末停蕉，一起剝皮案震驚了整個(gè)濱河市愕鼓，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌谷徙，老刑警劉巖拒啰，帶你破解...
沈念sama閱讀 218,036評論 6贊 506
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異完慧，居然都是意外死亡谋旦，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,046評論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門屈尼，熙熙樓的掌柜王于貴愁眉苦臉地迎上來册着，“玉大人，你說我怎么就攤上這事脾歧〖啄螅” “怎么了？”我有些...
開封第一講書人閱讀 164,411評論 0贊 354
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵鞭执，是天一觀的道長司顿。經(jīng)常有香客問我，道長兄纺，這世上最難降的妖魔是什么大溜？我笑而不...
開封第一講書人閱讀 58,622評論 1贊 293
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮估脆，結(jié)果婚禮上钦奋，老公的妹妹穿的比我還像新娘。我一直安慰自己疙赠，他們只是感情好付材，可當(dāng)我...
茶點(diǎn)故事閱讀 67,661評論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著圃阳，像睡著了一般厌衔。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上捍岳，一...
開封第一講書人閱讀 51,521評論 1贊 304
城市分裂傳說
那天富寿，我揣著相機(jī)與錄音，去河邊找鬼祟同。笑死作喘，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的晕城。我是一名探鬼主播泞坦，決...
沈念sama閱讀 40,288評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼砖顷！你這毒婦竟也來了贰锁？” 一聲冷哼從身側(cè)響起赃梧，我...
開封第一講書人閱讀 39,200評論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎豌熄，沒想到半個(gè)月后授嘀，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,644評論 1贊 314
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡锣险，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,837評論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年蹄皱，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片芯肤。...
茶點(diǎn)故事閱讀 39,953評論 1贊 348
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡巷折，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出崖咨，到底是詐尸還是另有隱情锻拘，我是刑警寧澤，帶...
沈念sama閱讀 35,673評論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布击蹲，位于F島的核電站署拟，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏歌豺。R本人自食惡果不足惜推穷，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,281評論 3贊 329
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望世曾。院中可真熱鬧缨恒，春花似錦谴咸、人聲如沸轮听。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,889評論 0贊 22
一樁弒父案岭佳，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽血巍。三九已至，卻和暖如春珊随，著一層夾襖步出監(jiān)牢的瞬間述寡，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 33,011評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工叶洞，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留鲫凶，地道東北人。一個(gè)月前我還...
沈念sama閱讀 48,119評論 3贊 370
代替公主和親
正文我出身青樓衩辟，卻偏偏與公主長得像螟炫，于是被迫代替她去往敵國和親。傳聞我的和親對象是個(gè)殘疾皇子艺晴，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,901評論 2贊 355

關(guān)于邏輯回歸模型的梯度下降算法

舉例說明

推薦閱讀更多精彩內(nèi)容