回歸（三）：Softmax回歸

回歸（三）

Softmax回歸

二分類到多分類問題

在Logistic回歸中关噪，我們處理的是二分類的問題拟杉。我們假定事件 $y=1?$ 的對數(shù)幾率滿足線性模型捆昏，得到 $y=1?$ 的概率函數(shù)滿足sigmoid函數(shù)的形式。在使用模型預(yù)測的時(shí)候，如果求出 $y=1?$ 的概率大于0.5窘哈，就預(yù)測 $y=1?$ 潮针；否則就預(yù)測 $y=0?$ 坏晦。即：

$ln\ odds(y=1) = ln\frac{p}{1-p} = \theta^Tx \Rightarrow p = \frac{1}{1+e^{-\theta^Tx}}$

$y = \begin{cases}1\quad p>0.5\\ 0\quad otherwise \end{cases}$

如果碰到多分類問題呢谅海？先以三分類為例脸哀；假設(shè)有三個(gè)類別 $1, 2, 3$ ，那么我們就可以做三次logistic回歸扭吁，假定有n個(gè)特征值企蹭，我們可以定義：

$z_1 = \theta_{11}x_1 + \theta_{12}x_2 + \theta_{12}x_3 + ...+\theta_{1n}x_n$

$z_2 = \theta_{21}x_1 + \theta_{22}x_2 + \theta_{22}x_3 + ...+\theta_{2n}x_n?$

$z_3 = \theta_{31}x_1 + \theta_{32}x_2 + \theta_{32}x_3 + ...+\theta_{3n}x_n$

那么 $y = 1,2,3$ 的概率分別為：

$p(y = 1) = \frac{1}{1+e^{-z_1}}?$

$p(y = 2) = \frac{1}{1+e^{-z_2}}?$

$p(y = 3) = \frac{1}{1+e^{-z_3}}$

這就做了三次logistic回歸。然后比較三者的概率大小智末。那么是否能夠直接使用某種方法，通過一次回歸就得到屬于每個(gè)類別的概率呢徒河？

假設(shè)現(xiàn)在我們已經(jīng)求出了 $y = 1,2,3$ 的概率系馆，分別為 $p_1, p_2, p_3$ 。那么 $p_1, p_2, p_3$ 一定滿足：

（1） $p_i$ 的越大顽照，則事件 $y=i$ 的可能性越大
（2） $\sum p_i = 1$

顯然由蘑， $z_1, z_2, z_3$ 是滿足條件（1）的闽寡，要讓概率和為零，只需要對 $z_1, z_2, z_3$ 做一個(gè)歸一化操作尼酿。最簡單的就是 $p_i = \frac{z_i}{\sum z_i}$ 爷狈，但是這種處理雖然簡單也易于理解，但是在之后的一些處理如求導(dǎo)的操作中比較麻煩裳擎。

使用softmax回歸處理多分類問題

數(shù)學(xué)可以得到涎永， $ln(e^x+e^y)$ 可以用來近似地表示 $max(x, y)$ ，通常這么做是因?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=ln(e%5Ex%20%2B%20e%5Ey)" alt="ln(e^x + e^y)" mathimg="1">相對于 $max(x, y)$ 更容易求偏導(dǎo)和微分鹿响。這里我們對上面的歸一化做一些修改羡微，不再是簡單地除以所有 $z_i$ 的和，我們對 $z_i$ 重新賦予含義：

$z_1 = \frac{exp(\theta^T_1x)}{\sum_{k=1}^3 exp(\theta_k^T x)}?$

$z_2 = \frac{exp(\theta^T_2x)}{\sum_{k=1}^3 exp(\theta_k^T x)}?$

$z_3 = \frac{exp(\theta^T_3x)}{\sum_{k=1}^3 exp(\theta_k^T x)}$

拓展到K分類的問題惶我，第k類的參數(shù)為 $\vec \theta_k$ 妈倔，組成二維矩陣 $\theta_{k\times n}$ 。那么：

$p(c = k|x; \theta) = \frac{exp(\theta^T_k x)}{\sum_{l=1}^Kexp(\theta^T_lx)}, k = 1,2,3, ...,K$

同樣可以計(jì)算似然函數(shù)绸贡，對數(shù)似然和求隨機(jī)梯度：

似然函數(shù)： $L(\theta) = \prod_{i=1}^m \prod_{k=1}^Kp(c=k|x^{(i)};\theta)^{y_k^{(i)}} = \prod_{i=1}^m \prod_{k=1}^K\left( \frac{exp(\theta^T_kx^{(i)})}{\sum_{l=1}^K exp(\theta_l^T x^{(i)})} \right)^{y^{(i)}_k}?$

對數(shù)似然： $J_m(\theta) = ln L(\theta) = \sum_{i=1}^m\sum_{k=1}^K y^{(i)}_k\centerdot\left( \theta^T_kx^{(i)} - ln\sum^K_{l=1}exp(\theta^T_lx^{(i)}) \right)\\ J(\theta) = \sum_{k=1}^K y_k\centerdot\left( \theta^T_kx - ln\sum^K_{l=1}exp(\theta^T_lx) \right)$

隨機(jī)梯度： $\frac{\partial J(\theta)}{\partial \theta_k} = (y_k - p(y_k|x;\theta))\centerdot x$

公式中的 $y_k?$ 采用one-hot編碼盯蝴，對于訓(xùn)練數(shù)據(jù)如果 $y = k?$ ，則有：

$y_i = \begin{cases} 1\quad i=k\\ 0 \quad otherwise \end{cases}$

這樣听怕，使用模型預(yù)測時(shí)得到的K維列向量中捧挺，每一個(gè)維度的數(shù)值就可以表征屬于對應(yīng)類別的概率。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末叉跛，一起剝皮案震驚了整個(gè)濱河市松忍，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌筷厘，老刑警劉巖鸣峭，帶你破解...
沈念sama閱讀 212,884評論 6贊 492
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異酥艳，居然都是意外死亡摊溶，警方通過查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,755評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門充石，熙熙樓的掌柜王于貴愁眉苦臉地迎上來莫换，“玉大人，你說我怎么就攤上這事骤铃±辏” “怎么了？”我有些...
開封第一講書人閱讀 158,369評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵惰爬，是天一觀的道長喊暖。經(jīng)常有香客問我，道長撕瞧，這世上最難降的妖魔是什么陵叽？我笑而不...
開封第一講書人閱讀 56,799評論 1贊 285
?港島之戀（遺憾婚禮）
正文為了忘掉前任狞尔，我火速辦了婚禮，結(jié)果婚禮上巩掺，老公的妹妹穿的比我還像新娘偏序。我一直安慰自己，他們只是感情好胖替，可當(dāng)我...
茶點(diǎn)故事閱讀 65,910評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布研儒。她就那樣靜靜地躺著，像睡著了一般刊殉。火紅的嫁衣襯著肌膚如雪殉摔。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 50,096評論 1贊 291
城市分裂傳說
那天记焊，我揣著相機(jī)與錄音逸月，去河邊找鬼。笑死遍膜，一個(gè)胖子當(dāng)著我的面吹牛碗硬，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播瓢颅，決...
沈念sama閱讀 39,159評論 3贊 411
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼恩尾，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了挽懦？” 一聲冷哼從身側(cè)響起翰意，我...
開封第一講書人閱讀 37,917評論 0贊 268
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎信柿，沒想到半個(gè)月后冀偶，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,360評論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡渔嚷，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,673評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年进鸠，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片形病。...
茶點(diǎn)故事閱讀 38,814評論 1贊 341
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡客年，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出漠吻，到底是詐尸還是另有隱情量瓜，我是刑警寧澤，帶...
沈念sama閱讀 34,509評論 4贊 334
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布途乃，位于F島的核電站榔至，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏欺劳。R本人自食惡果不足惜唧取，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 40,156評論 3贊 317
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望划提。院中可真熱鬧枫弟，春花似錦、人聲如沸鹏往。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,882評論 0贊 21
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽伊履。三九已至韩容，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間唐瀑，已是汗流浹背群凶。一陣腳步聲響...
開封第一講書人閱讀 32,123評論 1贊 267
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留哄辣，地道東北人请梢。一個(gè)月前我還...
沈念sama閱讀 46,641評論 2贊 362
代替公主和親
正文我出身青樓，卻偏偏與公主長得像力穗，于是被迫代替她去往敵國和親毅弧。傳聞我的和親對象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,728評論 2贊 351

回歸（三）：Softmax回歸

回歸（三）

Softmax回歸

二分類到多分類問題

使用softmax回歸處理多分類問題

推薦閱讀更多精彩內(nèi)容