圖解機(jī)器學(xué)習(xí)讀書筆記-CH5:稀疏學(xué)習(xí)

稀疏學(xué)習(xí)

帶約束的LS+交叉驗(yàn)證組合是非常有效的回歸方法, 缺點(diǎn)是參數(shù)太多時(shí)求解耗時(shí).

稀疏學(xué)習(xí)將大部分參數(shù)置0, 大大加速參數(shù)求解.

L1約束的LS

稀疏學(xué)習(xí)使用L1條件約束:

$\underset{\theta}{min}J_{LS}(\theta)\quad 約束條件\|\theta\|_1 \leq R$
其中, $\|\theta\|_1=\sum_{j=1}^|\theta_j|$
L1和L2對比:

image.png

以對于參數(shù)的線性模型為例對上圖做分析:

$f_{\theta} = \sum_{j=1}^b\theta_j\phi_j(x) =\theta^T\phi(x)$

訓(xùn)練誤差 $J_{LS}$ 是關(guān)于 $\theta$ 的向下的二次凸函數(shù), 因此 $J_{LS}$ 在參數(shù)空間內(nèi)有橢圓狀等高線, 底部是最小二乘解 $\hat \theta_{LS}$
$\hat \theta_{L_2CLS}$ :橢圓等高線和圓周交點(diǎn)是L2約束LS的解 $\hat \theta_{LS}$ , 即 $L_2$ -Constrained Least Squares
$\hat \theta_{L_1CLS}$ :橢圓等高線和菱形的角的焦點(diǎn)是L1約束LS的解 $\hat \theta$ , L1約束LS的解一定位于參數(shù)的軸上

L1CLS的解在參數(shù)軸上, 很容易用稀疏的方式求解.

L1約束的LS求解

image.png

利用拉格朗日對偶問題求解, 考慮L1正則化的最優(yōu)化問題:
$\underset{\theta}{min}J(\theta), J(\theta) = J_{LS}(\theta) + \lambda\|\theta\|_1$

L1范數(shù)原點(diǎn)不能微分, 用微分的二次函數(shù)控制:
$|\theta_j| <= \frac{\theta_j^2}{2c_j}+\frac{c_j}{2}, \forall c_j > 0$

函數(shù)如圖:

image.png

L2正則化LS一般表達(dá)式:

image.png

線性模型

image.png

幾個(gè)解的函數(shù)圖像:

image.png

高斯核模型

image.png

分別用L1,L2約束求解:

image.png

求解結(jié)果:

image.png

結(jié)論: 結(jié)果無太大差異, 但L2約束的LS的50個(gè)參數(shù)全部非0; L1約束LS的50個(gè)參數(shù), 有37個(gè)為0, 學(xué)習(xí)結(jié)果是是13個(gè)核函數(shù)的線性擬合.

Lp約束的LS

L1,L2范數(shù)的更廣義定義, $L_p$ 范數(shù):

image.png

$p=\infty$ 時(shí)稱最大值范數(shù):

image.png

$p=0時(shí)L_0$ 范數(shù)表示非零向量元素個(gè)數(shù):

image.png

$L_p$ 范數(shù)的單位球(R=1):

image.png

分析:
$\begin{cases} p \leq 1& 坐標(biāo)軸上呈現(xiàn)有峰值的尖形 \\ p \geq 1& 凸形 \end{cases}$

稀疏解存在的特殊條件:

$\begin{cases} 1.約束空間為凸形(非凸優(yōu)化困難)\\ 2.坐標(biāo)軸上呈現(xiàn)有峰值的尖形 \end{cases}$
如此, 只有 $L_1$ 范數(shù)滿足條件, L1約束的LS是非常特殊的學(xué)習(xí)方法

滿足 $L_p$ 范數(shù)約束條件的空間性質(zhì):

image.png

L1+L2約束的LS

$L1+L2$ 約束的LS也稱為彈性網(wǎng)絡(luò)

先回顧兩個(gè)模型.

線性模型

image.png

$\phi_j(x)$ 是基函數(shù)向量, 基函數(shù)舉例:

image.png

核模型

image.png

高斯核函數(shù):

image.png

回顧 $L_1和L_2$ 約束:

$L_2$ 約束

image.png

轉(zhuǎn)化為拉格朗日對偶問題:

image.png

不考慮參數(shù)空間圓的半徑R時(shí)化簡為:

image.png

$L_1$ 約束:

image.png

轉(zhuǎn)化為拉格朗日對偶問題:

image.png

$L_1和L_2$ 的參數(shù)空間:

image.png

L1約束的限制:

參數(shù)b比訓(xùn)練樣本n多時(shí), 線性模型可選擇的最大特征數(shù)被局限為n
線性模型中形成集群構(gòu)造(有多個(gè)基函數(shù)相似的集合)時(shí), $L_1$ LS選擇一個(gè)忽略其它, 核模型輸入樣本是簇構(gòu)造是更易形成集群構(gòu)造
參數(shù)b比樣本n少時(shí), $L_1$ 的通用性比 $L_2$ 更差

解決方案是 $L_1+L_2$ :

image.png

$L_p$ 范數(shù)單位球:

image.png

$\tau=1/2時(shí), L_1+L_2$ 范數(shù)的單位球:

image.png

結(jié)論:

$L_1+L_2$ 單位球凸, 角部呈尖形, 故和 $L_1$ 一樣易求得稀疏解
可學(xué)得n個(gè)以上非零參數(shù)
基函數(shù)為集合構(gòu)造時(shí), 常以集合為單位對基函數(shù)選擇
比 $L_1$ 約束的LS具有更高的精度

最后編輯于：2018.09.21 23:05:26

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子厨埋，更是在濱河造成了極大的恐慌饿悬，老刑警劉巖刹枉，帶你破解...
沈念sama閱讀 212,383評論 6贊 493
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件叽唱，死亡現(xiàn)場離奇詭異，居然都是意外死亡微宝，警方通過查閱死者的電腦和手機(jī)棺亭，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,522評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來蟋软，“玉大人镶摘，你說我怎么就攤上這事≡朗兀” “怎么了凄敢？”我有些...
開封第一講書人閱讀 157,852評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長棺耍。經(jīng)常有香客問我贡未，道長种樱，這世上最難降的妖魔是什么蒙袍？我笑而不...
開封第一講書人閱讀 56,621評論 1贊 284
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮嫩挤，結(jié)果婚禮上害幅，老公的妹妹穿的比我還像新娘。我一直安慰自己岂昭，他們只是感情好以现，可當(dāng)我...
茶點(diǎn)故事閱讀 65,741評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布。她就那樣靜靜地躺著约啊，像睡著了一般邑遏。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上恰矩，一...
開封第一講書人閱讀 49,929評論 1贊 290
城市分裂傳說
那天记盒，我揣著相機(jī)與錄音，去河邊找鬼外傅。笑死纪吮，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的萎胰。我是一名探鬼主播碾盟，決...
沈念sama閱讀 39,076評論 3贊 410
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼技竟！你這毒婦竟也來了冰肴？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 37,803評論 0贊 268
萬榮殺人案實(shí)錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎熙尉，沒想到半個(gè)月后估盘，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,265評論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡骡尽，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,582評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年遣妥，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片攀细。...
茶點(diǎn)故事閱讀 38,716評論 1贊 341
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡箫踩，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出谭贪，到底是詐尸還是另有隱情境钟，我是刑警寧澤，帶...
沈念sama閱讀 34,395評論 4贊 333
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布俭识，位于F島的核電站慨削，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏套媚。R本人自食惡果不足惜缚态，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 40,039評論 3贊 316
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望堤瘤。院中可真熱鬧玫芦，春花似錦、人聲如沸本辐。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,798評論 0贊 21
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽慎皱。三九已至老虫，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間茫多，已是汗流浹背祈匙。一陣腳步聲響...
開封第一講書人閱讀 32,027評論 1贊 266
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留地梨，地道東北人菊卷。一個(gè)月前我還...
沈念sama閱讀 46,488評論 2贊 361
代替公主和親
正文我出身青樓，卻偏偏與公主長得像宝剖，于是被迫代替她去往敵國和親洁闰。傳聞我的和親對象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,612評論 2贊 350

圖解機(jī)器學(xué)習(xí)讀書筆記-CH5:稀疏學(xué)習(xí)

稀疏學(xué)習(xí)

L1約束的LS

L1約束的LS求解

Lp約束的LS

L1+L2約束的LS

推薦閱讀更多精彩內(nèi)容