http://blog.csdn.net/jinping_shi/article/details/52433975

正則化（Regularization）

機(jī)器學(xué)習(xí)中幾乎都可以看到損失函數(shù)后面會(huì)添加一個(gè)額外項(xiàng)展懈，常用的額外項(xiàng)一般有兩種厌杜，一般英文稱作?1-norm和?2-norm箩言，中文稱作L1正則化和L2正則化滓鸠，或者L1范數(shù)和L2范數(shù)梭灿。
L1正則化和L2正則化可以看做是損失函數(shù)的懲罰項(xiàng)蟀架。所謂『懲罰』是指對損失函數(shù)中的某些參數(shù)做一些限制重挑。對于線性回歸模型讼呢，使用L1正則化的模型建叫做Lasso回歸姑躲，使用L2正則化的模型叫做Ridge回歸（嶺回歸）睡扬。下圖是Python中Lasso回歸的損失函數(shù)，式中加號后面一項(xiàng)α||w||1即為L1正則化項(xiàng)黍析。
[圖片上傳中卖怜。。阐枣。（1）]
下圖是Python中Ridge回歸的損失函數(shù)马靠，式中加號后面一項(xiàng)α||w||22即為L2正則化項(xiàng)。
[圖片上傳中蔼两。甩鳄。。（2）]
一般回歸分析中回歸w表示特征的系數(shù)额划，從上式可以看到正則化項(xiàng)是對系數(shù)做了處理（限制）妙啃。L1正則化和L2正則化的說明如下：
L1正則化是指權(quán)值向量w中各個(gè)元素的絕對值之和，通常表示為||w||1
L2正則化是指權(quán)值向量w中各個(gè)元素的平方和然后再求平方根（可以看到Ridge回歸的L2正則化項(xiàng)有平方符號）俊戳，通常表示為||w||2

一般都會(huì)在正則化項(xiàng)之前添加一個(gè)系數(shù)揖赴，Python中用α表示，一些文章也用λ表示抑胎。這個(gè)系數(shù)需要用戶指定燥滑。
那添加L1和L2正則化有什么用？下面是L1正則化和L2正則化的作用圆恤，這些表述可以在很多文章中找到突倍。
L1正則化可以產(chǎn)生稀疏權(quán)值矩陣，即產(chǎn)生一個(gè)稀疏模型盆昙，可以用于特征選擇
L2正則化可以防止模型過擬合（overfitting）羽历；一定程度上，L1也可以防止過擬合

稀疏模型與特征選擇

上面提到L1正則化有助于生成一個(gè)稀疏權(quán)值矩陣淡喜，進(jìn)而可以用于特征選擇秕磷。為什么要生成一個(gè)稀疏矩陣？
稀疏矩陣指的是很多元素為0炼团，只有少數(shù)元素是非零值的矩陣澎嚣，即得到的線性回歸模型的大部分系數(shù)都是0. 通常機(jī)器學(xué)習(xí)中特征數(shù)量很多，例如文本處理時(shí)瘟芝，如果將一個(gè)詞組（term）作為一個(gè)特征易桃，那么特征數(shù)量會(huì)達(dá)到上萬個(gè)（bigram）。在預(yù)測或分類時(shí)锌俱，那么多特征顯然難以選擇晤郑，但是如果代入這些特征得到的模型是一個(gè)稀疏模型，表示只有少數(shù)特征對這個(gè)模型有貢獻(xiàn)贸宏，絕大部分特征是沒有貢獻(xiàn)的造寝，或者貢獻(xiàn)微小（因?yàn)樗鼈兦懊娴南禂?shù)是0或者是很小的值吭练，即使去掉對模型也沒有什么影響）诫龙，此時(shí)我們就可以只關(guān)注系數(shù)是非零值的特征。這就是稀疏模型與特征選擇的關(guān)系鲫咽。

L1和L2正則化的直觀理解

這部分內(nèi)容將解釋為什么L1正則化可以產(chǎn)生稀疏模型（L1是怎么讓系數(shù)等于零的）签赃，以及為什么L2正則化可以防止過擬合。
L1正則化和特征選擇
假設(shè)有如下帶L1正則化的損失函數(shù)：
J=J0+α∑w|w|(1)
其中J0是原始的損失函數(shù)分尸，加號后面的一項(xiàng)是L1正則化項(xiàng)姊舵，α是正則化系數(shù)。注意到L1正則化是權(quán)值的絕對值之和寓落，J是帶有絕對值符號的函數(shù)括丁，因此J是不完全可微的。機(jī)器學(xué)習(xí)的任務(wù)就是要通過一些方法（比如梯度下降）求出損失函數(shù)的最小值伶选。當(dāng)我們在原始損失函數(shù)J0后添加L1正則化項(xiàng)時(shí)史飞，相當(dāng)于對J0做了一個(gè)約束。令L=α∑w|w|仰税，J=J0+L构资，此時(shí)我們的任務(wù)變成在L約束下求出J0取最小值的解≡纱兀考慮二維的情況吐绵，即只有兩個(gè)權(quán)值w1和w2，此時(shí)L=|w1|+|w2|對于梯度下降法，求解J0的過程可以畫出等值線己单，同時(shí)L1正則化的函數(shù)L也可以在w1w2的二維平面上畫出來唉窃。如下圖：

@圖1 L1正則化

L2正則化和過擬合

擬合過程中通常都傾向于讓權(quán)值盡可能小处铛，最后構(gòu)造一個(gè)所有參數(shù)都比較小的模型饲趋。因?yàn)橐话阏J(rèn)為參數(shù)值小的模型比較簡單拐揭，能適應(yīng)不同的數(shù)據(jù)集，也在一定程度上避免了過擬合現(xiàn)象奕塑√梦郏可以設(shè)想一下對于一個(gè)線性回歸方程，若參數(shù)很大爵川，那么只要數(shù)據(jù)偏移一點(diǎn)點(diǎn)，就會(huì)對結(jié)果造成很大的影響息楔；但如果參數(shù)足夠小寝贡，數(shù)據(jù)偏移得多一點(diǎn)也不會(huì)對結(jié)果造成什么影響，專業(yè)一點(diǎn)的說法是『抗擾動(dòng)能力強(qiáng)』值依。
那為什么L2正則化可以獲得值很小的參數(shù)圃泡？
以線性回歸中的梯度下降法為例。假設(shè)要求的參數(shù)為θ愿险，hθ(x)是我們的假設(shè)函數(shù)颇蜡，那么線性回歸的代價(jià)函數(shù)如下：
J(θ)=12m∑i=1m(hθ(x(i))?y(i))(3)
那么在梯度下降法中，最終用于迭代計(jì)算參數(shù)θ的迭代式為： θj:=θj?α1m∑i=1m(hθ(x(i))?y(i))x(i)j(4)
其中α是learning rate. 上式是沒有添加L2正則化項(xiàng)的迭代公式辆亏，如果在原始代價(jià)函數(shù)之后添加L2正則化风秤，則迭代公式會(huì)變成下面的樣子： θj:=θj(1?αλm)?α1m∑i=1m(hθ(x(i))?y(i))x(i)j(5)
其中λ就是正則化參數(shù)。從上式可以看到扮叨，與未添加L2正則化的迭代公式相比缤弦，每一次迭代，θj都要先乘以一個(gè)小于1的因子彻磁，從而使得θj不斷減小碍沐，因此總得來看，θ是不斷減小的衷蜓。
最開始也提到L1正則化一定程度上也可以防止過擬合累提。之前做了解釋，當(dāng)L1的正則化系數(shù)很小時(shí)磁浇，得到的最優(yōu)解會(huì)很小斋陪，可以達(dá)到和L2正則化類似的效果。

正則化參數(shù)的選擇

L1正則化參數(shù)

通常越大的λ可以讓代價(jià)函數(shù)在參數(shù)為0時(shí)取到最小值置吓。下面是一個(gè)簡單的例子鳍贾，這個(gè)例子來自Quora上的問答。為了方便敘述交洗，一些符號跟這篇帖子的符號保持一致骑科。
假設(shè)有如下帶L1正則化項(xiàng)的代價(jià)函數(shù)：
F(x)=f(x)+λ||x||1
其中x是要估計(jì)的參數(shù)，相當(dāng)于上文中提到的w以及θ. 注意到L1正則化在某些位置是不可導(dǎo)的构拳，當(dāng)λ足夠大時(shí)可以使得F(x)在x=0時(shí)取到最小值咆爽。如下圖：

@圖3 L1正則化參數(shù)的選擇

L2正則化參數(shù)

從公式5可以看到斗埂，λ越大符糊，θj衰減得越快。另一個(gè)理解可以參考圖2呛凶，λ越大男娄，L2圓的半徑越小，最后求得代價(jià)函數(shù)最值時(shí)各參數(shù)也會(huì)變得很小漾稀。

Reference

過擬合的解釋： https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss2.html
正則化的解釋： https://hit-scir.gitbooks.io/neural-networks-and-deep-learning-zh_cn/content/chap3/c3s5ss1.html
正則化的解釋： http://blog.csdn.net/u012162613/article/details/44261657
正則化的數(shù)學(xué)解釋（一些圖來源于這里）： http://blog.csdn.net/zouxy09/article/details/24971995