本文翻譯自文章：Differences between L1 and L2 as Loss Function and Regularization，如有翻譯不當(dāng)之處，歡迎拍磚，謝謝~
??在機器學(xué)習(xí)實踐中弛车，你也許需要在神秘的L1和L2中做出選擇。通常的兩個決策為：1) L1范數(shù) vs L2范數(shù) 的損失函數(shù)； 2) L1正則化 vs L2正則化祈坠。
作為損失函數(shù)
??L1范數(shù)損失函數(shù)，也被稱為最小絕對值偏差（LAD）矢劲，最小絕對值誤差（LAE）赦拘。總的說來芬沉，它是把目標(biāo)值（）與估計值（
）的絕對差值的總和（
）最小化：
??L2范數(shù)損失函數(shù)躺同，也被稱為最小平方誤差（LSE）⊥枰荩總的來說蹋艺，它是把目標(biāo)值（）與估計值（
）的差值的平方和（
）最小化：
??L1范數(shù)與L2范數(shù)作為損失函數(shù)的區(qū)別能快速地總結(jié)如下：
| L2損失函數(shù) | L1損失函數(shù) |
|---|---|
| 不是非常的魯棒（robust） | 魯棒 |
| 穩(wěn)定解 | 不穩(wěn)定解 |
| 總是一個解 | 可能多個解 |
??魯棒性（robustness），根據(jù)維基百科黄刚，被解釋為：
因為與最小平方相比捎谨，最小絕對值偏差方法的魯棒性更好，因此憔维，它在許多場合都有應(yīng)用涛救。最小絕對值偏差之所以是魯棒的，是因為它能處理數(shù)據(jù)中的異常值业扒。這或許在那些異常值可能被安全地和有效地忽略的研究中很有用检吆。如果需要考慮任一或全部的異常值，那么最小絕對值偏差是更好的選擇程储。
從直觀上說咧栗，因為L2范數(shù)將誤差平方化（如果誤差大于1逆甜，則誤差會放大很多），模型的誤差會比L1范數(shù)來得大（ e vs e^2 ）致板，因此模型會對這個樣本更加敏感交煞，這就需要調(diào)整模型來最小化誤差。如果這個樣本是一個異常值斟或，模型就需要調(diào)整以適應(yīng)單個的異常值素征，這會犧牲許多其它正常的樣本，因為這些正常樣本的誤差比這單個的異常值的誤差小萝挤。
??穩(wěn)定性御毅，根據(jù)維基百科，被解釋為：
最小絕對值偏差方法的不穩(wěn)定性意味著怜珍，對于數(shù)據(jù)集的一個小的水平方向的波動端蛆，回歸線也許會跳躍很大。在一些數(shù)據(jù)結(jié)構(gòu)（data configurations）上酥泛，該方法有許多連續(xù)解今豆；但是，對數(shù)據(jù)集的一個微小移動柔袁，就會跳過某個數(shù)據(jù)結(jié)構(gòu)在一定區(qū)域內(nèi)的許多連續(xù)解呆躲。（The method has continuous solutions for some data configurations; however, by moving a datum a small amount, one could “jump past” a configuration which has multiple solutions that span a region. ）在跳過這個區(qū)域內(nèi)的解后，最小絕對值偏差線可能會比之前的線有更大的傾斜捶索。相反地插掂，最小平方法的解是穩(wěn)定的，因為對于一個數(shù)據(jù)點的任何微小波動腥例，回歸線總是只會發(fā)生輕微移動辅甥；也就說，回歸參數(shù)是數(shù)據(jù)集的連續(xù)函數(shù)燎竖。
下面的圖是用真實數(shù)據(jù)和真實擬合模型生成的：
這里使用的基本模型為梯度提升回歸（GradientBoostingRegressor）肆氓，使用L1范數(shù)和L2范數(shù)作為損失函數(shù)。綠線和紅色分別代表了模型使用L1范數(shù)與L2范數(shù)作為損失函數(shù)時的情形底瓣。實線代表了訓(xùn)練的模型中不含有異常值（橙色）的情形，虛線代表了訓(xùn)練的模型中含有異常值（橙色）的情形蕉陋。
??我緩慢地將這個異常值從左向右移動捐凭，使得它在中間時不那么異常，而在左右兩邊時更加異常凳鬓。當(dāng)這個異常值不那么異常時（在中間的情形）茁肠，在擬合直線的時候，L2范數(shù)的變動較小缩举，而L1范數(shù)的表動較大垦梆。
??當(dāng)這個異常值更加異常（上左位置匹颤，下右位置，它們離左托猩、右兩邊更加遠）時印蓖，這兩個范數(shù)都有大的變動，但是再一次地京腥，L1范數(shù)總體上比L2范數(shù)變動更大赦肃。
??通過數(shù)據(jù)可視化，我們能夠?qū)@兩個損失函數(shù)的穩(wěn)定性有更好的認知公浪。
作為正規(guī)化
??在機器學(xué)習(xí)中他宛，正規(guī)化是防止過擬合的一種重要技巧。從數(shù)學(xué)上講，它會增加一個正則項，防止系數(shù)擬合得過好以至于過擬合济炎。L1與L2的區(qū)別只在于募闲，L2是權(quán)重的平方和，而L1就是權(quán)重的和穴张。如下：
最小平方損失函數(shù)的L1正則化：
最小平方損失函數(shù)的L2正則化：
它們的性質(zhì)的區(qū)別能快速地總結(jié)如下：
| L2正則化 | L1正則化 |
|---|---|
| 計算效率高（因為有解析解） | 在非稀疏情形下計算效率低 |
| 非稀疏輸出 | 稀疏輸出 |
| 無特征選擇 | 內(nèi)置特征選擇 |
??解的唯一性是一個更簡單的性質(zhì)，但需要一點想象。首先人灼，看下圖：
綠色的線（L2范數(shù)）是唯一的最短的路徑，而紅色顾翼、藍色投放、黃色線條（L1范數(shù)）都是同一路徑，長度一樣（12）适贸【姆迹可以將其擴展至n-維的情形。這就是為什么L2范數(shù)有唯一解而L1并不是拜姿。
??內(nèi)置特征選擇是L1范數(shù)被經(jīng)常提及的有用的性質(zhì)烙样，而L2范數(shù)并不具備。這是L1范數(shù)的自然結(jié)果蕊肥，它趨向于產(chǎn)生稀疏的系數(shù)（在后面會解釋）谒获。假設(shè)模型有100個系數(shù)，但是僅僅只有其中的10個是非零的壁却，這實際上是說“其余的90個系數(shù)在預(yù)測目標(biāo)值時都是無用的”批狱。L2范數(shù)產(chǎn)生非稀疏的系數(shù)，因此它不具備這個性質(zhì)展东。
??稀疏性指的是一個矩陣（或向量）中只有少數(shù)的項是非零的赔硫。L1范數(shù)具備性質(zhì)：產(chǎn)生許多0或非常小的系數(shù)和少量大的系數(shù)。
??計算效率盐肃。L1范數(shù)沒有一個解析解爪膊，但是L2范數(shù)有权悟。這就允許L2范數(shù)在計算上能高效地計算。然而推盛，L1范數(shù)的解具備稀疏性峦阁，這就允許它可以使用稀疏算法，以使得計算更加高效小槐。
