大綱：
? ? 1. 什么是lasso regression黑滴，ridge regression赂乐？
? ? 2. 為什么lasso regression又稱為l1 regularization屋厘，ridge regression又稱為l2 regularization涕烧？
? ? 3. 為什么lasso regression 可以用于變量選擇，但是ridge regression不可以汗洒？
一 什么是lasso regression议纯，ridge regression
????lasso regression，ridge regression 都是用于線性回歸的收縮方法（Shrinkage Methods）溢谤。在線性回歸目標(biāo)函數(shù)中加入lasso regression或者ridge regression瞻凤，可以使模型的variance降低，使模型具有更強的泛化能力（generalization）溯香。
原來線性回歸的目標(biāo)函數(shù)：
加入lasso regression的線性回歸目標(biāo)函數(shù)：
等價于：
加入ridge regression的線性回歸目標(biāo)函數(shù)：
等價于：
二?為什么lasso regression又稱為l1 regularization鲫构，ridge regression又稱為l2 regularization
從上面的lasso?regression公式可以看出，目標(biāo)函數(shù)加入的lasso regression項是一范數(shù)玫坛，而ridge?regression項是二范數(shù)结笨。
三?為什么lasso regression 可以用于變量選擇，但是ridge regression不可以
假設(shè)線性回歸模型具有兩個變量，?lasso的參數(shù)估計是所有滿足|β1|+|β2|≤t中炕吸，使得殘差平方和取得最小值的β1和β2伐憾。當(dāng)t很大時，限制條件幾乎是無效的赫模。只要t所定義的區(qū)域包含最小二乘解树肃，那么收縮方法得出的參數(shù)估計和一般最小二乘回歸就相同。相反瀑罗，如果t很小胸嘴，那么可能的參數(shù)取值范圍就很有限。ridge同理斩祭。
下圖中的橢圓表示有相同的殘差平方和的參數(shù)估計劣像，左圖的菱形表示lasso 約束區(qū)域， 右圖的圓形表示ridge約束區(qū)域摧玫。橢圓越大意味著殘差平方和越大耳奕。我們既要保證殘差平方和最小，同時也要滿足lasso或者ridge的約束條件诬像。如圖所示屋群，當(dāng)保證橢圓最小同時與lasso的菱形相交，其中一個參數(shù)的估計等于0坏挠。但是對于右圖的ridge regression芍躏，當(dāng)橢圓與圓形約束相交時，兩個參數(shù)都不為0.
上面是2個參數(shù)的情況降狠。如果是多個纸肉，那么lasso的約束區(qū)域會有多個棱角，會有多個變量同時為0喊熟，但是ridge的約束區(qū)域仍是圓滑的，不會有參數(shù)為0姐刁，只能會無限接近0.
