<font color=blue> Lasso </font>
在嶺回歸中，是對(duì)w的2范數(shù)做約束勇垛，就是把約束條件限制在一個(gè)球里弥锄。放縮是對(duì)球的半徑的放縮疆导，因此w的每一個(gè)維度躲在以同一系數(shù)放縮，通過放縮不會(huì)產(chǎn)生稀疏的解澳迫，即某一w為0局齿。
在實(shí)際運(yùn)用中，數(shù)據(jù)的維度是存在噪聲和冗余的橄登，稀疏的解找到有用的維度并減少冗余抓歼，提高回歸預(yù)測(cè)的魯棒性和準(zhǔn)確性。
特點(diǎn)
擅長(zhǎng)處理具有多重共線性的數(shù)據(jù)拢锹，篩選變量谣妻，與嶺回歸一樣是有偏估計(jì)。
lasso回歸表達(dá)式
與嶺回歸的區(qū)別主要在其表達(dá)式上卒稳，其懲罰函數(shù)是一個(gè)β的一階函數(shù)
將其轉(zhuǎn)換為一個(gè)約束項(xiàng)
t和λ也是一一對(duì)應(yīng)的蹋半，λ增大的過程就是t減小的過程
其幾何表現(xiàn)形式
由于方框的頂點(diǎn)更容易交于拋物面，也就是lasso更易求解充坑，而該頂點(diǎn)對(duì)應(yīng)的很多系數(shù)為0减江，也就起到了篩選變量的作用。
嶺回歸和lasso回歸過程對(duì)比
左圖為嶺回歸捻爷，右圖為lasso回歸
橫軸越往左辈灼，自由度越小（即圓或方框在收縮的過程）役衡，λ越大茵休，系數(shù)（即縱軸）會(huì)越趨于0。但是嶺回歸沒有系數(shù)真正為0，但lasso的不斷有系數(shù)變?yōu)?.
