多元線性回歸模型中捺癞，如果所有特征一起上夷蚊，容易造成過擬合使測試數(shù)據(jù)誤差方差過大；因此減少不必要的特征髓介，簡化模型是減小方差的一個(gè)重要步驟箱歧。除了直接對特征篩選豹绪，來也可以進(jìn)行特征壓縮蝉衣，減少某些不重要的特征系數(shù)钓辆，系數(shù)壓縮趨近于0就可以認(rèn)為舍棄該特征。

嶺回歸（Ridge Regression）和Lasso回歸是在普通最小二乘線性回歸的基礎(chǔ)上加上正則項(xiàng)以對參數(shù)進(jìn)行壓縮懲罰。

首先乘粒，對于普通的最小二乘線性回歸旦棉，它的代價(jià)函數(shù)是：

線性回歸RSS

通過擬合系數(shù)β來使RSS最小剂娄。方法很簡單幼苛，求偏導(dǎo)利用線性代數(shù)解方程組即可鄙煤。

根據(jù)線性代數(shù)的理論可知凉馆，只要樣本量合適锥腻，它就存在唯一解奇唤，也就是該模型的最優(yōu)解。

這么做盡管使RSS達(dá)到了最小懈贺，它還是把所有的特征看作同樣重要的程度來求解堡妒，并沒有做任何特征選擇的诵，因此存在過擬合的可能。

嶺回歸在OLS回歸模型的RSS上加上了懲罰項(xiàng)（l2范數(shù)），這樣代價(jià)函數(shù)就成為：

嶺回歸的代價(jià)函數(shù)

λ是一個(gè)非負(fù)的調(diào)節(jié)參數(shù)，可以看到：當(dāng)λ=0時(shí)瞻讽，此時(shí)它與RSS一致，沒有起到任何懲罰作用哼勇；當(dāng)λ -> ∞時(shí)楣嘁，它的懲罰項(xiàng)也就是無窮大逐虚，而為了使代價(jià)函數(shù)最小买雾，只能壓縮系數(shù)β趨近于0晃危。

但是因?yàn)棣瞬豢赡転闊o窮大鳍鸵，二次項(xiàng)求偏導(dǎo)時(shí)總會保留變量本身，所以事實(shí)上它也不可能真正地將某個(gè)特征壓縮為0。盡管系數(shù)較小可以有效減小方差丧枪，但依然留著一大長串特征會使模型不便于解釋恋博。這是嶺回歸的缺點(diǎn)。

lasso回歸的正項(xiàng)則就把二次項(xiàng)改成了一次絕對值（l1范數(shù)），具體為：

lasso回歸的代價(jià)函數(shù)

一次項(xiàng)求導(dǎo)可以抹去變量本身，因此lasso回歸的系數(shù)可以為0。這樣可以起來真正的特征篩選效果。

無論對于嶺回歸還是lasso回歸督怜，本質(zhì)都是通過調(diào)節(jié)λ來實(shí)現(xiàn)模型誤差vs方差的平衡調(diào)整屉凯。

訓(xùn)練構(gòu)建嶺回歸模型

> library(ISLR)
> Hitters = na.omit(Hitters)
> x = model.matrix(Salary~., Hitters)[,-1] # 構(gòu)建回歸設(shè)計(jì)矩陣
> y = Hitters$Salary
> 
> library(glmnet)
> grid = 10^seq(10,-2,length = 100) # 生成100個(gè)λ值
> ridge.mod = glmnet(x,y,alpha = 0,lambda = grid) # alpha為0表示嶺回歸模型灌旧，為1表示lasso回歸模型
> 
> dim(coef(ridge.mod)) # 20*100的系數(shù)矩陣稼稿。20是19個(gè)特征+截距項(xiàng)硬猫，100是λ值
[1]  20 100
> 
> # 顯然可見l2范數(shù)越大衬横，系數(shù)就越小
> ridge.mod$lambda[50]
[1] 11497.57
> coef(ridge.mod)[,50]
  (Intercept)         AtBat          Hits         HmRun          Runs 
407.356050200   0.036957182   0.138180344   0.524629976   0.230701523 
          RBI         Walks         Years        CAtBat         CHits 
  0.239841459   0.289618741   1.107702929   0.003131815   0.011653637 
       CHmRun         CRuns          CRBI        CWalks       LeagueN 
  0.087545670   0.023379882   0.024138320   0.025015421   0.085028114 
    DivisionW       PutOuts       Assists        Errors    NewLeagueN 
 -6.215440973   0.016482577   0.002612988  -0.020502690   0.301433531 
> ridge.mod$lambda[60]
[1] 705.4802
> coef(ridge.mod)[,60]
 (Intercept)        AtBat         Hits        HmRun         Runs 
 54.32519950   0.11211115   0.65622409   1.17980910   0.93769713 
         RBI        Walks        Years       CAtBat        CHits 
  0.84718546   1.31987948   2.59640425   0.01083413   0.04674557 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
  0.33777318   0.09355528   0.09780402   0.07189612  13.68370191 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-54.65877750   0.11852289   0.01606037  -0.70358655   8.61181213 
> 
> # 輸入一個(gè)新的λ，比如50，來預(yù)測系數(shù)
> predict(ridge.mod,s=50,type="coefficients")[1:20,]
  (Intercept)         AtBat          Hits         HmRun          Runs 
 4.876610e+01 -3.580999e-01  1.969359e+00 -1.278248e+00  1.145892e+00 
          RBI         Walks         Years        CAtBat         CHits 
 8.038292e-01  2.716186e+00 -6.218319e+00  5.447837e-03  1.064895e-01 
       CHmRun         CRuns          CRBI        CWalks       LeagueN 
 6.244860e-01  2.214985e-01  2.186914e-01 -1.500245e-01  4.592589e+01 
    DivisionW       PutOuts       Assists        Errors    NewLeagueN 
-1.182011e+02  2.502322e-01  1.215665e-01 -3.278600e+00 -9.496680e+00 
> 
> # 劃分訓(xùn)練集和測試集
> set.seed(1)
> train = sample(1:nrow(x),nrow(x)/2)
> test = (-train)
> y.test = y[test]
> 
> # 訓(xùn)練模型，并計(jì)算λ=4時(shí)的MSE
> ridge.mod = glmnet(x[train,],y[train],alpha = 0,lambda = grid,thresh = 1e-12)
> ridge.pred = predict(ridge.mod,s=4,newx = x[test,])
> mean((ridge.pred - y.test)^2)
[1] 101036.8
> 
> # 增大λ為10的10^10艾疟，此時(shí)可視為各個(gè)特征都被壓縮趨近為0，基本只剩截距項(xiàng)起作用
> ridge.pred = predict(ridge.mod,s=1e10,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE更大
[1] 193253.1
> 
> # 計(jì)算當(dāng)λ=0也就是不加懲罰的最小二乘回歸
> ridge.pred = predict(ridge.mod,s=0,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 114723.6
> 
> ## 以上結(jié)果說明锅劝，如果λ選得不合適饥瓷，結(jié)果不一定就比最小二乘回歸模型更優(yōu)线定。至于怎么選擇λ，就用交叉驗(yàn)證法艺普。
> 
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha=0)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為212
[1] 211.7416
> 
> ridge.pred = predict(ridge.mod,s=bestlam,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 96015.51
> 
> # 基于整個(gè)數(shù)據(jù)集構(gòu)建嶺回歸模型
> out = glmnet(x,y,alpha = 0)
> predict(out,type = "coefficients",s=bestlam)[1:20,]
 (Intercept)        AtBat         Hits        HmRun         Runs 
  9.88487157   0.03143991   1.00882875   0.13927624   1.11320781 
         RBI        Walks        Years       CAtBat        CHits 
  0.87318990   1.80410229   0.13074381   0.01113978   0.06489843 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
  0.45158546   0.12900049   0.13737712   0.02908572  27.18227535 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-91.63411299   0.19149252   0.04254536  -1.81244470   7.21208390 
> 
> ## 可見嶺回歸模型還是19個(gè)特征舌界，沒有舍棄任何特征猾普！

cv.out的圖如下：

cv.out

當(dāng)log(λ)為5.+時(shí)（log(bestlam)=5.3）仆葡，MSE最小南窗。

訓(xùn)練構(gòu)建lasso回歸模型

> lasso.mod = glmnet(x[train,],y[train],alpha = 1,lambda = grid)
> plot(lasso.mod) # 可見有些特征的系數(shù)確實(shí)可以為0
> 
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha =1)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為16
[1] 16.78016
> lasso.pred = predict(lasso.mod,s=bestlam,newx = x[test,])
> mean((lasso.pred-y.test)^2)
[1] 100743.4
> 
> ## 可見lasso回歸模型與嶺回歸模型MSE差不多，甚至嶺回歸模型的MSE更小一些氧映。
> 
> out = glmnet(x,y,alpha = 1,lambda = grid)
> lasso.coef = predict(out,type="coefficients",s=bestlam)[1:20,]
> lasso.coef
 (Intercept)        AtBat         Hits        HmRun         Runs 
  18.5394844    0.0000000    1.8735390    0.0000000    0.0000000 
         RBI        Walks        Years       CAtBat        CHits 
   0.0000000    2.2178444    0.0000000    0.0000000    0.0000000 
      CHmRun        CRuns         CRBI       CWalks      LeagueN 
   0.0000000    0.2071252    0.4130132    0.0000000    3.2666677 
   DivisionW      PutOuts      Assists       Errors   NewLeagueN 
-103.4845458    0.2204284    0.0000000    0.0000000    0.0000000 
> 
> ## 可見lasso回歸模型中哈打，有12個(gè)特征系數(shù)被壓縮至0料仗。相對于嶺回歸模型立轧，這里的lasso回歸模型以犧牲一部分的準(zhǔn)確度為代價(jià)比伏，換取更簡潔的模型，增加模型的可解釋性摩窃。這是lasso回歸的優(yōu)勢。