Linear regression一般只對(duì)low dimension適用，比如n=50, p=5挽荡，而且這五個(gè)變量還不存在multicolinearity.
Ridge Regression的提出就是為了解決multicolinearity的藐石，加一個(gè)L2 penalty term也是因?yàn)樗闫饋?lái)方便。然而它并不能shrink parameters to 0.所以沒法做variable selection定拟。
LASSO是針對(duì)Ridge Regression的沒法做variable selection的問題提出來(lái)的于微，L1 penalty雖然算起來(lái)麻煩，沒有解析解青自，但是可以把某些系數(shù)shrink到0啊株依。
然而LASSO雖然可以做variable selection，但是不consistent啊延窜，而且當(dāng)n很小時(shí)至多只能選出n個(gè)變量恋腕；而且不能做group selection。于是有了在L1和L2 penalty之間做個(gè)權(quán)重就是elastic net.
針對(duì)不consistent有了adaptive lasso逆瑞，針對(duì)不能做group selection有了group lasso, 在graphical models里有了graphical lasso荠藤。
然后有人說(shuō)unbiasedness, sparsity and continuity這三條都滿足多好憎兽，于是有了MCP和SCAD同時(shí)滿足這三條性質(zhì)敏簿。penalized regression太多了兼都，上面提到的都是比較popular的方法了畦戒。Source
