lasso是很基本的sparse的model盒齿，雖然曾經(jīng)看過很多的sparse文章，但仔細(xì)想想自己竟然一直沒有去注意為什么lasso可以sparse狭魂，可以做參數(shù)選擇阅茶，后來在PRML中找到了一張示意圖
簡(jiǎn)單解釋一下圖的意思，藍(lán)色的是cost function, 越外圈越大坏晦，黃色的是p-norm萝玷，分別是2-norm和1-norm的regularizer的情況，同樣也是越外圈越大昆婿。優(yōu)化問題的解在這個(gè)平面上球碉，它一定是在cost function的某個(gè)圈上，也一定在p-norm的某個(gè)圈上（分別代表了w等于最優(yōu)解的時(shí)候仓蛆，cost function和p-norm項(xiàng)的大姓龆）。但是對(duì)于1-norm看疙，只要cost function的圈與坐標(biāo)軸相交豆拨，這個(gè)最優(yōu)解就一定在坐標(biāo)軸上，而在坐標(biāo)軸上就意味著有些參數(shù)等于0.相反能庆，2-norm就不能做到這一段施禾，在cost-function與坐標(biāo)軸相交的時(shí)候，最優(yōu)解是不在坐標(biāo)軸上面的搁胆，也就是說此時(shí)最優(yōu)解的所有參數(shù)都不為0拾积。
這也就可以解釋，為什么說lasso可以使得有些參數(shù)等于0丰涉，而2-norm只能使得大家盡量趨近于0.這其實(shí)是由它們的區(qū)域范圍形狀所決定的拓巧。
