L0范數(shù)和L1范數(shù)
L0范數(shù)是指向量中非零元素的個數(shù)，如果用L0規(guī)則化一個參數(shù)矩陣W访诱，就是希望W中大部分元素為0垫挨，實現(xiàn)稀疏
L1范數(shù)是指向量中各個元素的絕對值之和
L2范數(shù)是指向量各元素的平方和然后開方
L1比L0更易求解
L1是L0的最優(yōu)凸近似,LASSO 1996, 通過L1范數(shù)來近似L0范數(shù)，是求取稀疏解的重要技術
L1:? ||x||1 = Σ|x|
L2:? ||x||2 = sqrt(Σx^2)
L1可以實現(xiàn)參數(shù)稀疏触菜，L2不行
L2有助于處理condition number不好的情況九榔，矩陣求解困難
ill-condition: Ax=b 如果A，b 發(fā)生輕微改變涡相，就使x的解發(fā)生很大變化哲泊，那么這個方程組系統(tǒng)就是ill-condition
L1,L2下降速度： L1是直線下降，L2是曲線下降
總結：L1范式趨向于產生較少特征漾峡，在特征選擇時很有用攻旦；L2會選擇更多特征喻旷，但對應權值會接近0
