正則化是通過改變模型參數(shù)來防止過擬合的一個方法。
前面使用多項式回歸屠列,如果多項式最高次項比較大踪央,模型就容易出現(xiàn)過擬合。正則化是一種常見的防止過擬合的方法渊额,一般原理是在代價函數(shù)后面加上一個對參數(shù)的約束項每篷,這個約束項被叫做正則化項(regularizer)。在線性回歸模型中端圈,通常有兩種不同的正則化項:
1.加上所有參數(shù)(不包括thea 0)的絕對值之和焦读,即l1l1范數(shù),此時叫做Lasso回歸
2.加上所有參數(shù)(不包括thea 0)的平方和舱权,即l2l2范數(shù)矗晃,此時叫做嶺回歸