線性回歸
OLS蒙畴、Ridge胁附、Lasso的優(yōu)缺點(diǎn)對(duì)比：
OLS 最小二乘法：優(yōu)點(diǎn)：計(jì)算方便（套入公式即可） 缺點(diǎn)：數(shù)據(jù)維度越高酪耕，參數(shù)值越大导梆、更容易過擬合，且計(jì)算過程涉及矩陣求逆操作迂烁，計(jì)算量更大
Ridge 嶺回歸：優(yōu)點(diǎn)：通過調(diào)整L2懲罰因子看尼，防止維度變高時(shí)參數(shù)過大問題 缺點(diǎn)：參數(shù)不能為0，即無用參數(shù)不能被削減
Lasso 回歸：優(yōu)點(diǎn)：通過調(diào)整L1懲罰因子盟步，可以使得數(shù)據(jù)的無用維度對(duì)應(yīng)參數(shù)為0藏斩，起到降低數(shù)據(jù)維度的作用
線性回歸的三種方法的目標(biāo)都是通過調(diào)整損失函數(shù)，來實(shí)現(xiàn)擬合真值的目的却盘。其中OLS方法優(yōu)化目標(biāo)為均方誤差最小化狰域，Ridge 回歸在OLS基礎(chǔ)上加入了L2正則化項(xiàng)，Lasso 回歸在OLS基礎(chǔ)上加入了L1正則化項(xiàng)
引用
1.從機(jī)器學(xué)習(xí)到深度學(xué)習(xí)：基于scikit-learn與tensorflow的高效開發(fā)實(shí)戰(zhàn)
