任何一個(gè)算法首先要j建模（假設(shè)一個(gè)函數(shù)空間）
y = wx + b w和b是未知的
然后通過一種機(jī)制利用訓(xùn)練數(shù)據(jù)選擇一個(gè)最優(yōu)的函數(shù)f出來
利用損失函數(shù)
1.構(gòu)造函數(shù)
使損失函數(shù)最小
兩個(gè)方法求解：a.最小二乘法（損失函數(shù)是一個(gè)二次函數(shù)） b. 梯度下降
牛頓法（求二階導(dǎo)）
過擬合 某些特征的權(quán)重過大
L2正則 嶺回歸
在原來最小二乘估計(jì)中浩峡，加入一個(gè)小擾動(dòng) 支救，使原先無法求廣義逆的情況變成可以求其廣義逆泥从，
嶺回歸可以讓系數(shù)變小 避免過擬合
拉索回歸可以進(jìn)行特征選擇， 可以讓一些特征權(quán)重為0 所以可以用來做特征選擇
多項(xiàng)式回歸 （核的思想）
慎用二階
階數(shù)不能過大
意義在于提高模型復(fù)雜度
神經(jīng)元 就是邏輯回歸
為什么要用激活函數(shù)氯庆，將線性關(guān)系轉(zhuǎn)化成非線性
penalty 正則化
并
