監(jiān)督學(xué)習(xí)
非監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)的一般流程與術(shù)語
x和y
訓(xùn)練模型
訓(xùn)練模型即最小化代價函數(shù)的過程，有如下方法
梯度下降法
模型下降法(Gradient Descent)有一個很形象的幫助理解的方法(對于2個參數(shù)的情況)
快速收斂的Tricks
經(jīng)驗為主
特征縮放(Feature Scaling)
- 均值歸一化(Mean Normalization)
損失函數(shù)變大
學(xué)習(xí)率過大，overshooting
線性回歸(Linear Regression)
損失函數(shù)：
邏輯回歸(Logistic Regression)
損失函數(shù)：
最大似然估計(maximum likelihood estimation)
不用手動選擇alpha(線性搜索法line search自動選擇)
比梯度下降法更快
更復(fù)雜
多分類問題
共軛梯度法(Conjugate Gradient)
DFP
BFGS
overfitting：有太多feature，hypothesis很容易擬合當(dāng)前數(shù)據(jù)，loss接近0停团，但是不能很好的泛化
high variance
