主要解決分類和概率問題
假設(shè)公式
邏輯回歸.png
或者叫Sigmoid Function
函數(shù)曲線
損失函數(shù)
損失函數(shù).png
損失函數(shù)(同上等價).png
轉(zhuǎn)矩陣運算.png
梯度下降
求導(dǎo).png
梯度下降公式.png
矩陣運算.png
過擬合
擬合.png
- 防止過擬合:
均適用線性回歸和邏輯回歸:
1、減少feature數(shù)
1) example較少的情況下朵耕,減少feature個數(shù)
2) 使用模型選擇算法
2炫隶、正則化
1)保留所有feature,減少Zeta
2) Regularization works well when we have a lot of slightly useful features
- 梯度下降
Zeta 0 不需要處理
線性cost.png
線性梯度下降.png
邏輯cost.png
邏輯求導(dǎo).png