1.二分類問題
- Logistic Regression就是一個二分類問題潜的；
- 二分類問題的目標就是輸入一個數(shù)據(jù)集要销，通過學習得到一個分類器，預測得出數(shù)據(jù)是0或是1夏块，也就是視頻中所說疏咐，輸入64
64
Notation符號說明
- 樣本：
浑塞，訓練樣本包含m個；
- 輸入數(shù)據(jù)：
政己；
- 輸出：
酌壕，目標值屬于0，1分類歇由；
2. Logistic Regresion
邏輯回歸中卵牍，預測值用概率形式表示：表示輸出值為1的概率沦泌；
然而一般情況下糊昙，預測值常用線性函數(shù)表示：，此時谢谦，
遠大于1释牺，故引入sigmoid函數(shù)，此時回挽，預測值：
由圖看出没咙，
注意：
- 梯度消失問題千劈？（梯度下降公式不斷更新祭刚，sigmoid函數(shù)導數(shù)越來越小，每次迭代步伐越來越小，最終趨近于0）
3. 代價函數(shù)與損失函數(shù)（Cost function&Loss function)
Loss function:
一般的損失函數(shù)用平方錯誤來表示：然而這是一個非凸函數(shù)（non convex）涡驮，只能找到局部最優(yōu)解暗甥，不能使用梯度下降法，無法找到全局最優(yōu)解遮怜。因此淋袖，對于logistic regression來說，要選用凸函數(shù)锯梁。
loss function of logistic regression:
-
(預測效果越好)即碗，
（預測效果越好)
- 這是針對單個樣本點的損失函數(shù)，我們的目標是最小化單個樣本點的損失函數(shù)陌凳。
Cost function:
全部訓練數(shù)據(jù)集的Loss function總和的平均值即為訓練集的代價函數(shù)（Cost function）：
- 迭代計算w和b的值剥懒，minimize
4. Logistic Regression的梯度下降法Gradient Descent
- 目標：找全局最小值；
- 算法：
合敦，
:learning rate. b同理
5. m個訓練樣本的梯度下降
