鏈接:
1. 線性回歸總結(jié)
2. 正則化
3. 邏輯回歸
4. Boosting
5. Adaboost算法
線性回歸是通過擬合來達(dá)到目的仲墨，而邏輯回歸呢側(cè)重的是探尋概率贤壁，它不去尋找擬合的超平面，而是去尋找某個(gè)數(shù)據(jù)的類別歸屬問題犀概。
一. 預(yù)測函數(shù)
Sigmoid函數(shù)
怎么去預(yù)測？我們知道Sigmoid函數(shù)是如上這樣的夜惭，它的表現(xiàn)是：將數(shù)據(jù)歸納在0-1之間姻灶，那么我們能不能通過去計(jì)算出的結(jié)果去擬合這樣一個(gè)概率，使之成為一種分類的依據(jù)诈茧？答案是肯定的产喉。凡事的概率都在0和1之間，擬合了概率，就是擬合了判定條件曾沈。
Paste_Image.png
二. 具體做法
我們知道線性回歸是這樣子的：
將Sigmoid函數(shù)加載到這個(gè)結(jié)果上这嚣，不就是將結(jié)果0-1概率化了么：
邏輯回歸表達(dá)式
所以是這樣子的：
回歸對(duì)比
三. 損失函數(shù)
這樣一來針對(duì)已有數(shù)據(jù)那就是0/1問題，要么概率為1的數(shù)據(jù)塞俱，要么概率為0的數(shù)據(jù)：
樣本評(píng)判
對(duì)于我們來說概率可以簡寫合并成：
取其似然函數(shù)：
我們要做的是在最大似然估計(jì)就是求使 L(θ )取最大值時(shí)的θ
對(duì)數(shù)函數(shù)
這里可以自己做主姐帚，我選用下面作為損失函數(shù)，要是最大似然估計(jì)最大障涯，就要使J(θ)函數(shù)最小罐旗，通過不斷的優(yōu)化θ使得J函數(shù)最小，進(jìn)而L函數(shù)概率最大唯蝶，完成任務(wù)九秀。
損失函數(shù)
四. 求解過程
1. 梯度下降法：###
迭代函數(shù)
具體求解
2. 矩陣法：###
求解過程
最終公式
通過依次求解A，E, θ得到最終解生棍。（A為線性回歸的θ*X）
參考：
邏輯回歸
邏輯回歸模型(Logistic Regression, LR)基礎(chǔ) - 文賽平
機(jī)器學(xué)習(xí)—邏輯回歸理論簡介
