邏輯回歸:假設(shè)數(shù)據(jù)服從伯努利分布的線性分類模型。
一沥匈、邏輯回歸模型
邏輯回歸模型可以看作是由線性回歸模型變化而來(lái),線性回歸 - 簡(jiǎn)書
可以看做是對(duì)線性回歸的結(jié)果進(jìn)行了一次非線性收縮。
二耕姊、邏輯回歸的目標(biāo)函數(shù)
假設(shè)每個(gè)數(shù)據(jù)都獨(dú)立地服從伯努利分布,似然函數(shù)為:
取負(fù)對(duì)數(shù)得到交叉熵誤差函數(shù)(目標(biāo)函數(shù))
與線性回歸 - 簡(jiǎn)書公式(3.13)的對(duì)?表明栅葡,它的函數(shù)形式與線性回歸模型中的平?和誤差函數(shù)的梯度的函數(shù)形式完全相同茉兰。
三、邏輯回歸的優(yōu)化
1欣簇、邏輯回歸的優(yōu)化通常采用梯度下降法
關(guān)于梯度下降法又分為批梯度下降规脸、隨機(jī)梯度下降和最小批梯度下降。其中隨機(jī)梯度下降也就是所說(shuō)的在線算法(順序算法)熊咽。
2莫鸭、其他優(yōu)化算法
四、正則化
正則化同線性回歸一樣通常為L(zhǎng)2或者L1正則化横殴。線性回歸 - 簡(jiǎn)書
五被因、多類邏輯回歸
將邏輯回歸的sigmoid換為softmax函數(shù)即變成多類邏輯回歸。
相關(guān)閱讀:邏輯回歸的常見面試點(diǎn)總結(jié) - ModifyBlog - 博客園