1. 簡述 Logistic Regression
Logistic regression 用來解決二分類問題灌危，
它假設(shè)數(shù)據(jù)服從伯努利分布，即輸出為 正 負(fù) 兩種情況冒窍，概率分別為 p 和 1-p递沪，
目標(biāo)函數(shù) hθ(x;θ) 是對(duì) p 的模擬，p 是個(gè)概率综液，這里用了 p＝sigmoid 函數(shù)款慨，
所以 目標(biāo)函數(shù) 為：
為什么用 sigmoid 函數(shù)？請(qǐng)看：Logistic regression 為什么用 sigmoid 谬莹？
損失函數(shù)是由極大似然得到檩奠，
記：
則可統(tǒng)一寫成：
寫出似然函數(shù)：
取對(duì)數(shù)：
求解參數(shù)可以用梯度上升：
先求偏導(dǎo)：
再梯度更新：
常用的是梯度下降最小化負(fù)的似然函數(shù)。
2. 先來看常用的幾種損失函數(shù)：
| 損失函數(shù) | 舉例 | 定義 | |
|---|---|---|---|
| 0-1損失 | 用于分類附帽，例如感知機(jī) |  |
預(yù)測(cè)值和目標(biāo)值不相等為1笆凌，否則為0 |
| 絕對(duì)值損失 |  |
||
| 平方損失 | Linear Regression |  |
使得所有點(diǎn)到回歸直線的距離和最小 |
| 對(duì)數(shù)損失 | Logistic Regression |  |
常用于模型輸出為每一類概率的分類器 |
| Hinge損失 | SVM |  |
用于最大間隔分類 |
| 指數(shù)損失 | AdaBoost |  |
幾種損失函數(shù)的曲線：
黑色：Gold Stantard
綠色：Hinge Loss中，當(dāng) yf(x)>1 時(shí)士葫，其損失=0，當(dāng) yf(x)<1時(shí)送悔，其損失呈線性增長（正好符合svm的需求）
紅色 Log慢显、藍(lán)色 Exponential： 在 Hinge的左側(cè)都是凸函數(shù)，并且Gold Stantard損失為它們的下界
要求最大似然時(shí)(即概率最大化)欠啤，使用Log Loss最合適荚藻，一般會(huì)加上負(fù)號(hào)，變?yōu)榍笞钚?br> 損失函數(shù)的凸性及有界很重要洁段，有時(shí)需要使用代理函數(shù)來滿足這兩個(gè)條件应狱。
3. LR 損失函數(shù)為什么用極大似然函數(shù)？
因?yàn)槲覀兿胍?每一個(gè) 樣本的預(yù)測(cè)都要得到最大的概率祠丝，
即將所有的樣本預(yù)測(cè)后的概率進(jìn)行相乘都最大疾呻，也就是極大似然函數(shù).對(duì)極大似然函數(shù)取對(duì)數(shù)以后相當(dāng)于對(duì)數(shù)損失函數(shù)除嘹，
由上面 梯度更新 的公式可以看出，
對(duì)數(shù)損失函數(shù)的訓(xùn)練求解參數(shù)的速度是比較快的岸蜗，
而且更新速度只和x尉咕，y有關(guān)，比較的穩(wěn)定璃岳，為什么不用平方損失函數(shù)
如果使用平方損失函數(shù)年缎，梯度更新的速度會(huì)和 sigmod 函數(shù)的梯度相關(guān)，sigmod 函數(shù)在定義域內(nèi)的梯度都不大于0.25铃慷，導(dǎo)致訓(xùn)練速度會(huì)非常慢单芜。
而且平方損失會(huì)導(dǎo)致?lián)p失函數(shù)是 theta 的非凸函數(shù)，不利于求解犁柜，因?yàn)榉峭购瘮?shù)存在很多局部最優(yōu)解洲鸠。
什么是極大似然？請(qǐng)看簡述極大似然估計(jì)
學(xué)習(xí)資料：
https://zhuanlan.zhihu.com/p/25021053
https://www.cnblogs.com/ModifyRong/p/7739955.html
https://zhuanlan.zhihu.com/p/34670728
http://www.cnblogs.com/futurehau/p/6707895.html
https://www.cnblogs.com/hejunlin1992/p/8158933.html
http://kubicode.me/2016/04/11/Machine%20Learning/Say-About-Loss-Function/
推薦閱讀 歷史技術(shù)博文鏈接匯總
http://www.reibang.com/p/28f02bb59fe5
也許可以找到你想要的：
[入門問題][TensorFlow][深度學(xué)習(xí)][強(qiáng)化學(xué)習(xí)][神經(jīng)網(wǎng)絡(luò)][機(jī)器學(xué)習(xí)][自然語言處理][聊天機(jī)器人]
