邏輯回歸又稱logistic回歸，邏輯斯諦回歸一罩，是一種廣義的線性回歸分析模型惠毁。

1. Sigmod函數(shù)

?Sigmoid函數(shù)也是神經(jīng)網(wǎng)絡(luò)中常用的函數(shù)，用于把x從負(fù)無窮到正無窮壓縮到y(tǒng)從0到1之間栖博。畫出來就是一條S型曲線，如下圖中的藍(lán)色曲線：

?它以0點為中心對稱厢洞，公式如下：

?當(dāng)x值接近負(fù)無窮時仇让，分母很大，S(x)接近0躺翻，當(dāng)x接近正無窮時丧叽，分母接近1，S(x)接近1公你，當(dāng)x為0時踊淳，S(x)為1/2在正中間。S曲線的彎曲程度由e決定陕靠。 它的導(dǎo)數(shù)是上圖中的橙色曲線：

?導(dǎo)數(shù)的意義是變化率迂尝，當(dāng)x很大時或很小時，S’(x)接近0剪芥，而在x接近0時垄开，S’(x)值最大，即S曲線在0點處變化劇烈税肪，它勾勒出了y在0與1之間模棱兩可的區(qū)域溉躲。

2. 邏輯斯諦分布

?必須滿足邏輯斯諦分布，才能用邏輯回歸益兄。那么什么是邏輯斯諦分布签财？
邏輯斯諦分布即增長分布，增長分布的分布函數(shù)是“增長函數(shù)”偏塞，公式如下：

?可以看到，它把(x-μ)/γ代入Sigmoid函數(shù)邦鲫。其中μ是位置參數(shù)灸叼，也可解釋為數(shù)學(xué)期望（大多數(shù)情況下是均值）神汹，散布中心，而γ是形狀參數(shù)古今，它描述了散布程度（集中還是分散）屁魏。邏輯斯諦分布記為L(μ,γ)，當(dāng)時μ=0捉腥，γ=1氓拼，稱為標(biāo)準(zhǔn)的邏輯斯諦分布，就是Sigmoid函數(shù)抵碟。

?我們形象地看一下μ和γ的功能：假設(shè)μ=3, γ=2桃漾，繪出的曲線如下：

?相比，它的中心點在μ=3（橫坐標(biāo)3拟逮，縱坐標(biāo)1/2）撬统，且曲線也比較平緩γ=2，γ值越小敦迄，中心附近變化越劇烈恋追。 增長函數(shù)是sigmoid的擴展，它將以0為中心以1為單位的S曲線罚屋，擴展為以μ為中心苦囱，以γ為單位的S曲線。 換言之脾猛，只要分布符合S曲線撕彤，就能用邏輯回歸。

3. 分布函數(shù)和密度函數(shù)

?從概率的角度上講尖滚，藍(lán)色曲線它是分布函數(shù)喉刘，分布函數(shù)也叫累計分布函數(shù)（積分），它的函數(shù)值是概率P(X<=x)漆弄，x越靠右睦裳，概率X發(fā)生的概率越大。

?常用的說明例子是：植物群體中發(fā)病的普遍率撼唾，橫軸為時間廉邑，縱軸為發(fā)病率，一開始發(fā)病的植物少倒谷，增長緩慢蛛蒙，在中段出現(xiàn)爆發(fā)式增長，最終增長變慢渤愁，飽合達(dá)到100%牵祟。可以說分布函數(shù)中的Y是一個隨時間積累得到的量（單調(diào)上升）抖格，即到時刻x為止诺苹，發(fā)病植物占所有植物的比例咕晋。而它的導(dǎo)數(shù)橙色線，即x時刻新發(fā)病的植物占整體的比例收奔，即密度函數(shù)掌呜。

4. 邏輯回歸

?邏輯回歸又稱logistic回歸，邏輯斯諦回歸坪哄，是一種廣義的線性回歸分析模型质蕉。線性模型是通過一組值X0…Xn預(yù)測Y的具體值（從特征預(yù)測結(jié)果），而邏輯回歸是將用X0…Xn預(yù)測Y屬于哪個分類（A/B分類）翩肌，基本的邏輯是先預(yù)測具體值模暗，然后再用Sigmoid函數(shù)將具體值映射到0-1之間。如果這個概率大于0.5摧阅，則認(rèn)為是A類汰蓉。而決定0.5的因素是各個特征的權(quán)重。

(1) 疑問一：直線和S曲線有什么關(guān)系棒卷？

?y1=wx+b想像它的圖像是x為橫軸顾孽，y1為縱軸的一條直線，縱軸范圍很大比规。而Sigmoid是0-1間的曲線若厚，先把wx+b計算出y1，再將y1代入sigmoid函數(shù)蜒什，計算y2： y1=w*x+b (公式1)

?y2=sigmoid(y1) (公式2) 這是個函數(shù)嵌套测秸，所以結(jié)果并不直觀；它相當(dāng)于把x軸映射到y(tǒng)軸（藍(lán)色）灾常，再把y軸按S曲線從正無窮到負(fù)無窮壓縮到了0-1之間（橙色）霎冯。

(2) 疑問二：Sigmoid函數(shù)和概率有什么關(guān)系？

?把直線方程代入Sigmoid函數(shù)（公式1代入公式2）钞瀑，公式如下：

?如果看成二分類問題沈撞，當(dāng)sigmoid函數(shù)值大于0.5時認(rèn)為是A類，否則認(rèn)為是B類雕什。通過直線方程缠俺，我們用特征x預(yù)測目標(biāo)值y1，而通過sigmoid的變換贷岸，計算出該值屬于哪個分類的概率y2壹士。容易看出：上式的兩個概率之和為1（兩種可能性加起來是100%）。邏輯斯諦回歸比較兩個條件概率值的大小偿警，將實例x分到概率值較大的一類中躏救。

?把x和w推廣到高維多特征的情況下，w=(w1,w2,w3…b), x=(x1,x2,x3,…1)則公式變換如下：

?可以說螟蒸，邏輯回歸基本上就是線性回歸的擴展盒使。

5 模型參數(shù)的估計

?具體應(yīng)用時睁本，我們知道實例有多個特征x(x1,x2,x3…)，求各個特征對應(yīng)的權(quán)重w(w1,w2,w3…b)忠怖，使得各個實例都能正確分類，求取w一般使用梯度上升法或牛頓法抄瑟，這里講講梯度上升法凡泣。

6. 應(yīng)用

?需要注意的是w*x是線性函數(shù)，每個x與y之間皮假，需要服從單調(diào)上升或者調(diào)下降的關(guān)系鞋拟，如果不服從這種關(guān)系，就不能用邏輯回歸惹资。比如目標(biāo)分類y是強壯與否贺纲，而特征x是年齡，我們知道并不是年齡越大越強壯（老年人）褪测，二者間并不存在同增同減的關(guān)系猴誊，年齡因素就沒法直接使用邏輯回歸，除非先對年齡做變換侮措，例如abs(年齡-35)懈叹。

7. 參考

(1) 概率論中常見分布總結(jié)以及python的scipy庫使用：兩點分布、二項分布分扎、幾何分布澄成、泊松分布、均勻分布畏吓、指數(shù)分布墨状、正態(tài)分布
https://www.cnblogs.com/pinking/p/7898313.html