1. 什么是邏輯斯蒂回歸
邏輯回歸是用來做分類算法的锻离。
大家都熟悉線性回歸，一般形式是Y=aX+b墓怀，y的取值范圍是[-∞, +∞]汽纠，有這么多取值，怎么進(jìn)行分類呢傀履？不用擔(dān)心虱朵，偉大的數(shù)學(xué)家已經(jīng)為我們找到了一個方法。
也就是把Y的結(jié)果帶入一個非線性變換的Sigmoid函數(shù)中钓账，即可得到[0,1]之間取值范圍的數(shù)S碴犬，S可以把它看成是一個概率值，如果我們設(shè)置概率閾值為0.5梆暮，那么S大于0.5可以看成是正樣本服协，小于0.5看成是負(fù)樣本，就可以進(jìn)行分類了啦粹。
2. 什么是Sigmoid函數(shù)
函數(shù)公式如下：
函數(shù)中t無論取什么值偿荷，其結(jié)果都在[0,-1]的區(qū)間內(nèi)，回想一下唠椭，一個分類問題就有兩種答案跳纳，一種是“是”，一種是“否”贪嫂，那0對應(yīng)著“否”寺庄，1對應(yīng)著“是”，那又有人問了撩荣，你這不是[0,1]的區(qū)間嗎铣揉，怎么會只有0和1呢？這個問題問得好餐曹，我們假設(shè)分類的閾值是0.5逛拱，那么超過0.5的歸為1分類，低于0.5的歸為0分類台猴，閾值是可以自己設(shè)定的朽合。
好了俱两，接下來我們把a(bǔ)X+b帶入t中就得到了我們的邏輯回歸的一般模型方程：
結(jié)果P也可以理解為概率，換句話說概率大于0.5的屬于1分類曹步，概率小于0.5的屬于0分類宪彩，這就達(dá)到了分類的目的。
3.損失函數(shù)是什么
邏輯回歸的損失函數(shù)是log loss讲婚，也就是對數(shù)似然函數(shù)尿孔，函數(shù)公式如下：
公式中的 y=1 表示的是真實值為1時用第一個公式，真實 y=0 用第二個公式計算損失筹麸。為什么要加上log函數(shù)呢活合？可以試想一下，當(dāng)真實樣本為1是物赶，但h=0概率白指，那么log0=∞，這就對模型最大的懲罰力度酵紫；當(dāng)h=1時告嘲，那么log1=0，相當(dāng)于沒有懲罰奖地，也就是沒有損失橄唬，達(dá)到最優(yōu)結(jié)果。所以數(shù)學(xué)家就想出了用log函數(shù)來表示損失函數(shù)参歹。
最后按照梯度下降法一樣轧坎，求解極小值點，得到想要的模型效果泽示。
4. 邏輯斯蒂回歸損失函數(shù)求導(dǎo)
極大似然估計為：
其中m表示樣本量缸血。
對數(shù)似然（乘法變加法）：
極大似然估計就是：的所有可能取值中找到一個值，使得極大似然函數(shù)取到最大值械筛。
即捎泻，我們加一個系數(shù)
涡相，轉(zhuǎn)換為求最小值的問題湿右，就可以使用梯度下降了。
求偏導(dǎo)過程如下：
可以用于這里价卤，然后
最終我們得到了
對比線性回歸的
太像了赤赊，有木有闯狱！只有式中的模型假設(shè)不同，邏輯斯蒂回歸中模型假設(shè)是經(jīng)過正態(tài)分布“映射”處理噠抛计！
我們還是進(jìn)行迭代：
最終得到合適的參數(shù)哄孤，就可以計算
，只要這個值大于0.5吹截，就可以斷定屬于正類(1)瘦陈，小于0.5凝危，就屬于負(fù)類（0）。
整個過程推導(dǎo)下來晨逝，可知線性回歸是邏輯斯蒂回歸的基礎(chǔ)蛾默，但是線性回歸用于擬合一個具體的連續(xù)值，屬于真正的回歸問題捉貌，而邏輯斯蒂回歸得到的是概率值支鸡，解決的其實是二分類問題，我們需要根據(jù)得到的概率值找到其對應(yīng)的分類趁窃。
