sigmoid函數(shù)

一.Logistic函數(shù)

Logistic函數(shù)的表示形式如下：

它的函數(shù)圖像如下，由于函數(shù)圖像很像一個(gè)“S”型，所以該函數(shù)又叫 sigmoid 函數(shù)。

滿足的性質(zhì)：

1.對(duì)稱性，關(guān)于(0,0.5)中心對(duì)稱

2.邏輯斯諦方程即微分方程

最早logistic函數(shù)是皮埃爾·弗朗索瓦·韋呂勒在1844或1845年在研究它與人口增長的關(guān)系時(shí)命名的补鼻。廣義Logistic曲線可以模仿一些情況人口增長（P）的 S 形曲線。起初階段大致是指數(shù)增長雅任；然后隨著開始變得飽和风范，增加變慢；最后沪么，達(dá)到成熟時(shí)增加停止硼婿。

當(dāng)一個(gè)物種遷入到一個(gè)新生態(tài)系統(tǒng)中后，其數(shù)量會(huì)發(fā)生變化禽车。假設(shè)該物種的起始數(shù)量小于環(huán)境的最大容納量寇漫，則數(shù)量會(huì)增長刊殉。該物種在此生態(tài)系統(tǒng)中有天敵、食物州胳、空間等資源也不足（非理想環(huán)境）记焊，則增長函數(shù)滿足邏輯斯諦方程，圖像呈S形栓撞，此方程是描述在資源有限的條件下種群增長規(guī)律的一個(gè)最佳數(shù)學(xué)模型遍膜。在以下內(nèi)容中將具體介紹邏輯斯諦方程的原理、生態(tài)學(xué)意義及其應(yīng)用瓤湘。

二.Logistic Regression(邏輯斯蒂回歸)

Logistic regression （邏輯回歸）是當(dāng)前業(yè)界比較常用的機(jī)器學(xué)習(xí)方法瓢颅，用于估計(jì)某種事物的可能性。之前在經(jīng)典之作《數(shù)學(xué)之美》中也看到了它用于廣告預(yù)測(cè)弛说，也就是根據(jù)某廣告被用戶點(diǎn)擊的可能性挽懦，把最可能被用戶點(diǎn)擊的廣告擺在用戶能看到的地方，然后叫他“你點(diǎn)我澳救恕巾兆！”用戶點(diǎn)了，你就有錢收了虎囚。這就是為什么我們的電腦現(xiàn)在廣告泛濫的原因了。

還有類似的某用戶購買某商品的可能性蔫磨，某病人患有某種疾病的可能性啊等等淘讥。這個(gè)世界是隨機(jī)的（當(dāng)然了，人為的確定性系統(tǒng)除外堤如，但也有可能有噪聲或產(chǎn)生錯(cuò)誤的結(jié)果蒲列，只是這個(gè)錯(cuò)誤發(fā)生的可能性太小了，小到千萬年不遇搀罢，小到忽略不計(jì)而已）蝗岖，所以萬物的發(fā)生都可以用可能性或者幾率（Odds）來表達(dá)±浦粒“幾率”指的是某事物發(fā)生的可能性與不發(fā)生的可能性的比值抵赢。

Logistic regression可以用來回歸，也可以用來分類唧取，主要是二分類铅鲤。它不像SVM直接給出一個(gè)分類的結(jié)果，Logistic Regression給出的是這個(gè)樣本屬于正類或者負(fù)類的可能性是多少枫弟，當(dāng)然在多分類的系統(tǒng)中給出的是屬于不同類別的可能性邢享，進(jìn)而通過可能性來分類。

假設(shè)我們的樣本是{x, y}淡诗，y是0或者1骇塘，表示正類或者負(fù)類伊履，x是我們的m維的樣本特征向量。那么這個(gè)樣本x屬于正類款违，也就是y=1的“概率”可以通過下面的邏輯函數(shù)來表示：

這里的θ是模型參數(shù)唐瀑，也就是回歸系數(shù)，σ是sigmoid函數(shù)奠货。這樣y=0的“概率”就是：

考查邏輯斯蒂回歸模型的特點(diǎn)介褥，一個(gè)事件的幾率（oods）是指這件事發(fā)生的概率與不發(fā)生概率的比值，如果事件發(fā)生的概率是p递惋，那么該事件的幾率是p/(1-p)柔滔，該事件的對(duì)數(shù)幾率(log odds)或者logit函數(shù)是

對(duì)于邏輯斯蒂回歸而言，可以得到如下的對(duì)數(shù)幾率

這就是說萍虽，在邏輯斯蒂回歸模型中睛廊，輸出y=1的對(duì)數(shù)幾率是輸入x的線性函數(shù)，或者說杉编，輸出y=1的對(duì)數(shù)幾率是由輸入x的線性函數(shù)表示的模型超全，即邏輯斯蒂回歸模型。換句話說邓馒，y就是我們的關(guān)系變量嘶朱，例如她喜不喜歡你，與多個(gè)因素有關(guān)光酣，比如你的人品疏遏，你的長相，你是否有錢等救军。我們把這些因素表示成變量x₁, x₂,…, x_m财异，那么這個(gè)女生是怎么考慮這些因素的呢，每個(gè)人心理其實(shí)都有一桿秤唱遭，例如有人比較看重你的人品戳寸，人品的權(quán)重是0.8,；也有人比較看重你有錢拷泽，有錢的權(quán)重設(shè)置成0.7等等疫鹊。我們把這些對(duì)應(yīng)于x₁, x₂,…, x_m的權(quán)值叫做回歸系數(shù)，表達(dá)為θ₁, θ₂,…, θ_m司致。他們的加權(quán)和就是你在心目中的得分订晌。

三.模型參數(shù)學(xué)習(xí)

在參數(shù)學(xué)習(xí)時(shí)，可以用極大似然估計(jì)方法求解蚌吸。假設(shè)我們有n個(gè)獨(dú)立的訓(xùn)練樣本{(x₁, y₁) ,(x₂, y₂),…, (x_n, y_n)}锈拨，y={0, 1}。那每一個(gè)觀察到的樣本(x_i, y_i)出現(xiàn)的概率是

對(duì)于整個(gè)樣本集羹唠，每個(gè)樣本的出現(xiàn)都是獨(dú)立的奕枢，n個(gè)樣本出現(xiàn)的似然函數(shù)為（n個(gè)樣本的出現(xiàn)概率是他們各自的概率乘積）

那么上述的似然函數(shù)就是模型的代價(jià)函數(shù)（cost function）娄昆，我們要求的參數(shù)就是θ*。我們稍微對(duì)上式進(jìn)行轉(zhuǎn)換

對(duì)L(θ)的極大值缝彬，得到θ的估計(jì)值萌焰。問題變成了以對(duì)數(shù)似然函數(shù)為木匾函數(shù)的最優(yōu)化問題。用L(θ)對(duì)θ求導(dǎo)谷浅，得到

無法解析求解的扒俯，所以一般使用迭代的方法求解，通常采用梯度下降法和擬牛頓法一疯。

四.多項(xiàng)邏輯斯蒂回歸

上面介紹的是兒分類的模型撼玄，用于二類分類《昭可以將其推廣為多項(xiàng)邏輯斯蒂回歸模型（multi-nominal regression model）掌猛，用于多分類，假設(shè)離散隨機(jī)變量Y的取值是{1,2,3,...,K}那么多項(xiàng)邏輯斯蒂回歸的模型是

同理眉睹，二項(xiàng)邏輯斯蒂回歸的參數(shù)估計(jì)的方法也可以推廣到多項(xiàng)邏輯斯蒂回歸荔茬。

參考資料：

[1].機(jī)器學(xué)習(xí)算法與Python實(shí)踐之（七）邏輯回歸（Logistic Regression）

[2].《統(tǒng)計(jì)學(xué)習(xí)方法》 李航 著