機器學習:Sigmoid函數(shù)及Logistic回歸模型

sigmoid函數(shù)是一個有著優(yōu)美S形曲線的雙彎曲數(shù)學函數(shù)立莉,其在邏輯回歸劳曹、人工神經(jīng)網(wǎng)絡中有著廣泛的應用(sigmoid:adj. 乙狀結(jié)腸的蝗锥;C形的何陆;S形的 n. S狀彎曲)。在生物統(tǒng)計中,該函數(shù)也可以模仿一些情況下生物數(shù)量的 S 形曲線披诗,起初階段資源豐富大致是指數(shù)增長撬即,然后隨著資源受限開始變得飽和增加變慢,最后達到成熟時增加停止保持平衡呈队。

Sigmoid函數(shù)及導數(shù)

f(z) = \frac{1}{1 + e^{-z}} = \frac{e^{z}}{1 + e^{z}}
f'(z) = (\frac{1}{1 + e^{-z}})' = -1 \times {(1 + e^{-z})}^{-2} \times (-1) \times e^{-z} \\ = \frac{e^{-z}}{{(1 + e^{-z})}^{-2}} = f(x) (1 - f(z))

sigmoid函數(shù)及導數(shù)

結(jié)合圖像分析剥槐,其優(yōu)點:

  • 定義域(?∞, +∞) 值域(0, 1),可將任意范圍的輸入映射到(0, 1)之間宪摧,單調(diào)連續(xù)粒竖,以(0, 0.5)中心對稱,是一個非常良好的閾值函數(shù)几于;
  • z為0時f(z)為0.5蕊苗,當z超過6時f(x)越來越接近于1但永不會越過,同樣z小于-6時f(z)向左越來越接近于0沿彭,在z超出[-6,6]的范圍后朽砰,函數(shù)值非常接近基本沒有變化,在應用中一般不考慮喉刘;
  • 函數(shù)值域限制在(0,1)之間瞧柔,[0,1]與概率值的范圍相對應,這樣sigmoid函數(shù)就能與一個概率分布聯(lián)系起來睦裳;
  • 處處可導求導容易造锅,導數(shù)是其本身的函數(shù),即f′(z)=f(z)(1?f(z))廉邑,計算方便節(jié)省時間哥蔚。

同時缺點:

  • 由于其軟飽和性,在飽和的時候梯度太小太平滑蛛蒙,容易產(chǎn)生梯度消失糙箍,導致模型訓練出現(xiàn)問題;
  • 其輸出并不是以0為中心的宇驾;
  • sigmoid函數(shù)可以很容易地應用在訓練過程中倍靡,但只能處理兩個類(只有0和1兩種狀態(tài)),不適用于多分類的問題课舍。

python代碼實現(xiàn)

# -*- coding: UTF-8 -*-

#導入科學計算庫和繪圖庫
import numpy as np
import matplotlib.pyplot as plt

#定義函數(shù)計算s(x) = 1/(1+e^(-x))
def sigmoid(x):
    return 1./(1. + np.exp(-x))

#確定x值和y值范圍
x = np.arange(-50, 50)
y = sigmoid(x)

#以x,y為軸塌西,繪制Sigmoid及其導數(shù)
plt.plot(x, y)
plt.plot(x, y*(1-y))
plt.show()

Logistic回歸模型

在搜索引擎廣告排名決策中,為了預估每個廣告的點擊率筝尾,需要考慮廣告位置捡需、點擊量、展示時間筹淫、受眾人群等多個影響因素站辉,這么多因素最好能用一個統(tǒng)一的數(shù)學模型來描述,而且這個模型能夠隨著數(shù)據(jù)量的增加越來越準確,這并非易事饰剥。早期很多經(jīng)驗值修正和近似的做法在整合各個特征時效果都不很好殊霞,后來工業(yè)界普遍采用邏輯回歸模型(Logistic Regression / Logistic Model)。
邏輯回歸模型指將一個事件出現(xiàn)的概率逐漸適應(回歸)到一條S型邏輯曲線上汰蓉,該曲線一開始變化快逐漸減慢最后飽和绷蹲,上述sigmoid函數(shù)就是其中曲線之一(圖形及特點詳見上文)。
有了邏輯回歸模型(sigmoid函數(shù))顾孽,就可以把各種信號(因素值)組合起來祝钢,不論組合成多大或多小的值最后都能得到一個概率分布。也可認為邏輯回歸模型就是一種將影響概率的不同因素結(jié)合在一起的指數(shù)模型若厚,例如z = a_0 + a_1x_1 + a_2x_2 + ... + a_kx_k中拦英,每個x_i稱為變量,表示影響概率的各種因子测秸,a_i稱為回歸參數(shù)疤估,表示每個因子的權(quán)重值框仔,a_0是一個特殊參數(shù)與任何因子無關(guān)庸娱,可以保證在沒有任何信息時,有一個穩(wěn)定的概率分布实抡,z是sigmoid函數(shù)的參數(shù)值肃晚,得出z后帶入函數(shù)可得到位于(0,1)之間的概率值仔戈。
邏輯回歸模型中的各參數(shù)的確定需要進行大量訓練才能得出关串,和很多指數(shù)模型(如最大熵模型)一樣,訓練方法相似监徘,可以采用通用的迭代算法GIS和改進的迭代算法IIS來實現(xiàn)晋修,這兩個算法知道就好,至今沒多少人能搞懂和實現(xiàn)凰盔,希望以后有機會能學習一下墓卦。

參考:
《數(shù)學之美》吳軍博士著

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市户敬,隨后出現(xiàn)的幾起案子落剪,更是在濱河造成了極大的恐慌,老刑警劉巖尿庐,帶你破解...
    沈念sama閱讀 222,681評論 6 517
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件忠怖,死亡現(xiàn)場離奇詭異,居然都是意外死亡抄瑟,警方通過查閱死者的電腦和手機凡泣,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,205評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人鞋拟,你說我怎么就攤上這事骂维。” “怎么了贺纲?”我有些...
    開封第一講書人閱讀 169,421評論 0 362
  • 文/不壞的土叔 我叫張陵航闺,是天一觀的道長。 經(jīng)常有香客問我哮笆,道長来颤,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,114評論 1 300
  • 正文 為了忘掉前任稠肘,我火速辦了婚禮福铅,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘项阴。我一直安慰自己滑黔,他們只是感情好,可當我...
    茶點故事閱讀 69,116評論 6 398
  • 文/花漫 我一把揭開白布环揽。 她就那樣靜靜地躺著略荡,像睡著了一般。 火紅的嫁衣襯著肌膚如雪歉胶。 梳的紋絲不亂的頭發(fā)上汛兜,一...
    開封第一講書人閱讀 52,713評論 1 312
  • 那天通今,我揣著相機與錄音粥谬,去河邊找鬼。 笑死辫塌,一個胖子當著我的面吹牛漏策,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播臼氨,決...
    沈念sama閱讀 41,170評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼掺喻,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了储矩?” 一聲冷哼從身側(cè)響起感耙,我...
    開封第一講書人閱讀 40,116評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎持隧,沒想到半個月后抑月,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,651評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡舆蝴,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,714評論 3 342
  • 正文 我和宋清朗相戀三年谦絮,在試婚紗的時候發(fā)現(xiàn)自己被綠了题诵。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 40,865評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡层皱,死狀恐怖性锭,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情叫胖,我是刑警寧澤草冈,帶...
    沈念sama閱讀 36,527評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站瓮增,受9級特大地震影響怎棱,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜绷跑,卻給世界環(huán)境...
    茶點故事閱讀 42,211評論 3 336
  • 文/蒙蒙 一拳恋、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧砸捏,春花似錦谬运、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,699評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至掂骏,卻和暖如春轰驳,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背弟灼。 一陣腳步聲響...
    開封第一講書人閱讀 33,814評論 1 274
  • 我被黑心中介騙來泰國打工滑废, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人袜爪。 一個月前我還...
    沈念sama閱讀 49,299評論 3 379
  • 正文 我出身青樓,卻偏偏與公主長得像薛闪,于是被迫代替她去往敵國和親辛馆。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,870評論 2 361

推薦閱讀更多精彩內(nèi)容