廣義線性模型與邏輯回歸（為什么邏輯回歸要用Sigmoid函數(shù)）

廣義線性模型與邏輯回歸

廣義線性模型的原理

首先窟蓝，廣義線性模型是基于指數(shù)分布族的挠阁，而指數(shù)分布族的原型如下
$P(y;\eta)=b(y) \cdot \exp(\eta^TT(y) - \alpha(\eta))$

其中 $\eta$ 為自然參數(shù)乱灵，它可能是一個(gè)向量，而 $T(y)$ 叫做充分統(tǒng)計(jì)量文黎，也可能是一個(gè)向量惹苗，通常來(lái)說(shuō) $T(y)=y$ 。

廣義線性模型就是把自變量 $x$ 的線性預(yù)測(cè)函數(shù) $\theta^T x$ 當(dāng)作因變量 $\eta$ 的估計(jì)值耸峭。

根據(jù)指數(shù)分布族來(lái)構(gòu)建廣義線性模型的三個(gè)假設(shè)

給定特征屬性 $x$ 和參數(shù) $\theta$ 后桩蓉， $y$ 的條件概率 $P(y|x;\theta)$ 服從指數(shù)分布族，即 $y|x;\theta \sim ExpFamily(\eta)$ 劳闹。
預(yù)測(cè) $T(y)$ 的期望触机，即計(jì)算 $E[T(y)|x]$ ，通常來(lái)說(shuō) $T(y)=y$ 玷或。
$\eta$ 與 $x$ 之間是線性的，即 $\eta = \theta^T x$ 片任。

邏輯回歸

伯努利分布又叫做兩點(diǎn)分布或者0-1分布偏友，是一個(gè)離散型概率分布，若伯努利實(shí)驗(yàn)成功对供，則伯努利隨機(jī)變量取值為1位他，如果失敗，則伯努利隨機(jī)變量取值為0产场。并記成功的概率為 $\phi$ 鹅髓，那么失敗的概率就是 $1-\phi$
伯努利分布的概率密度函數(shù)
$P(y; \phi) = \phi^y (1- \phi) ^ {1- y}$ 如果把伯努利分布寫成指數(shù)分布族，形式如下
$\begin{split} P(y; \phi) &= \phi^y (1- \phi) ^ {1- y}\\ &= \exp (\ln ( \phi^y (1- \phi)^ {1- y}))\\ &= \exp (y \ln \phi + (1-y) \ln (1- \phi))\\ &= \exp (\ln \frac{\phi}{1-\phi} \cdot y + \ln (1- \phi)) \end{split}$ 對(duì)比指數(shù)分布族京景，有
$b(y)=1, \eta=\ln \frac{\phi}{1-\phi}, T(y)=y, \alpha(\eta)=- \ln(1-\phi)$
Logistic回歸是基于伯努利分布的窿冯，推導(dǎo)可得Sigmoid函數(shù)，如下
$\eta=\ln \frac{\phi}{1-\phi} \Rightarrow \phi = \frac{1}{1+ e^{-\eta}}$ 其中 $\eta = \theta ^ T x$ 确徙， $\phi$ 即為預(yù)測(cè)為正樣本的概率醒串。
這也解釋了為什么邏輯回歸要用Sigmoid函數(shù)。

Sigmoid 函數(shù)的性質(zhì)

sigmoid 函數(shù)連續(xù)鄙皇，單調(diào)遞增
sigmiod 函數(shù)關(guān)于 $(0, 0.5)$ 中心對(duì)稱
對(duì)sigmoid函數(shù)求導(dǎo) $p′=p?(1?p)$ 芜赌，計(jì)算sigmoid函數(shù)的導(dǎo)數(shù)簡(jiǎn)單快速

最后編輯于：2021.07.01 22:46:04

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市伴逸，隨后出現(xiàn)的幾起案子缠沈，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 211,123評(píng)論 6贊 490
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件洲愤，死亡現(xiàn)場(chǎng)離奇詭異颓芭，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)禽篱，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,031評(píng)論 2贊 384
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門畜伐，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人躺率，你說(shuō)我怎么就攤上這事玛界。” “怎么了悼吱？”我有些...
開封第一講書人閱讀 156,723評(píng)論 0贊 345
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵慎框，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我后添，道長(zhǎng)笨枯，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 56,357評(píng)論 1贊 283
?港島之戀（遺憾婚禮）
正文為了忘掉前任遇西，我火速辦了婚禮馅精，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘粱檀。我一直安慰自己洲敢，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 65,412評(píng)論 5贊 384
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開白布茄蚯。她就那樣靜靜地躺著压彭，像睡著了一般。火紅的嫁衣襯著肌膚如雪渗常。梳的紋絲不亂的頭發(fā)上壮不，一...
開封第一講書人閱讀 49,760評(píng)論 1贊 289
城市分裂傳說(shuō)
那天，我揣著相機(jī)與錄音皱碘，去河邊找鬼询一。笑死，一個(gè)胖子當(dāng)著我的面吹牛癌椿，可吹牛的內(nèi)容都是我干的家凯。我是一名探鬼主播，決...
沈念sama閱讀 38,904評(píng)論 3贊 405
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼如失，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼绊诲！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起褪贵，我...
開封第一講書人閱讀 37,672評(píng)論 0贊 266
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤掂之，失蹤者是張志新（化名）和其女友劉穎抗俄，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體世舰，經(jīng)...
沈念sama閱讀 44,118評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡动雹，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,456評(píng)論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了跟压。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片胰蝠。...
茶點(diǎn)故事閱讀 38,599評(píng)論 1贊 340
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖震蒋，靈堂內(nèi)的尸體忽然破棺而出茸塞，到底是詐尸還是另有隱情，我是刑警寧澤查剖，帶...
沈念sama閱讀 34,264評(píng)論 4贊 328
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布钾虐，位于F島的核電站，受9級(jí)特大地震影響笋庄，放射性物質(zhì)發(fā)生泄漏效扫。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,857評(píng)論 3贊 312
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一直砂、第九天我趴在偏房一處隱蔽的房頂上張望菌仁。院中可真熱鬧，春花似錦静暂、人聲如沸济丘。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,731評(píng)論 0贊 21
一樁弒父案籍嘹，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至弯院，卻和暖如春辱士，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背听绳。一陣腳步聲響...
開封第一講書人閱讀 31,956評(píng)論 1贊 264
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工颂碘，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人椅挣。一個(gè)月前我還...
沈念sama閱讀 46,286評(píng)論 2贊 360
代替公主和親
正文我出身青樓头岔，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親鼠证。傳聞我的和親對(duì)象是個(gè)殘疾皇子峡竣，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,465評(píng)論 2贊 348