一够滑、sigmoid 函數(shù)的應(yīng)用背景：
?是起初用于分類的線性模型（是個(gè)通過(guò)屬性的線性組合來(lái)預(yù)測(cè)的函數(shù)[每個(gè)樣本都包含多個(gè)屬性]滓玖，w權(quán)重表達(dá)了樣本中各個(gè)屬性在預(yù)測(cè)中的重要性，b偏置表達(dá)了從物理世界到數(shù)據(jù)表達(dá)中存在的不確定性，比如某些噪聲無(wú)法通過(guò)數(shù)據(jù)表征出來(lái)），模型的最終目的是為了找到這樣的一條直線（平面）將空間中的樣本點(diǎn)進(jìn)行分類。但是獲得的直線（平面）上的取值是連續(xù)的朽缴，并不能對(duì)離散的值進(jìn)行擬合善玫。為解決這個(gè)問(wèn)題就引入了條件概率的使用：)
:當(dāng)x取某值時(shí)，y=1的概率，概率取值范圍是[0,1]茅郎，概率值是個(gè)連續(xù)值蜗元。 所以可以用線性模型來(lái)擬合概率值，但是系冗，概率值的范圍是[0,1]奕扣，而線性模型的結(jié)果值是負(fù)無(wú)窮到正無(wú)窮。所以掌敬，就需要有函數(shù)將模型的輸出值映射在[0,1]范圍內(nèi)惯豆。首先，想到的是利用階躍函數(shù)（分段函數(shù)）奔害，
但該類函數(shù)不滿足單調(diào)可微性質(zhì)楷兽，也就是無(wú)法對(duì)其求梯度。
所以华临，就有了sigmoid函數(shù)的使用芯杀。 其數(shù)學(xué)表達(dá)式是：%20%3D%20%5Cfrac%7B1%7D%7B1%2Be%5E-z%20%7D%20)
，【這里就表明了sigmoid函數(shù)是直接以模型的輸出作為輸入變量的】雅潭。該函數(shù)的曲線圖為：
橫軸為模型的輸出值揭厚，縱軸為對(duì)應(yīng)的概率值
所以，模型的表達(dá)式為：%20%3D%20%5Csigma%20(z)%20%3D%20%5Cfrac%7B1%7D%7B1%2Be%5E-z%20%7D%20%2C%20z%3D%20w.x%2Bb)
扶供。
存在關(guān)系式：%7D%7Bp(y%3D0%7Cx)%7D%20%3D%20z%20%3D%20wx%2Bb)
筛圆，該比值稱為對(duì)數(shù)幾率（log odds，logit）該幾率反映了樣本為正例的相對(duì)可能性诚欠。從該關(guān)系式可以看出顽染，邏輯回歸的本質(zhì)是用線性回歸的預(yù)測(cè)結(jié)果去逼近真實(shí)標(biāo)記的對(duì)數(shù)幾率。
所以轰绵，起初是假設(shè)模型為%20%3D%20w.x%2Bb)
,后來(lái)因?yàn)閷⑵浔硎緸楦怕市问椒勰阅Ｐ妥優(yōu)椋?img class="math-inline" src="https://math.jianshu.com/math?formula=h(%CE%B8)%20%3D%20p" alt="h(θ) = p" mathimg="1">，概率公式p再根據(jù)任務(wù)類型進(jìn)行變換左腔。(模型也就由線性回歸轉(zhuǎn)為邏輯回歸唧垦，線性代表了連續(xù)，邏輯也就代表了離散）?
好處：不僅預(yù)測(cè)出了類別 液样，也表示出來(lái)屬于該類別的概率振亮，有利于利用概率來(lái)輔助決策。
二鞭莽、sigmoid 損失函數(shù)的使用：
sigmoid 屬于邏輯損失函數(shù)的一種坊秸，適用于二分類任務(wù)中，需要滿足假設(shè)之一：數(shù)據(jù)滿足伯努利分布澎怒。
logical 函數(shù) 也叫作 sigmoid 函數(shù)
%20)
表示將樣本預(yù)測(cè)為正類的概率褒搔，1-)
將樣本預(yù)測(cè)為負(fù)類的概率，整個(gè)模型可以表示為：
，其中星瘾，?
走孽，（θ是權(quán)重，x是輸入變量琳状，該指數(shù)代表模型的輸出）磕瓷，最后得到邏輯回歸的最終表達(dá)式。
邏輯回歸的損失函數(shù)念逞，是其極大似然函數(shù):
由一可知：%20%3D%20%5Csigma%20(z)%0A)
,則%20%3D%201-%5Csigma%20(z))
,所以似然函數(shù)為：![\prod\nolimits_{i=1}^n [\sigma (z)]^(y_{i})[1-\sigma (z)]^(1-y_{i} )](https://math.jianshu.com/math?formula=%5Cprod%5Cnolimits_%7Bi%3D1%7D%5En%20%20%5B%5Csigma%20(z)%5D%5E(y_%7Bi%7D)%5B1-%5Csigma%20(z)%5D%5E(1-y_%7Bi%7D%20))
,使用負(fù)對(duì)數(shù)似然函數(shù)作為模型的損失函數(shù)(為了好計(jì)算但式子性質(zhì)不變)：![Loss =- \sum_{i=1}^n [y_{i}\lg \sigma (x) +(1- y_{i})\lg(1- \sigma (x))] = \sum_{i=1}^n[y_{i} (w.x)-\lg x(1+e^(w.x) ]](https://math.jianshu.com/math?formula=Loss%20%3D-%20%5Csum_%7Bi%3D1%7D%5En%20%5By_%7Bi%7D%5Clg%20%5Csigma%20(x)%20%2B(1-%20y_%7Bi%7D)%5Clg(1-%20%5Csigma%20(x))%5D%20%3D%20%5Csum_%7Bi%3D1%7D%5En%5By_%7Bi%7D%20(w.x)-%5Clg%20x(1%2Be%5E(w.x)%20%5D%20)
在模型訓(xùn)練時(shí)困食，需要對(duì)該loss函數(shù)求梯度（就是對(duì)權(quán)重W求導(dǎo)），就是按照函數(shù)求偏導(dǎo)的方法對(duì)該loss進(jìn)行求導(dǎo)肮柜，最終結(jié)果為：
讓上式等于零陷舅，獲得權(quán)重w的更新方向，從而讓loss值降低审洞，目的就是最終獲得loss的最小值莱睁，此時(shí)對(duì)應(yīng)的w參數(shù)就是網(wǎng)絡(luò)所需的最優(yōu)參數(shù)。（當(dāng)然芒澜，實(shí)際網(wǎng)絡(luò)中并非是單一的參數(shù)仰剿，而是很復(fù)雜的參數(shù)結(jié)構(gòu)）
接著就使用梯度下降法，對(duì)網(wǎng)路參數(shù)進(jìn)行更新痴晦，求得最優(yōu)參數(shù)解南吮。
