邏輯回歸中的梯度下降（Logistic Regression Gradient Descent）
本節(jié)我們討論怎樣通過計算偏導(dǎo)數(shù)來實現(xiàn)邏輯回歸的梯度下降算法扇商。
它的關(guān)鍵點是幾個重要公式案铺，其作用是用來實現(xiàn)邏輯回歸中梯度下降算法。
但是在本節(jié)中返吻，將使用計算圖對梯度下降算法進行計算乎婿。必須要承認的是谢翎，使用計算圖來計算邏輯回歸的梯度下降算法有點大材小用了。但是榨婆，以這個例子作為開始來講解良风，可以使你更好的理解背后的思想璃搜。從而在討論神經(jīng)網(wǎng)絡(luò)時这吻，你可以更深刻而全面地理解神經(jīng)網(wǎng)絡(luò)。
接下來讓我們開始學(xué)習(xí)邏輯回歸的梯度下降算法怠硼。
假設(shè)樣本只有兩個特征x_1和x_2香璃，為了計算z舟误，我們需要輸入?yún)?shù)w_1嵌溢、w_2 和b赖草，除此之外還有特征值x_1和x_2。因此z的計算公式為： z=w_1 x_1+w_2 x_2+b??
回想一下邏輯回歸的公式定義如下：
^y=a=σ(z) 其中z=w^T x+b 版确， σ(z)=1/(1+e^(-z) )?
損失函數(shù)： ??
代價函數(shù)：??
假設(shè)現(xiàn)在只考慮單個樣本的情況侵歇，單個樣本的代價函數(shù)定義如下：
其中a是邏輯回歸的輸出吓蘑，y是樣本的標簽值。
現(xiàn)在讓我們畫出表示這個計算的計算圖。 這里先復(fù)習(xí)下梯度下降法棋嘲，w和b的修正量可以表達如下：
如圖：在這個公式的外側(cè)畫上長方形沸移。
然后計算： ^y=a=σ(z) 也就是計算圖的下一步雹锣。最后計算損失函數(shù)L(a,y)蕊爵。
有了計算圖桦山，我就不需要再寫出公式了。
因此恒水，為了使得邏輯回歸中最小化代價函數(shù)L(a,y)会放，我們需要做的僅僅是修改參數(shù)w和b的值。前面我們已經(jīng)講解了如何在單個訓(xùn)練樣本上計算代價函數(shù)的前向步驟钉凌。
現(xiàn)在讓我們來討論通過反向計算出導(dǎo)數(shù)咧最。 因為我們想要計算出的代價函數(shù)L(a,y)的導(dǎo)數(shù)，首先我們需要反向計算出代價函數(shù)L(a,y)關(guān)于a的導(dǎo)數(shù)御雕，在編寫代碼時矢沿，你只需要用da 來表示(dL(a,y))/da 。?
通過微積分得到：
如果你不熟悉微積分饮笛，也不必太擔心咨察，我會列出本課程涉及的所有求導(dǎo)公式福青。那么如果你非常熟悉微積分巍举，我們鼓勵你主動推導(dǎo)前面介紹的代價函數(shù)的求導(dǎo)公式，使用微積分直接求出L(a,y)關(guān)于變量a的導(dǎo)數(shù)房官。如果你不太了解微積分脚翘，也不用太擔心。現(xiàn)在我們已經(jīng)計算出da氮凝，也就是最終輸出結(jié)果的導(dǎo)數(shù)。 現(xiàn)在可以再反向一步，在編寫Python代碼時交惯，你只需要用dz來表示代價函數(shù)L關(guān)于z 的導(dǎo)數(shù)dL/dz，也可以寫成(dL(a,y))/dz穿仪，這兩種寫法都是正確的席爽。 dL/dz=a-y 。?
因為
并且da/dz=a?(1-a)啊片， 而
因此將這兩項相乘
為了簡化推導(dǎo)過程只锻，假設(shè)n_x這個推導(dǎo)的過程就是我之前提到過的鏈式法則。
如果你對微積分熟悉紫谷，放心地去推導(dǎo)整個求導(dǎo)過程齐饮，如果不熟悉微積分，你只需要知道dz=(a-y)已經(jīng)計算好了笤昨。
現(xiàn)在進行最后一步反向推導(dǎo)祖驱，也就是計算w和b變化對代價函數(shù)L的影響，特別地瞒窒，可以用:
視頻中捺僻， dw_1 表示?L/(?w_1 )=x_1?dz，?dw_2 表示?L/(?w_2 )=x_2?dz崇裁， db=dz陵像。?
因此，關(guān)于單個樣本的梯度下降算法寇壳，你所需要做的就是如下的事情：?
使用公式dz=(a-y)計算dz醒颖，?
使用
dw_1=x_1?dz 計算dw_1，
dw_2=x_2?dz計算dw_2壳炎，
db=dz 來計算db泞歉，?
然后:
更新w_1=w_1-adw_1，
更新w_2=w_2-adw_2匿辩，
更新b=b-αdb腰耙。?
這就是關(guān)于單個樣本實例的梯度下降算法中參數(shù)更新一次的步驟。?
現(xiàn)在你已經(jīng)知道了怎樣計算導(dǎo)數(shù)铲球，并且實現(xiàn)針對單個訓(xùn)練樣本的邏輯回歸的梯度下降算法挺庞。但是，訓(xùn)練邏輯回歸模型不僅僅只有一個訓(xùn)練樣本稼病，而是有m個訓(xùn)練樣本的整個訓(xùn)練集选侨。
因此在下一個筆記中掖鱼，我們將這些思想應(yīng)用到整個訓(xùn)練樣本集中，而不僅僅只是單個樣本上援制。
