然而線性回歸的算法不但可以用來回歸分苇，還可以運(yùn)用來進(jìn)行處理分類，就是我們這節(jié)課要講的Logistic回歸屁桑。
sigmoid函數(shù)
sigmoid函數(shù)是一種階躍函數(shù)医寿，在數(shù)學(xué)上，如果實數(shù)域上某個函數(shù)可以用半開區(qū)間上的指示函數(shù)的有限次線性組合來表示蘑斧，那么這個函數(shù)就是階躍函數(shù)靖秩。而指示函數(shù)是定義在某個集合X上的函數(shù)，表示其中有哪些元素屬于某一子集A竖瘾。sigmoid函數(shù)具體計算公式如下：
f(z) = 1/(1+e**-z)
其中z是sigmoid函數(shù)的輸入函數(shù)沟突，由下面公式得出：
z = W0X0 +W1X1 +W2X2 +W3X3 +W4X4 + ...+WnXn?
如果采用向量的寫法，上述公式可以寫成z = W**T*X,表示兩個數(shù)值向量對應(yīng)元素相乘后全部加起來的值捕传。其中的向量X是分類器的輸入數(shù)據(jù)惠拭，向量W也就是我們要找到的最佳參數(shù)（系數(shù)），從而使得分類器盡可能精確乐横。為了尋找該最佳參數(shù)求橄，需要用到最優(yōu)化理論的一些知識。
logistic回歸一般用來處理二分類問題葡公，假設(shè)
P(y=1|x;theta) = H(x),則P(y=0|x;theta) = 1-H(x),
P(y|x;theta) = H(x)**y(1-H(x))**(1-y)?
梯度上升法
梯度上升法基于的思想是：要找到某函數(shù)的最大值罐农，最好的方法是沿著該函數(shù)的梯度方向探尋。我們將使用下面的幾個函數(shù)來實現(xiàn)梯度上升算法：
通過一個梯度上升算法的函數(shù)獲得一組回歸系數(shù)催什。
梯度下降更新方法：
