1窖梁、邏輯回歸
其實邏輯回歸是從線性回歸演化而來的（邏輯回歸雖然有回歸兩字，但其實是做分類任務）夹囚。就舉吳恩達的腫瘤預測為例纵刘，假如腫瘤是這樣分布的，橫軸為腫瘤大小荸哟，縱軸為是否是腫瘤（0或1）假哎，那么將樣本點畫在圖上
當時，預測
鞍历。
當時舵抹，預測
。
這里有一點我要講明白劣砍，根據(jù)函數(shù)圖像惧蛹，為1的點幾乎都在函數(shù)圖形上方，為0的點幾乎都在線下方刑枝。時香嗓，預測
指的是點向x軸做垂線與圖像相交的地方大于0.5為1，其他的一樣装畅。
上面這種看上去不錯靠娱，但如果有一個異常點的腫瘤大小特別大（所以建模時去除異常點多重要），那么影響函數(shù)圖像變?yōu)樗{色的直線：
可以看出大于0.5為1的話掠兄，那么就有兩個為1的歸為不是腫瘤像云，導致分類錯誤锌雀。
所以引入sigmoid函數(shù)：，而
迅诬，得
腋逆。損失函數(shù)也可以用平方差損失函數(shù)，但是
的圖像是一個非凸函數(shù)侈贷，影響梯度下降尋找最小值惩歉。
我們重新定義邏輯回歸的損失函數(shù)為：，其中
和
之間的關系如圖铐维，橫軸是
柬泽，縱軸是
慎菲，每個圖像都有一個定值1或0（重要＜奚摺！）：
這樣構建的函數(shù)的特點是：當實際上
且
時露该，誤差為0睬棚，當
且
時，誤差隨著
的變小而變大解幼；當
時類似抑党。
將構建的簡化如下：
代入得到：
即：
然后，我們使用梯度下降來求:
求導如下：
2撵摆、正則化
正則化的思想是底靠，前面的參數(shù)會使得函數(shù)變得很大，如果想要最小化整個函數(shù)的話特铝，那么正則化部分的
必須要小才能滿足要求（可以將
壓縮到接近0）暑中。一般正則化不對
增加懲罰項，只對1到n鲫剿，只是約定俗成的鳄逾，就算對0懲罰也沒有什么影響。一般我們不知道是哪個參數(shù)導致過擬合灵莲，所以我們懲罰所有的參數(shù)雕凹。那么，加了懲罰項的損失函數(shù)為（一邏輯回歸為例）：
上述模型加的是正則化政冻，當然也可以用
正則化枚抵。
經(jīng)過正則化后，線性回歸的代價函數(shù)變?yōu)椋?br>
線性回歸的梯度下降算法變?yōu)椋?br>
而邏輯回歸的代價函數(shù)變?yōu)椋?br>
梯度下降算法變?yōu)椋?br>
兩種算法的是不一樣的明场，雖然看上去形式一樣俄精。
