一.邏輯回歸
1.什么是邏輯回歸拷姿？
邏輯回歸是一種預(yù)測變量為離散值0或1情況下的分類問題惭载，在邏輯回歸中，假設(shè)函數(shù)
跌前。
2.模型描述
在假設(shè)函數(shù)中棕兼，
，
為實數(shù)抵乓，
為Sigmoid函數(shù)伴挚，也叫Logistic函數(shù)靶衍。
模型解釋：，即就是對一個輸入
茎芋，
的概率估計颅眶。
損失函數(shù)的理解：所謂最大似然估計，就是我們想知道哪套參數(shù)組合對應(yīng)的曲線最可能擬合我們觀測到的數(shù)據(jù)田弥，也就是該套參數(shù)擬合出觀測數(shù)據(jù)的概率最大涛酗，而損失函數(shù)的要求是預(yù)測結(jié)果與真實結(jié)果越相近，函數(shù)值越小偷厦，也就是參數(shù)越能更好的擬合數(shù)據(jù)商叹，損失函數(shù)的值越小，所以損失函數(shù)即就是最大似然函數(shù)的相反數(shù)只泼。具體損失函數(shù)的推導(dǎo)可以參考鏈接剖笙。
3.決策邊界
已知表示的是對于一個輸入
，
的概率估計请唱，則當(dāng)
時弥咪，
的可能性更大；當(dāng)
時十绑，
的可能性更大聚至。
如上圖所示，
我們把
4.邏輯回歸的梯度下降法
更新公式：
具體推導(dǎo)過程如下：
5.高級優(yōu)化
除梯度下降法外，還有一些比梯度下降更快的高級優(yōu)化算法锰什，比如共軛梯度法下硕、BFGS丁逝、L-BFGS等，這些方法不需要手動選擇學(xué)習(xí)率梭姓，并且收斂速度較快霜幼。具體算法流程在此不具體展開，可自行學(xué)習(xí)誉尖。
6.多元分類
當(dāng)預(yù)測變量不只兩類時罪既，例如：
，可將其分成三個獨立的二分類問題铡恕，創(chuàng)建三個偽訓(xùn)練集琢感，擬合出三個分類器
，然后給一個新的輸入值
探熔，則其應(yīng)屬于
的第
類驹针。
二.正則化
1.過擬合問題
什么是過擬合問題？
算法具有“高方差”祭刚。如果擬合一個高階多項式牌捷，假設(shè)函數(shù)能擬合幾乎所有數(shù)據(jù)，無法泛化到新的樣本中涡驮，則稱該模型過擬合暗甥。（泛化：一個假設(shè)模型應(yīng)用到新樣本的能力）
過擬合發(fā)生時，怎樣解決捉捅？
（1）盡量減少選取變量的數(shù)量：人工檢查變量清單撤防，確定哪些變量保留，哪些變量舍棄棒口；算法自動選擇哪些變量保留寄月，哪些變量舍棄。缺點是會丟失一部分信息无牵。
（2）正則化：保留全部特征變量漾肮，但減少量級或參數(shù)的大小。
2.正則化損失函數(shù)
正則化損失函數(shù)是給原本的損失函數(shù)加一個懲罰項茎毁，相當(dāng)于簡化模型克懊，使參數(shù)盡量小。
3.線性回歸的正則化
損失函數(shù)：
其中叫做正則化參數(shù)七蜘，它的作用是更好地擬合數(shù)據(jù)和保持參數(shù)盡量小谭溉。
梯度下降更新公式：
正規(guī)方程：如果，則
橡卤，該方程可以解決
不可逆的問題扮念。
4.邏輯回歸的正則化
損失函數(shù)：
梯度下降更新公式：
三.總結(jié)
這兩周學(xué)習(xí)了吳恩達(dá)機(jī)器學(xué)習(xí)的邏輯回歸和正則化部分的內(nèi)容，整體比較簡單碧库，主要理解了一下邏輯回歸的損失函數(shù)以及梯度下降法更新公式的推導(dǎo)柜与。感覺把統(tǒng)計和機(jī)器學(xué)習(xí)結(jié)合起來巧勤，更容易理解學(xué)習(xí)的內(nèi)容。
