在線性回歸算法中市栗,,
的值域是(-
,+
),有沒有一種辦法,修改一下這個算法织阳,讓其能夠?qū)崿F(xiàn)分類的預測問題呢眶蕉?
- Sigmoid函數(shù),將
的值域由(-
,+
)變到(0,1)
- 決策邊界唧躲。假設決策邊界的值為0.5造挽,當Sigmoid(
)>0.5,則預測值輸出1碱璃;當Sigmoid(
)<0.5,則預測值輸出0。(這樣變換之后即把一個回歸問題轉換成了一個分類問題)
- 與求線性回歸損失函數(shù)時的方法一樣饭入,先引入似然函數(shù)嵌器,然后取對數(shù),得出邏輯回歸的損失函數(shù)谐丢。
- 使用梯度下降求
嘴秸。
2.1 Sigmoid函數(shù)
Sigmoid函數(shù)即可以把范圍在(-,+)的值變換到(0,1)。
2.2 邏輯回歸的假設函數(shù):
P() = 0.8,則表示對于這組x值庇谆,預測值y等于1的概率為0.8。
取1和取0的概率函數(shù):
合并:
g
2.3 損失函數(shù)
求損失函數(shù)的過程是對上式凭疮,先構建似然函數(shù)饭耳,再取對數(shù)。
似然函數(shù)為:
對數(shù)似然函數(shù)為:
2.4 梯度下降
為了便于使用梯度下降法执解,在函數(shù)前乘以.
求解更新過程:
因此寞肖,的更新過程:
2.5 多元分類
邏輯回歸模型除了可以用來解決二元分類問題,還可以用來解決多元分類問題衰腌。
針對多元分類問題新蟆, ,總共有 n + 1 個類別。其解決思路是右蕊,首先把問題轉換成二元分類問題琼稻,即 y = 0 是一個類別,把
作為另一個類別饶囚,然后計算這兩個類別的概率帕翻;接著,把y = 1 作為一個類別萝风,然后把
作為另一個類別嘀掸,再計算這兩個類別的概率。由此推廣開规惰,總共需要 n +1 個預測函數(shù)睬塌。在這 n +1 個預測函數(shù)預測出來的概率中,取最大的那個歇万,即為預測的類別揩晴。
2.6 sklearn調(diào)用及參數(shù)解釋
機器學習sklearn19.0——Logistic回歸算法
sklearn邏輯回歸(Logistic Regression,LR)類庫使用小結
官方文檔
文章參考:
機器學習之邏輯回歸