Logistic regression
目的：分類還是回歸作谚？經(jīng)典的二分類算法拦惋！
機器學(xué)習(xí)算法選擇：先邏輯回歸再用復(fù)雜的，能簡單還是用簡單的
邏輯回歸的決策邊界：可以是非線性的
Sigmoid 函數(shù)
公式：
自變量取值為任意實數(shù)，值域[0,1]
解釋：將任意的輸入映射到了[0,1]區(qū)間
我們在線性回歸中可以得到一個預(yù)測值吩愧，再將該值映射到Sigmoid 函數(shù)中這樣就完成了由值到概率的轉(zhuǎn)換，也就是分類任務(wù)
預(yù)測函數(shù)：
其中
分類任務(wù)：
整合：
解釋：對于二分類任務(wù)（0增显，1）雁佳，整合后
y取0只保留
y取1只保留
似然函數(shù)：
對數(shù)似然：
此時應(yīng)用梯度上升求最大值，引入轉(zhuǎn)換為梯度下降任務(wù)
求導(dǎo)過程：
參數(shù)更新：
多分類的softmax:
