Time: 2019-08-08
命名辨別
這個(gè)也叫邏輯斯蒂回歸，但是本身是個(gè)分類模型躬拢，用的是回歸方程的解躲履，作為劃分分類的依據(jù)。
在周志華的西瓜書(shū)中提到聊闯，用邏輯斯蒂回歸這個(gè)名稱并不是很好工猜，用對(duì)數(shù)幾率回歸要更好。
對(duì)數(shù)幾率回歸菱蔬，恰好按照順序?qū)?yīng)了下面這個(gè)公式：
從線性回歸說(shuō)起
首先我們還是要再明確一下篷帅，無(wú)論是線性回歸模型還是Logistic Regression模型史侣，需要學(xué)習(xí)推導(dǎo)的參數(shù)都是。
經(jīng)典的線性回歸方程是：
假定有個(gè)數(shù)據(jù)魏身。
為了方便惊橱，我們用向量化(不再顯示用箭頭表示向量了下面)表示：
線性回歸模型得到的是實(shí)數(shù)值，現(xiàn)在我們想的是能夠用線性回歸模型來(lái)分類箭昵。
sigmoid函數(shù)
這是一個(gè) S型遞增函數(shù)税朴，具體我就不找圖顯示了。值域?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=(0%2C%201)" alt="(0, 1)" mathimg="1">家制，定義域?yàn)?img class="math-inline" src="https://math.jianshu.com/math?formula=(-%5Cinfty%2C%20%2B%5Cinfty)" alt="(-\infty, +\infty)" mathimg="1">正林，且關(guān)于對(duì)稱。
邏輯斯蒂回歸模型
現(xiàn)在到了組合二者的時(shí)候了：
從而：
其中颤殴，可以表示樣本x為正例的可能性觅廓。
幾率
幾率表示該事件發(fā)生的概率與該事件不發(fā)生的概率的比值。該比值可以衡量事件發(fā)生的概率涵但。
兩邊取對(duì)數(shù)得到：
由此得到杈绸，可以用線性回歸的值來(lái)解分類問(wèn)題。
Sigmoid函數(shù)將取值范圍壓縮到了(0,1)之間矮瘟，而且恰好以作為分界瞳脓，
，假定數(shù)據(jù)是均勻的芥永，那么
的取值對(duì)應(yīng)的樣本概率是一樣的篡殷。
所以钝吮，我們認(rèn)為分界線以下為負(fù)樣本埋涧，分界線以上為正樣本。
同時(shí)奇瘦，兩個(gè)樣例的條件概率取值如下：
假定我們知道了的值棘催，就可以直接求出這兩個(gè)概率，誰(shuí)大耳标，則表示數(shù)據(jù)點(diǎn)劃分到哪個(gè)類中去醇坝。
現(xiàn)在問(wèn)題來(lái)了，如何估算出w和b次坡？
模型參數(shù)求解
用的是極大似然函數(shù)求解問(wèn)題呼猪，這樣我們就有了要優(yōu)化的量化目標(biāo)。
其中砸琅，很多書(shū)上用的是：
條件概率的形式宋距。
我的理解是每個(gè)數(shù)據(jù)點(diǎn)出現(xiàn)的概率，用聯(lián)合概率的形式症脂，不過(guò)二者之間有轉(zhuǎn)換關(guān)系谚赎。
令：
則：
這樣的話淫僻，剛好可以在y取0或1時(shí)，得出對(duì)應(yīng)的概率表達(dá)式壶唤。
現(xiàn)在我們可以再看對(duì)數(shù)似然函數(shù)的形式：
這樣就完全轉(zhuǎn)化為對(duì)的函數(shù)了雳灵，求偏導(dǎo)，梯度下降法可逼近w闸盔，b悯辙， 也可以用擬牛頓法直接求解，然后代入求解概率的公式中蕾殴，誰(shuí)大就表示哪類即可笑撞。
END.
參考：
《機(jī)器學(xué)習(xí)》，周志華
《統(tǒng)計(jì)機(jī)器學(xué)習(xí)》钓觉，李航
