現(xiàn)在我們回到 LR 模型本身。
回歸模型做分類
從前面關(guān)于分類與回歸的定義來看，分類模型和回歸模型似乎是涇渭分明的唬格。輸出離散結(jié)果的就是用來做分類的，而輸出連續(xù)結(jié)果的颜说，就用來做回歸购岗。
我們前面講的兩個模型：線性回歸的預(yù)測結(jié)果是一個連續(xù)值域上的任意值，而樸素貝葉斯分類模型的預(yù)測結(jié)果則是一個離散值门粪。
但 LR 卻是用來做分類的喊积。它的模型函數(shù)為：
hθ(x)=11+e?θTx
設(shè) z=θTx，則
h(z)=11+e?z
在二維坐標(biāo)中形成 S 形曲線：
上圖中玄妈，z 是自變量（橫軸）乾吻，最終計算出的因變量 y（縱軸），則是一個 [0,1] 區(qū)間之內(nèi)的實數(shù)值拟蜻。
一般而言绎签，當(dāng) y>0.5 時，z 被歸類為真（True）或陽性（Positive）酝锅，否則當(dāng) y<=0.5 時诡必，z 被歸類為假（False）或陰性（Negative）。
所以搔扁，在模型輸出預(yù)測結(jié)果時爸舒，不必輸出 y 的具體取值，而是根據(jù)上述判別標(biāo)準稿蹲，輸出1（真）或0（假）扭勉。
因此，LR 典型的應(yīng)用是二分類問題上场绿，也就是說剖效，把所有的數(shù)據(jù)只分為兩個類嫉入。
注意： 當(dāng)然焰盗，這并不是說 LR 不能處理多分類問題，它當(dāng)然可以處理咒林，具體方法稍后講熬拒。我們先來看 LR 本身。
看到此處垫竞，大家是不是會有點擔(dān)心澎粟，如果大量的輸入得到的結(jié)果都在 y=0.5 附近蛀序，那豈不是很容易分錯？
說得極端一點活烙，如果所有的輸入數(shù)據(jù)得出的結(jié)果都在 y=0.5 附近徐裸，那豈不是沒有什么分類意義了，和隨機亂歸類結(jié)果差不多啸盏？
這樣的擔(dān)心其實是不必要的重贺。此模型函數(shù)在 y=0.5 附近非常敏感，自變量取值稍有不同回懦，因變量取值就會有很大差異气笙，所以不用擔(dān)心出現(xiàn)大量因細微特征差異而被歸錯類的情況——這也正是邏輯回歸的“神奇”之處。
邏輯回歸的目標(biāo)函數(shù)
有了模型函數(shù)怯晕，來看看邏輯回歸的目標(biāo)函數(shù)潜圃。
邏輯函數(shù) h(x) 是我們要通過訓(xùn)練得出來的最終結(jié)果。在最開始的時候舟茶，我們不知道其中的參數(shù) θ 的取值谭期，我們所有的只是若干的 x 和與其對應(yīng)的 y（訓(xùn)練集合）。訓(xùn)練 LR 的過程稚晚，就是求 θ 的過程崇堵。
首先要設(shè)定一個目標(biāo)：我們希望這個最終得出的 θ 達到一個什么樣的效果——我們當(dāng)然是希望得出來的這個 θ，能夠讓訓(xùn)練數(shù)據(jù)中被歸為陽性的數(shù)據(jù)預(yù)測結(jié)果都為陽客燕，本來被分為陰性的預(yù)測結(jié)果都為陰鸳劳。
而從公式本身的角度來看，h(x) 實際上是 x 為陽性的分布概率也搓，所以赏廓，才會在 h(x)>0.5 時將 x歸于陽性。也就是說 h(x)=P(y=1)傍妒。反之幔摸，樣例是陰性的概率 P(y=0)=1?h(x)。
當(dāng)我們把測試數(shù)據(jù)帶入其中的時候颤练，P(y=1) 和 P(y=0) 就都有了先決條件既忆，它們?yōu)橛?xùn)練數(shù)據(jù)的 x 所限定。因此：
P(y=1|x)=h(x);P(y=0|x)=1?h(x)嗦玖。
根據(jù)二項分布公式患雇，可得出 P(y|x)=h(x)y(1?h(x))(1?y)。
假設(shè)我們的訓(xùn)練集一共有 m 個數(shù)據(jù)宇挫，那么這 m 個數(shù)據(jù)的聯(lián)合概率就是：
L(θ)=∏mi=1P(y(i)|x(i);θ)=∏mi=1(hθ(x(i)))y(i)(1?hθ(x(i)))(1?y(i))
我們求取 θ 的結(jié)果苛吱，就是讓這個 L(θ) 達到最大。
還記得我們之前在樸素貝葉斯分類器中講到的極大似然估計嗎器瘪？其實此處 LR 目標(biāo)函數(shù)的構(gòu)建過程也是依據(jù)極大似然估計翠储。
L(θ) 就是 LR 的似然函數(shù)绘雁。我們要讓它達到最大，也就是對其進行“極大估計”援所。因此庐舟，求解 LR 目標(biāo)函數(shù)的過程，就是對 LR 模型函數(shù)進行極大似然估計的過程住拭。
為了好計算继阻，我們對它求對數(shù)。得到對數(shù)似然函數(shù)：
l(θ)=log(L(θ))=∑mi=1[y(i)log(hθ(x(i)))+(1?y(i))log(1?hθ(x(i)))]
我們要求出讓 l(θ) 能夠得到最大值的 θ废酷。
l(θ) 其實可以作為 LR 的目標(biāo)函數(shù)瘟檩。前面講過，我們需要目標(biāo)函數(shù)是一個凸函數(shù)澈蟆，具備最小值墨辛。因此我們設(shè)定：J(θ)=?l(θ)。
J(θ)=?log(L(θ))=?∑mi=1[y(i)log(hθ(x(i)))+(1?y(i))log(1?hθ(x(i)))]
這樣趴俘，求 l(θ) 的最大值就成了求 J(θ) 的最小值睹簇。J(θ) 又叫做負對數(shù)似然函數(shù)。它就是 LR 的目標(biāo)函數(shù)寥闪。
優(yōu)化算法
我們已經(jīng)得到了 LR 的目標(biāo)函數(shù) J(θ)太惠，并且優(yōu)化目標(biāo)是最小化它。
如何求解 θ 呢疲憋？具體方法其實有很多凿渊。此處我們?nèi)匀贿\用之前已經(jīng)學(xué)習(xí)過的，最常見最基礎(chǔ)的梯度下降算法缚柳。
基本步驟如下：
? 通過對 J(θ) 求導(dǎo)獲得下降方向—— J′(θ)埃脏；
? 根據(jù)預(yù)設(shè)的步長 α，更新參數(shù) θ:=θ?αJ′(θ)秋忙；
? 重復(fù)以上兩步直到逼近最優(yōu)值彩掐，滿足終止條件。
既然知道了方法灰追，我們就來計算一下堵幽。
已知：
J(θ)=?log(L(θ))=?∑mi=1[y(i)log(hθ(x(i)))+(1?y(i))log(1?hθ(x(i)))]
J(θ) 對 θ 求導(dǎo)：
?J(θ)?θ=?∑mi=1[y(i)h′θ(x(i))hθ(x(i))?(1?y(i))h′θ(x(i))(1?hθ(x(i)))]=∑mi=1[(?y(i))h′θ(x(i))hθ(x(i))+(1?y(i))h′θ(x(i))(1?hθ(x(i)))]
因為有：
h′(z)=d(11+e?z)dz=?(?e?z(1+e?z)2)=e?z1+e?z11+e?z=(1?11+e?z)(11+e?z)=h(z)(1?h(z))
同時，運用鏈式法則弹澎，有：
?hθ(x)?θ=?hθ(x)?(θx)x=hθ(x)(1?hθ(x))x
將上式帶入上面的 J(θ) 求導(dǎo)式子里朴下，有：
?J(θ)?θ=∑mi=1[(?y(i))hθ(x(i))(1?hθ(x(i)))x(i)hθ(x(i))+(1?y(i))hθ(x(i))(1?hθ(x(i)))x(i)(1?hθ(x(i)))]=∑mi=1[?y(i)+y(i)hθ(x(i))+hθ(x(i))?y(i)hθ(x(i))]x(i)=∑mi=1[hθ(x(i))?y(i)]x(i)
當(dāng) x 為多維的時候（設(shè) x 有 n 維），則在對 z=θx 求導(dǎo)的時候裁奇，要對 x 的每一個維度求導(dǎo)桐猬。
又因為 θ 和 x 維度相同麦撵，所以當(dāng) x 有 n 維的時候刽肠，θ 同樣是有 n 維的溃肪。則 J(θ) 的求導(dǎo)也變成了對 θ 的每一個維度求導(dǎo)：
?J(θ)?θj=∑mi=1[hθ(x(i))?y(i)]x(i)j;j=1,2,...,n
因此，優(yōu)化算法偽代碼為：
Set initial value: θ0,α
while (not convergence)
{
θj:=θj+α∑mi=1(y(i)?hθ(x(i)))x(i)j
}
實例及代碼實現(xiàn)
我們來看一個例子音五，比如某位老師想用學(xué)生上學(xué)期考試的成績（Last Score）和本學(xué)期在學(xué)習(xí)上花費的時間（Hours Spent）來預(yù)期本學(xué)期的成績：
面對這樣一個需求惫撰，我們可能首先想到的是線性回歸，畢竟躺涝，要做的是預(yù)測本次的成績厨钻。那樣的話，我們?nèi)?X = [“Last Score”, “Hours Spent”]坚嗜，y = “Score”夯膀。
用線性回歸實現(xiàn)代碼如下：
我們把前11個樣本作為訓(xùn)練集，最后3個樣本作為測試集苍蔬。
這樣訓(xùn)練出來之后诱建，得到的預(yù)測結(jié)果為：[55.33375602 54.29040467 90.76185124]，也就說 id 為 12碟绑、13俺猿、14 的三個同學(xué)的預(yù)測分數(shù)為55、54和91格仲。
第一個差別比較大押袍，id 為12的同學(xué)，明明考及格了凯肋，卻被預(yù)測為不及格谊惭。
這是為什么呢？大家注意 id 為4的同學(xué)侮东，這是一位學(xué)霸午笛，他只用了20小時在學(xué)習(xí)上，卻考出了第一名的好成績苗桂。
回想一下線性回歸的目標(biāo)函數(shù)药磺，我們不難發(fā)現(xiàn)，所有訓(xùn)練樣本對于目標(biāo)的貢獻是平均的煤伟，因此癌佩，4號同學(xué)這種超常學(xué)霸的出現(xiàn)，在數(shù)據(jù)量本身就小的情況下便锨，有可能影響整個模型围辙。
這還是幸虧我們有歷史記錄，知道上次考試的成績放案，如果 X 只包含“Hours Spent”姚建，學(xué)霸同學(xué)根本就會帶偏大多數(shù)的預(yù)測結(jié)果（自變量只有“Hours Spent”的線性回歸模型會是什么樣的？這個問題留給同學(xué)們自己去實踐）吱殉。
那么我們看看用邏輯回歸如何掸冤。用邏輯回歸的時候厘托，我們就不再是預(yù)測具體分數(shù)，而是預(yù)測這個學(xué)生本次能否及格了稿湿。
這樣我們就需要對數(shù)據(jù)先做一下轉(zhuǎn)換铅匹，把具體分數(shù)轉(zhuǎn)變成是否合格，合格標(biāo)志為1饺藤，不合格為0包斑，然后再進行邏輯回歸：
這次的輸出就是[1 0 1]，對12涕俗、13罗丰、14號同學(xué)能否通過本次考試的判斷是正確的。
LR 處理多分類問題
LR 是用來做二分類的再姑，但是如果我們面對的是多分類問題：樣本標(biāo)簽的枚舉值多于2個丸卷，還能用 LR 嗎？
當(dāng)然是可以的询刹。我們可以把二分類問題分成多次來做谜嫉。
假設(shè)你一共有 n 個標(biāo)簽（類別），也就是說可能的分類一共有 n 個凹联。那么就構(gòu)造 n 個 LR 分類模型沐兰，第一個模型用來區(qū)分 label_1和 non-label _1（即所有不屬于 label_1 的都歸屬到一類），第二個模型用來區(qū)分 label_2 和 non-label _2……, 第 n 個模型用來區(qū)分 label_n 和 non-label _n蔽挠。
使用的時候住闯，每一個輸入數(shù)據(jù)都被這 n 個模型同時預(yù)測。最后哪個模型得出了 Positive 結(jié)果澳淑，就是該數(shù)據(jù)最終的結(jié)果比原。
如果有多個模型都得出了 Positive，那也沒有關(guān)系杠巡。因為 LR 是一個回歸模型量窘，它直接預(yù)測的輸出不僅是一個標(biāo)簽，還包括該標(biāo)簽正確的概率氢拥。那么對比幾個 Positive 結(jié)果的概率蚌铜，選最高的一個就是了。
例如嫩海，有一個數(shù)據(jù)冬殃，第一和第二個模型都給出了 Positive 結(jié)果，不過 label_1 模型的預(yù)測值是0.95叁怪，而 label_2 的結(jié)果是0.78审葬，那么當(dāng)然是選高的，結(jié)果就是 label_1。
說起原理來好像挺麻煩涣觉，好在 sklearn 已經(jīng)為我們處理了多分類問題痴荐，我們用 sklearn 來做多分類的時候，只是需要把 y 準備好旨枯，其他的，都和做二分類一樣就可以了混驰。
比如還是上面的例子攀隔，現(xiàn)在我們需要區(qū)分：學(xué)生的本次成績是優(yōu)秀（>=85），及格栖榨，還是不及格昆汹。我們就在處理 y 的時候給它設(shè)置三個值：0 （不及格）、1（及格）和2（優(yōu)秀）婴栽，然后再做 LR 分類就可以了满粗。代碼如下：
測試集的輸出是：[1 0 2] —— 12號及格，13號不及格愚争，14號優(yōu)秀映皆，還是蠻準的。
附錄
quiz.csv 文件：
Id,Last Score,Hours Spent,Score
1,90,117,89
2,85,109,78
3,75,113,82
4,98,20,95
5,62,116,61
6,36,34,32
7,87,120,88
8,89,132,92
9,60,83,52
10,72,92,65
11,73,112,71
12,56,143,62
13,57,97,52
14,91,119,93
