邏輯回歸LR - fionacai - 博客園 http://www.cnblogs.com/fionacai/p/5865480.html
一袖迎、邏輯回歸LR介紹
首先要搞清楚當(dāng)你的目標(biāo)邏輯回歸LR - fionacai - 博客園 http://www.cnblogs.com/fionacai/p/5865480.html
一、邏輯回歸LR介紹
首先要搞清楚當(dāng)你的目標(biāo)變量是分類(lèi)變量時(shí)泣港，才會(huì)考慮邏輯回歸铺罢，并且主要用于兩分類(lèi)問(wèn)題茫叭。舉例來(lái)說(shuō)醫(yī)生希望通過(guò)腫瘤的大小x1、長(zhǎng)度x2耀里、種類(lèi)x3等等特征來(lái)判斷病人的這個(gè)腫瘤是惡性腫瘤還是良性腫瘤蜈缤，這時(shí)目標(biāo)變量y就是分類(lèi)變量（0良性腫瘤，1惡性腫瘤）冯挎。
邏輯回歸算法相信很多人都很熟悉底哥，也算是我比較熟悉的算法之一了，畢業(yè)論文當(dāng)時(shí)的項(xiàng)目就是用的這個(gè)算法房官。這個(gè)算法可能不想隨機(jī)森林趾徽、SVM、神經(jīng)網(wǎng)絡(luò)翰守、GBDT等分類(lèi)算法那么復(fù)雜那么高深的樣子孵奶，可是絕對(duì)不能小看這個(gè)算法，因?yàn)樗袔讉€(gè)優(yōu)點(diǎn)是那幾個(gè)算法無(wú)法達(dá)到的蜡峰，一是邏輯回歸的算法已經(jīng)比較成熟了袁，預(yù)測(cè)較為準(zhǔn)確；二是模型求出的系數(shù)易于理解湿颅，便于解釋?zhuān)粚儆诤诤心Ｐ驮芈蹋绕湓阢y行業(yè)，80%的預(yù)測(cè)是使用邏輯回歸肖爵；三是結(jié)果是概率值卢鹦，可以做ranking model；四是訓(xùn)練快劝堪。當(dāng)然它也有缺點(diǎn)，分類(lèi)較多的y都不是很適用揉稚。下面我先具體介紹下這個(gè)模型秒啦。
一、****邏輯回歸LR****介紹
首先要搞清楚當(dāng)你的目標(biāo)變量是分類(lèi)變量時(shí)搀玖，才會(huì)考慮邏輯回歸余境，并且主要用于兩分類(lèi)問(wèn)題。舉例來(lái)說(shuō)醫(yī)生希望通過(guò)腫瘤的大小x1、長(zhǎng)度x2芳来、種類(lèi)x3等等特征來(lái)判斷病人的這個(gè)腫瘤是惡性腫瘤還是良性腫瘤含末，這時(shí)目標(biāo)變量y就是分類(lèi)變量（0良性腫瘤，1惡性腫瘤）即舌。顯然我們希望像保留像線(xiàn)性回歸一樣可以通過(guò)一些列x與y之間的線(xiàn)性關(guān)系來(lái)進(jìn)行預(yù)測(cè)佣盒，但是此時(shí)由于Y是分類(lèi)變量，它的取值只能是0,1,或者0,1,2等等顽聂，不可能是負(fù)無(wú)窮到正無(wú)窮肥惭，這個(gè)問(wèn)題怎么解決呢？此時(shí)引入了一個(gè)sigmoid函數(shù)紊搪，這個(gè)函數(shù)的性質(zhì)蜜葱，非常好的滿(mǎn)足了，x的輸入可以是負(fù)無(wú)窮到正無(wú)窮耀石，而輸出y總是[0,1]牵囤，并且當(dāng)x=0時(shí)，y的值為0.5滞伟，以一種概率的形式表示. x=0的時(shí)候y=0.5 這是決策邊界奔浅。當(dāng)你要確定腫瘤是良性還是惡性時(shí)，其實(shí)我們是要找出能夠分開(kāi)這兩類(lèi)樣本的邊界诗良，叫決策邊界汹桦。
而通過(guò)sigmoid函數(shù)，可以將我們喜歡的線(xiàn)性表示的函數(shù)嵌入其中鉴裹，當(dāng)thetax得到的值大于0舞骆，則h(x)得到的概率值大于0.5時(shí)，表明屬于該分類(lèi)径荔；當(dāng)thetax得到的值小于0督禽，則h(x)小于0.5時(shí)表示不屬于該分類(lèi)。這樣也就形成了我們看到的邏輯回歸总处，具體如下：
其中theta是向量狈惫，
二、****邏輯回歸估計(jì)（最小化損失函數(shù)loss function****）
損失函數(shù)是在機(jī)器學(xué)習(xí)中最常出現(xiàn)的概念鹦马，用于衡量均方誤差[（模型估計(jì)值－模型實(shí)際值）^2／ n]最小胧谈，即預(yù)測(cè)的準(zhǔn)確性，因而需要損失函數(shù)最小荸频，得到的參數(shù)才最優(yōu)菱肖。（線(xiàn)性回歸中的最小二乘估計(jì)也是由此而來(lái)）但因?yàn)檫壿嫽貧w的這種損失函數(shù)非凸，不能找到全局最低點(diǎn)旭从。因此稳强，需要采用另一種方式场仲，將其轉(zhuǎn)化為求最大似然，如下退疫，具體的推導(dǎo)求解過(guò)程可參見(jiàn)博客http://blog.csdn.net/suipingsp/article/details/41822313 另一種較為好理解的方式是渠缕，如果Y=1，你膽敢給出一個(gè)h(x)很小的概率比如0.01褒繁，那么損失函數(shù)就會(huì)變得很大：
此時(shí)的損失函數(shù)變成了凸函數(shù)亦鳞，Theta的求解，就是梯度下降法求最小值澜汤，此時(shí)加入的正則化項(xiàng)蚜迅，是解決過(guò)擬合問(wèn)題。（過(guò)擬合問(wèn)題：如果我們的模型有非常多的特征俊抵，模型很復(fù)雜谁不，模型對(duì)原始數(shù)據(jù)的擬合效果很好，但是喪失一般性徽诲，對(duì)新的待預(yù)測(cè)變量預(yù)測(cè)效果很差刹帕。（聽(tīng)過(guò)寒小陽(yáng)老師舉過(guò)一個(gè)很好理解的例子，就是這個(gè)學(xué)生只是強(qiáng)硬的記住題目谎替，并沒(méi)有掌握規(guī)律偷溺，高考不一定考的好）怎么解決呢？限制參數(shù)寺塔钱贯，損失函數(shù)加上關(guān)于theta的限制挫掏，即如果theta太多太大，則就給予懲罰秩命。L2正則化尉共。）
該公式將一直被迭代執(zhí)行，直至達(dá)到收斂（
三撒会、****LR****應(yīng)用經(jīng)驗(yàn)
如果連續(xù)變量荧库，注意做SCALING敷存，縮放單位即標(biāo)準(zhǔn)化认烁。LR對(duì)樣本分布敏感，所以要注意樣本的平衡性（y=1不能太少）樣本量足的情況下采用下采樣膛虫，不足的情況用上采樣醒陆。
LR對(duì)于特征處理非常重要宙搬，常用處理手段包括柳洋，通過(guò)組合特征引入個(gè)性化因素(FM,FFM)待诅；注意特征的頻度；聚類(lèi)熊镣、HASH。但LR不怕特征大，GBDT比較怕绪囱。對(duì)于連續(xù)變量的離散化测蹲，可以用CART查看離散的結(jié)果，生成新的特征鬼吵，再用LR扣甲。
LR和FM對(duì)于稀疏高維特征處理是無(wú)壓力的，GBDT對(duì)于連續(xù)值自己會(huì)找到合適的切分點(diǎn)齿椅，xgboost也可以處理category類(lèi)型的feature琉挖，無(wú)需one-hot，平展開(kāi)的高維稀疏特征對(duì)它沒(méi)好處涣脚。
算法調(diào)優(yōu)方面示辈，選擇合適的正則化，正則化系數(shù)遣蚀，收斂閾值e矾麻，迭代輪數(shù)，調(diào)整loss function給定不同權(quán)重芭梯；bagging或其他方式的模型融合险耀；最優(yōu)算法選擇（‘newton-cg’,’lbfgs’, ‘liblinear’）；bagging或其他模型融合玖喘。Sklearn中的LR實(shí)際上是liblinear的封裝甩牺。
LR和SVM對(duì)于線(xiàn)性切分都有著比較好的表現(xiàn)，對(duì)于非線(xiàn)性切分累奈，必須在原始數(shù)據(jù)上做一些非線(xiàn)性變換贬派。LR必須做feature mapping，比如把X做個(gè)平方項(xiàng)费尽，X1*X2等赠群；SVM則需要利用核函數(shù)
模型的評(píng)價(jià)主要用ROC曲線(xiàn)。ROC（接受者操作特征）曲線(xiàn)實(shí)際上是對(duì)概率輸出設(shè)置了一個(gè)門(mén)檻D旱幼，當(dāng)P(C|x)>D時(shí)查描，事件C為真， 而ROC曲線(xiàn)反映了柏卤，在一系列可能門(mén)檻值下冬三，真正率（ TPR）和假正率(FPR)的值，一個(gè)好的模型必須在一個(gè)高的真正率（ TPR）和一個(gè)低的假正率(FPR)中取得一個(gè)折衷水平缘缚，ROC曲線(xiàn)下的面積越大越好勾笆，最大為1.
邏輯回歸算法相信很多人都很熟悉邀杏，也算是我比較熟悉的算法之一了贫奠，畢業(yè)論文當(dāng)時(shí)的項(xiàng)目就是用的這個(gè)算法。這個(gè)算法可能不想隨機(jī)森林望蜡、SVM唤崭、神經(jīng)網(wǎng)絡(luò)、GBDT等分類(lèi)算法那么復(fù)雜那么高深的樣子脖律，可是絕對(duì)不能小看這個(gè)算法谢肾，因?yàn)樗袔讉€(gè)優(yōu)點(diǎn)是那幾個(gè)算法無(wú)法達(dá)到的，一是邏輯回歸的算法已經(jīng)比較成熟状您，預(yù)測(cè)較為準(zhǔn)確勒叠；二是模型求出的系數(shù)易于理解，便于解釋?zhuān)粚儆诤诤心Ｐ透嗝希绕湓阢y行業(yè)眯分，80%的預(yù)測(cè)是使用邏輯回歸；三是結(jié)果是概率值柒桑，可以做ranking model弊决；四是訓(xùn)練快。當(dāng)然它也有缺點(diǎn)魁淳，分類(lèi)較多的y都不是很適用飘诗。下面我先具體介紹下這個(gè)模型。
一界逛、****邏輯回歸LR****介紹
首先要搞清楚當(dāng)你的目標(biāo)變量是分類(lèi)變量時(shí)昆稿，才會(huì)考慮邏輯回歸，并且主要用于兩分類(lèi)問(wèn)題息拜。舉例來(lái)說(shuō)醫(yī)生希望通過(guò)腫瘤的大小x1溉潭、長(zhǎng)度x2、種類(lèi)x3等等特征來(lái)判斷病人的這個(gè)腫瘤是惡性腫瘤還是良性腫瘤少欺，這時(shí)目標(biāo)變量y就是分類(lèi)變量（0良性腫瘤喳瓣，1惡性腫瘤）。顯然我們希望像保留像線(xiàn)性回歸一樣可以通過(guò)一些列x與y之間的線(xiàn)性關(guān)系來(lái)進(jìn)行預(yù)測(cè)赞别，但是此時(shí)由于Y是分類(lèi)變量畏陕，它的取值只能是0,1,或者0,1,2等等，不可能是負(fù)無(wú)窮到正無(wú)窮仿滔，這個(gè)問(wèn)題怎么解決呢惠毁？此時(shí)引入了一個(gè)sigmoid函數(shù)犹芹，這個(gè)函數(shù)的性質(zhì)，非常好的滿(mǎn)足了仁讨，x的輸入可以是負(fù)無(wú)窮到正無(wú)窮羽莺，而輸出y總是[0,1]实昨，并且當(dāng)x=0時(shí)洞豁，y的值為0.5，以一種概率的形式表示. x=0的時(shí)候y=0.5 這是決策邊界荒给。當(dāng)你要確定腫瘤是良性還是惡性時(shí)丈挟，其實(shí)我們是要找出能夠分開(kāi)這兩類(lèi)樣本的邊界，叫決策邊界志电。
而通過(guò)sigmoid函數(shù)曙咽，可以將我們喜歡的線(xiàn)性表示的函數(shù)嵌入其中，當(dāng)thetax得到的值大于0挑辆，則h(x)得到的概率值大于0.5時(shí)例朱，表明屬于該分類(lèi)；當(dāng)thetax得到的值小于0鱼蝉，則h(x)小于0.5時(shí)表示不屬于該分類(lèi)洒嗤。這樣也就形成了我們看到的邏輯回歸，具體如下：
其中theta是向量魁亦，
二渔隶、****邏輯回歸估計(jì)（最小化損失函數(shù)loss function****）
損失函數(shù)是在機(jī)器學(xué)習(xí)中最常出現(xiàn)的概念，用于衡量均方誤差[（模型估計(jì)值－模型實(shí)際值）^2／ n]最小洁奈，即預(yù)測(cè)的準(zhǔn)確性间唉，因而需要損失函數(shù)最小，得到的參數(shù)才最優(yōu)利术。（線(xiàn)性回歸中的最小二乘估計(jì)也是由此而來(lái)）但因?yàn)檫壿嫽貧w的這種損失函數(shù)非凸呈野，不能找到全局最低點(diǎn)。因此印叁，需要采用另一種方式被冒，將其轉(zhuǎn)化為求最大似然，如下喉钢，具體的推導(dǎo)求解過(guò)程可參見(jiàn)博客http://blog.csdn.net/suipingsp/article/details/41822313 另一種較為好理解的方式是姆打，如果Y=1，你膽敢給出一個(gè)h(x)很小的概率比如0.01肠虽，那么損失函數(shù)就會(huì)變得很大：
[圖片上傳中幔戏。。税课。（5）]
此時(shí)的損失函數(shù)變成了凸函數(shù)闲延，Theta的求解痊剖，就是梯度下降法求最小值，此時(shí)加入的正則化項(xiàng)垒玲，是解決過(guò)擬合問(wèn)題陆馁。（過(guò)擬合問(wèn)題：如果我們的模型有非常多的特征，模型很復(fù)雜合愈，模型對(duì)原始數(shù)據(jù)的擬合效果很好叮贩，但是喪失一般性，對(duì)新的待預(yù)測(cè)變量預(yù)測(cè)效果很差佛析。（聽(tīng)過(guò)寒小陽(yáng)老師舉過(guò)一個(gè)很好理解的例子益老，就是這個(gè)學(xué)生只是強(qiáng)硬的記住題目，并沒(méi)有掌握規(guī)律寸莫，高考不一定考的好）怎么解決呢捺萌？限制參數(shù)寺塔，損失函數(shù)加上關(guān)于theta的限制膘茎，即如果theta太多太大桃纯，則就給予懲罰。L2正則化披坏。）
該公式將一直被迭代執(zhí)行态坦，直至達(dá)到收斂（
三驮配、****LR****應(yīng)用經(jīng)驗(yàn)
如果連續(xù)變量，注意做SCALING着茸，縮放單位即標(biāo)準(zhǔn)化壮锻。LR對(duì)樣本分布敏感，所以要注意樣本的平衡性（y=1不能太少）樣本量足的情況下采用下采樣涮阔，不足的情況用上采樣猜绣。
LR對(duì)于特征處理非常重要，常用處理手段包括敬特，通過(guò)組合特征引入個(gè)性化因素(FM,FFM)掰邢；注意特征的頻度；聚類(lèi)伟阔、HASH辣之。但LR不怕特征大，GBDT比較怕皱炉。對(duì)于連續(xù)變量的離散化怀估，可以用CART查看離散的結(jié)果，生成新的特征，再用LR多搀。
LR和FM對(duì)于稀疏高維特征處理是無(wú)壓力的歧蕉，GBDT對(duì)于連續(xù)值自己會(huì)找到合適的切分點(diǎn)，xgboost也可以處理category類(lèi)型的feature康铭，無(wú)需one-hot惯退，平展開(kāi)的高維稀疏特征對(duì)它沒(méi)好處。
算法調(diào)優(yōu)方面从藤，選擇合適的正則化催跪，正則化系數(shù)，收斂閾值e呛哟，迭代輪數(shù)叠荠，調(diào)整loss function給定不同權(quán)重；bagging或其他方式的模型融合扫责；最優(yōu)算法選擇（‘newton-cg’,’lbfgs’, ‘liblinear’）；bagging或其他模型融合逃呼。Sklearn中的LR實(shí)際上是liblinear的封裝鳖孤。
LR和SVM對(duì)于線(xiàn)性切分都有著比較好的表現(xiàn)，對(duì)于非線(xiàn)性切分抡笼，必須在原始數(shù)據(jù)上做一些非線(xiàn)性變換苏揣。LR必須做feature mapping，比如把X做個(gè)平方項(xiàng)推姻，X1*X2等平匈；SVM則需要利用核函數(shù)
模型的評(píng)價(jià)主要用ROC曲線(xiàn)。ROC（接受者操作特征）曲線(xiàn)實(shí)際上是對(duì)概率輸出設(shè)置了一個(gè)門(mén)檻D藏古，當(dāng)P(C|x)>D時(shí)增炭，事件C為真， 而ROC曲線(xiàn)反映了拧晕，在一系列可能門(mén)檻值下隙姿，真正率（ TPR）和假正率(FPR)的值，一個(gè)好的模型必須在一個(gè)高的真正率（ TPR）和一個(gè)低的假正率(FPR)中取得一個(gè)折衷水平厂捞，ROC曲線(xiàn)下的面積越大越好输玷，最大為1.
