在日常學(xué)習(xí)或工作中經(jīng)常會(huì)使用線性回歸模型對(duì)某一事物進(jìn)行預(yù)測(cè)华匾，例如預(yù)測(cè)房?jī)r(jià)、身高揪荣、GDP筷黔、學(xué)生成績(jī)等，發(fā)現(xiàn)這些被預(yù)測(cè)的變量都屬于連續(xù)型變量仗颈。然而有些情況下佛舱，被預(yù)測(cè)變量可能是二元變量，即成功或失敗挨决、流失或不流失请祖、漲或跌等，對(duì)于這類問題脖祈，線性回歸將束手無策肆捕。這個(gè)時(shí)候就需要另一種回歸方法進(jìn)行預(yù)測(cè)，即Logistic回歸盖高。
一慎陵、Logistic模型簡(jiǎn)介
Logistic回歸模型公式如下：
xn的情況下眼虱，興趣變量y=1時(shí)的概率。顯然席纽，該模型是一個(gè)非線性模型捏悬，具有S型分布
x<-seq(-10,10,0.01)
> y<-1/(1+exp(-x))
> library(ggplot2)
> ggplot(data=NULL,aes(x=x,y=y))+geom_line(col="red")
二、模型用途
Logistic模型主要有三大用途：
1）尋找危險(xiǎn)因素润梯，找到某些影響因變量的”壞因素”过牙，一般可以通過優(yōu)勢(shì)比發(fā)現(xiàn)危險(xiǎn)因素；
2）用于預(yù)測(cè)纺铭，可以預(yù)測(cè)某種情況發(fā)生的概率或可能性大锌芏ぁ；
3）用于判別舶赔，判斷某個(gè)新樣本所屬的類別扫倡。
三、模型應(yīng)用
下文使用Logistic模型對(duì)電信行業(yè)的客戶流失數(shù)據(jù)進(jìn)行建模顿痪，數(shù)據(jù)來源為R中C50包自帶數(shù)據(jù)集churnTrain和churnTest镊辕。
使用C50包中自帶的電信行業(yè)客戶流失數(shù)據(jù)
library(C50)
data(churn)
?train<-churnTrain
test<-churnTest
str(train)
數(shù)據(jù)集中包含了19個(gè)變量，其中變量洲(state)蚁袭、國(guó)際長(zhǎng)途計(jì)劃(international_plan)、信箱語(yǔ)音計(jì)劃(voice_mail_plan)和是否流失(churn)為因子變量石咬，其余變量均為數(shù)值變量揩悄，而且這里的區(qū)域編碼變量(area_code)沒有任何實(shí)際意義，故考慮排除該變量鬼悠。
剔除無意義的變量
train<-train[,-3]
test<-test[,-3]
由于模型中删性，更關(guān)心的是流失這個(gè)結(jié)果(churn=yes)，所以對(duì)該因子進(jìn)行排序?
train$churn<-factor(train$churn,levels = c("no","yes"),order=TRUE)
test$churn <- factor(test$churn, ,levels = c('no','yes'), order = TRUE)?
構(gòu)建Logistic模型?
model<-glm(churn~.,data=train,family = "binomial")
> summary(model)
發(fā)現(xiàn)有很多變量并不顯著焕窝，故考慮剔除這些不顯著的變量蹬挺，這里使用逐步回歸法進(jìn)行變量的選擇(需要注意的是，Logistic為非線性模型它掂，回歸系數(shù)是通過極大似然估計(jì)方法計(jì)算所得)
step函數(shù)實(shí)現(xiàn)逐步回歸法?
model2 <- step(object = model, trace = 0)?
summary(model2)?
從結(jié)果中發(fā)現(xiàn)巴帮，所有變量的P值均小于0.05，通過顯著性檢驗(yàn)虐秋，保留了相對(duì)重要的變量榕茧。模型各變量通過顯著性檢驗(yàn)的同時(shí)還需確保整個(gè)模型是顯著的，只有這樣才能保證模型是正確的客给、有意義的用押，下面對(duì)模型進(jìn)行卡方檢驗(yàn)。
模型的顯著性檢驗(yàn)?
anova(object = model2, test = 'Chisq')?注意c大寫
從上圖中可知靶剑，隨著變量從第一個(gè)到最后一個(gè)逐個(gè)加入模型蜻拨，模型最終通過顯著性檢驗(yàn)池充，說明由上述這些變量組成的模型是有意義的，并且是正確的缎讼。
雖然模型的偏回歸系數(shù)和模型均通過顯著性檢驗(yàn)收夸，但不代表模型能夠非常準(zhǔn)確的擬合實(shí)際值，這就需要對(duì)模型進(jìn)行擬合優(yōu)度檢驗(yàn)休涤，即通過比較模型的預(yù)測(cè)值與實(shí)際值之間的差異情況來進(jìn)行檢驗(yàn)咱圆。
Logistic回歸模型的擬合優(yōu)度檢驗(yàn)一般使用偏差卡方檢驗(yàn)、皮爾遜卡方檢驗(yàn)和HL統(tǒng)計(jì)量檢驗(yàn)三種方法功氨，其中前兩種檢驗(yàn)適合模型中只有離散的自變量序苏，而后一種適合模型中包含連續(xù)的自變量。擬合優(yōu)度檢驗(yàn)的原假設(shè)為“模型的預(yù)測(cè)值與實(shí)際值不存在差異”捷凄。
模型對(duì)樣本外數(shù)據(jù)(測(cè)試集)的預(yù)測(cè)精度?
prob<-predict(object =model2,newdata=test,type = "response")?
pred<-ifelse(prob>=0.5,"yes","no")
> pred<-factor(pred,levels = c("no","yes"),order=TRUE)
> f<-table(test$churn,pred)
> f
pred
no? ? ? yes
yes? 182? ? 42
no? 1408? ? 35
從上圖中我們發(fā)現(xiàn)：
1).模型對(duì)非流失客戶(no)的預(yù)測(cè)還是非常準(zhǔn)確的（1408/(1408+35)=97.6%）;
2).模型對(duì)流失客戶(yes)的預(yù)測(cè)非常不理想（42/(182+42)=18.8%）
3).模型的整體預(yù)測(cè)準(zhǔn)確率為87.0%((1408+42)/(1408+35+182+42))忱详，還算說得過去。
模型對(duì)非流失客戶預(yù)測(cè)精準(zhǔn)跺涤，而對(duì)流失客戶預(yù)測(cè)非常差匈睁，我認(rèn)為的可能原因是模型對(duì)非平衡數(shù)據(jù)非常敏感。即構(gòu)建模型的訓(xùn)練集中流失客戶為483例桶错，而非流失客戶為2850例航唆，兩者相差非常大。
上文對(duì)模型偏回歸系數(shù)院刁、模型整體和模型擬合優(yōu)度進(jìn)行了顯著性檢驗(yàn)糯钙，結(jié)果均表明模型比較理想，同時(shí)也對(duì)模型的預(yù)測(cè)精度進(jìn)行驗(yàn)證退腥，也說明了模型的整體預(yù)測(cè)能力比較理想任岸。接下來我們通過另一種可視化的方法衡量模型的優(yōu)劣，即ROC曲線狡刘，該曲線的橫坐標(biāo)和縱坐標(biāo)各表示1-反例的覆蓋率和正例的覆蓋率享潜。
繪制ROC曲線?
library(pROC)
roc_curve <- roc(test$churn,prob)
names(roc_curve)
x <- 1-roc_curve$specificities
y <- roc_curve$sensitivities
library(ggplot2)
p <- ggplot(data = NULL, mapping = aes(x= x, y = y))
p + geom_line(colour = 'red') +geom_abline(intercept = 0, slope = 1)
+ annotate('text', x = 0.4, y = 0.5, label =paste('AUC=',round(roc_curve$auc,2)))
+ labs(x = '1-specificities',y = 'sensitivities', title = 'ROC Curve')
這里的AUC為ROC曲線和y=x直線之間的面積。在實(shí)際應(yīng)用中嗅蔬，多個(gè)模型的比較可以通過面積大小來選擇更佳的模型剑按，選擇標(biāo)準(zhǔn)是AUC越大越好。對(duì)于一個(gè)模型而言购城，一般AUC大于0.8就能夠說明模型是比較合理的了吕座。
