缺失值的處理有3種:不處理(做建模鐵定不選)梧兼,刪除(可以考慮),數(shù)據(jù)補差(99%的同僚選擇)
而補差的方式主要用下面的5類智听,重點是第五個羽杰,插值法
1. 補插均值/中位數(shù)/眾數(shù)
2. 使用固定值 .
3. 最近鄰補插
4. 回歸方法
5. 插值法
插值法又包含好多種:(1)拉格朗日插值法(最容易看的懂的,用的人較多到推,用錯的也多)(2)牛頓插值法(3)Hermite插值 (4)分段插值 (5)樣條插值 (后三種相對用的較少)
(1)拉格朗日插值法(劃重點)
其原理百度就是構建一個多項式考赛,這個多項式很厲害,假如說我們的數(shù)據(jù)是城市里的銀行位置坐標莉测,那這個多項式就是一條過所有銀行的公路颜骤,所以,當我們要問50km外的銀行在哪兒時捣卤,我們順著這條路算就可以算出來忍抽。當然,算出來的坐標只是一個近似值董朝。(當給出的已知銀行坐標點越多梯找,近似誤差越小)益涧。
關于拉格朗日多項式的構建原理锈锤,這里不說了,百度各種解釋,這里只說一下它的優(yōu)缺點:優(yōu)點就是過程簡單久免,很容易找到插值浅辙,而且還是唯一的。缺點也明顯阎姥,就是當已知的點很多時候记舆,階數(shù)也會很高,所以不適合插那些百十來個數(shù)據(jù)點的題呼巴。處理十來個的還是很好的泽腮。(我個人建議還是用牛頓)
(2)牛頓插值法8
相比較與拉格朗日,其優(yōu)點是當新增加插值點時衣赶,得到的擬合函數(shù)變化不大诊赊。其原理解釋還是看百度或者找老師問吧,我的理解就是從第一個插值點開始修路府瞄,每修到一個銀行就進行一次校正(高階差商我的理解)碧磅,然后這樣的話插未知點就準一點。所以用的比較多吧也遵馆。
舉例1:向量類型判斷缺失值is.na和缺失值的填補which
(x<-c(1,2,3,NA))
is.na(x) #返回一個邏輯向量鲸郊,TRUE為缺失值,F(xiàn)ALSE為非缺失值
table(is.na(x)) #統(tǒng)計分類個數(shù)
sum(x) #當向量存在缺失值的時候統(tǒng)計結果也是缺失值
sum(x,na.rm = TRUE) #很多函數(shù)里都有na.rm=TRUE參數(shù)货邓,此參數(shù)可以在運算時移除缺失值
(x[which(is.na(x))]<-0) #可以用which()函數(shù)代替缺失值秆撮,which()函數(shù)返回符合條件的響應位置
舉例2:數(shù)據(jù)框類型判斷缺失值is.na、缺失值的填補which换况、缺失值所在行的刪除na.omit
(test<-data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))
is.na(test) #test中空值的判斷
which(is.na(test),arr.ind = T) #arr.ind=T可以返回缺失值的相應行列坐標
test[which(is.na(test),arr.ind = T)]<-0 #結合which進行缺失替代
(test_omit<-na.omit(data.frame(x=c(1,2,3,4,NA),y=c(6,7,NA,8,9)))) #na.omit函數(shù)可以直接刪除值所在的行
舉例3:識別缺失值的基本語法匯總
str(airquality)
complete.cases(airquality) #判斷個案是否有缺失值
airquality[complete.cases(airquality),] #列出沒有缺失值的行
nrow(airquality[complete.cases(airquality),]) #計算沒有缺失值的樣本量
airquality[!complete.cases(airquality),] #列出有缺失的值的行
nrow(airquality[!complete.cases(airquality),]) #計算有缺失值的樣本量
is.na(airquality$Ozone) #TRUE為缺失值职辨,F(xiàn)ALSE為非缺失值
table(is.na(airquality$Ozone))
complete.cases(airquality$Ozone) #FALSE為缺失值,TRUE為非缺失值
table(complete.cases(airquality$Ozone))
可用sum()和mean()函數(shù)來獲取關于缺失數(shù)據(jù)的有用信息
sum(is.na(airquality$Ozone)) #查看缺失值的個數(shù)
sum(complete.cases(airquality$Ozone)) #查看沒有缺失值的個數(shù)
mean(is.na(airquality$Ozone)) #查看缺失值的占比
mean(is.na(airquality)) #查看數(shù)據(jù)集airquality中樣本有缺失值的占比
舉例4:探索缺失值模式
列表缺失值探索
library(mice)
md.pattern(airquality)
圖形缺失值探索
library(VIM)
aggr(airquality,prop=FALSE,number=TRUE)
aggr(airquality,prop=TRUE,number=TRUE) #生成相同的圖形复隆,但用比例代替了計數(shù)
aggr(airquality,prop=FALSE,number=FALSE) #選項numbers = FALSE(默認)刪去數(shù)值型標簽
舉例5:刪除缺失值
airquality[complete.cases(airquality),] #方法一:刪除缺失值行
na.omit(airquality) #方法二:刪除缺失值的行
舉例6:缺失值回歸模型插補
newnhanes2<-nhanes2
sub<-which(is.na(newnhanes2[,4])) #返回newnhanes2數(shù)據(jù)集中第4列NA的行標識
datatr<-newnhanes2[-sub,] #方法一:將第4列不為NA的數(shù)存入數(shù)據(jù)集datatr中
datatr<-newnhanes2[complete.cases(newnhanes2[,4]),] #方法二:將第4列不為NA的數(shù)存入數(shù)據(jù)集datatr中
datate<-newnhanes2[sub,] #方法一:將第4列為NA的數(shù)存入數(shù)據(jù)集datate中
datate<-newnhanes2[is.na(newnhanes2[,4]),] #方法二:將第4列為NA的數(shù)存入數(shù)據(jù)集datate中
fit<-lm(chl~age,data = datatr) #利用datatr中age為自變量拨匆,chl為因變量構建線性回歸模型lm
newnhanes2[sub,4]<-round(predict(fit,datate)) #利用datate中數(shù)據(jù)按照模型fit對nhanes2中chl中的缺失數(shù)據(jù)進行預測
舉例7:缺失值隨機森林插補
library(missForest)
z<-missForest(airquality) #用隨機森林迭代彌補缺失值
air.full<-z$ximp
zz<-missForest(nhanes2)
nhanes2.full<-zz$ximp
舉例8:線性回歸模型插補
mice::md.pattern(airquality)
index1<-is.na(airquality$Ozone) #對Ozone變量進行缺失值處理
dput(colnames(airquality)) #求出變量列名稱
Ozone_train<-airquality[!index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #訓練集,需注意什么時候用!,什么時候用-
Ozone_test<-airquality[index1,c("Ozone", "Wind", "Temp", "Month", "Day")] #測試集
fit<-lm(Ozone~.,data = Ozone_train) #建立線性回歸模型
summary(fit)
airquality[index1,"Ozone"]<-predict(fit,newdata =Ozone_test )
index2<-is.na(airquality$Solar.R) #Solar.R變量進行缺失值處理,Ozone變量數(shù)據(jù)已補齊
Solar.R_train<-airquality[!index2,] #訓練集
Solar.R_test<-airquality[index2,] #測試集
Solar.R_fit<-lm(Solar.R~.,data = Solar.R_train)
summary(Solar.R_fit)
airquality[index2,"Solar.R"]<-predict(Solar.R_fit,newdata = Solar.R_test)
mice::md.pattern(airquality)
舉例:knn和bag缺失值插補(利用caret包中的preProcess函數(shù)挽拂,method參數(shù)有多種方式可選)
question<-read.csv("問卷調(diào)研數(shù)據(jù).csv")
question<-question[,-1]
str(question)
for(i in 1:ncol(question)){
question[,i]<-as.factor(question[,i])
} #批量修改為因子類型
str(question)
舉例9:利用KNN算法進行缺失值插補(只能對數(shù)值型變量處理)
question<-read.csv("問卷調(diào)研數(shù)據(jù).csv")
question<-question[,-1]
mice::md.pattern(question) #列表缺失值探索
library(caret)
knn.model<-preProcess(question,method = "knnImpute") #KNN處理數(shù)值型數(shù)據(jù)(歐式距離),不能處理因子型數(shù)據(jù)
question1<-predict(knn.model,newdata = question)
install.packages("RANN")
mice::md.pattern(question1)
table(question1$性別) #不是之前的1和2了
table(question$性別)
最后結果:knn不適合處理該數(shù)據(jù)惭每,需要做啞變量處理,再套模型
舉例10:利用袋裝算法進行缺失值插補(只能對數(shù)值型變量處理)
question<-read.csv("問卷調(diào)研數(shù)據(jù).csv")
question<-question[,-1]
mice::md.pattern(question) #列表缺失值探索
library(caret)
bag.model<-preProcess(question,method = "bagImpute") #bag算法模型建立
install.packages("ipred")
question2<-predict(bag.model,question) #預測結果
mice::md.pattern(question2) #列表缺失值探索
table(question2$性別)
最后結果:bag算法不適合處理該數(shù)據(jù)