缺失值

在問卷數(shù)據(jù)或?qū)嶒?yàn)數(shù)據(jù)中，經(jīng)常會(huì)包含由于未作答朗和、設(shè)備故障或誤編碼數(shù)據(jù)的緣故出現(xiàn)缺失值错沽。在R中，缺失值以符號(hào)NA（Not Available眶拉，不可用）表示千埃。不可能出現(xiàn)的值（例如，被0除的結(jié)果） 通過符號(hào)NaN（Not a Number忆植，非數(shù)值）來表示放可。

1. 缺失值得識(shí)別與可視化

首先我們來安裝兩個(gè)R包，VIM和mice包朝刊。

> install.packages(c("VIM","mice"))

本次分析使用的數(shù)據(jù)集sleep就是VIM包中包含的數(shù)據(jù)集耀里，來源于Allison和Chichetti (1976)的研究。
自變量：生態(tài)學(xué)變量坞古、體質(zhì)變量
因變量：睡眠變量
生態(tài)學(xué)變量包含：物種被捕食程度（Pred）备韧，睡眠時(shí)的暴露程度（Exp），面臨的總危險(xiǎn)度（Danger）痪枫。體質(zhì)變量包含：體重（BodyWgt织堂，單位kg）叠艳，腦重（BrainWgt，單位g）易阳，壽命（Span附较，單位年），妊娠期（Gest潦俺，單位為天）拒课。
睡眠變量包含：做夢(mèng)時(shí)長(zhǎng)（Dream），不做夢(mèng)時(shí)長(zhǎng)（NonD）以及它們的和（Sleep）事示。

1.1 is.na( )函數(shù)

函數(shù) is.na( ) 允許你檢測(cè)缺失值是否存在早像，作用于一個(gè)對(duì)象上，也將返回一個(gè)相同大小的對(duì)象肖爵，如果某個(gè)元素是缺失值卢鹦，相應(yīng)的位置將被改寫為TRUE，不是缺失值的位置則為FALSE劝堪。

> is.na(head(sleep))
  BodyWgt BrainWgt  NonD Dream Sleep  Span  Gest  Pred   Exp Danger
1   FALSE    FALSE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE  FALSE
2   FALSE    FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  FALSE
3   FALSE    FALSE  TRUE  TRUE FALSE FALSE FALSE FALSE FALSE  FALSE
4   FALSE    FALSE  TRUE  TRUE FALSE  TRUE FALSE FALSE FALSE  FALSE
5   FALSE    FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  FALSE
6   FALSE    FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE  FALSE

由圖可以看出冀自，所有顯示TRUE的地方都是缺失值。

1.2 complete.cases( )函數(shù)

該可以用來識(shí)別矩陣或數(shù)據(jù)框中沒有缺失值的行秒啦。若每行都包含完整實(shí)例熬粗，則返回TRUE的邏輯向量；若每行有一個(gè)或多個(gè)缺失值余境，則返回FALSE驻呐。

> complete.cases(head(sleep))
[1] FALSE  TRUE FALSE FALSE  TRUE  TRUE

可以看出1、3葛超、4行存在缺失值暴氏。

> head_sleep <- head(sleep)
> print(head_sleep[complete.cases(head_sleep)])    #只輸出不含缺失值的列
  BrainWgt Sleep Span Pred
1   5712.0   3.3 38.6    3
2      6.6   8.3  4.5    3
3     44.5  12.5 14.0    1
4      5.7  16.5   NA    5
5   4603.0   3.9 69.0    3
6    179.5   9.8 27.0    4
> head_sleep <- head(sleep)
> print(head_sleep[complete.cases(head_sleep),])    #只輸出不含缺失值的行
  BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger
2    1.00      6.6  6.3   2.0   8.3  4.5   42    3   1      3
5 2547.00   4603.0  2.1   1.8   3.9 69.0  624    3   5      4
6   10.55    179.5  9.1   0.7   9.8 27.0  180    4   4      4

1.3 md.pattern( ) 函數(shù)

mice包中的md.pattern，形成缺失表绣张。

> md.pattern(head_sleep)
  BodyWgt BrainWgt Sleep Gest Pred Exp Danger Span NonD Dream  
3       1        1     1    1    1   1      1    1    1     1 0
2       1        1     1    1    1   1      1    1    0     0 2
1       1        1     1    1    1   1      1    0    0     0 3
        0        0     0    0    0   0      0    1    3     3 7

1.4 aggr ( ) 函數(shù)

aggr ( ) 是VIM包中的函數(shù)答渔，可以形成缺失圖。

aggr(sleep, prop = F, number = T)    #表示用數(shù)字而不是比例

prob：當(dāng)為TRUE時(shí)侥涵，顯示為缺失值的占比沼撕；當(dāng)為FALSE時(shí)，顯示為缺失值的數(shù)量芜飘；
number：是否顯示數(shù)值务豺，默認(rèn)為FALSE，不顯示缺失值的占比或數(shù)量嗦明。

image

2. 缺失值的處理

2.1 推理恢復(fù)

根據(jù)變量之間的關(guān)系來填補(bǔ)或恢復(fù)缺失值笼沥，通過推理，數(shù)據(jù)的恢復(fù)可能是準(zhǔn)確的或近似的。

2.2 行刪除

把包含一個(gè)或多個(gè)缺失值的行刪除奔浅，稱作行刪除法馆纳，或個(gè)案刪除，大部分統(tǒng)計(jì)軟件包默認(rèn)采用的是行刪除法汹桦。
通過函數(shù) na.omit( ) 移除所有含有缺失值的觀測(cè)鲁驶。na.omit( ) 可以刪除所有含有缺失數(shù)據(jù)的行。

 na.omit(head_sleep)
  BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger
2    1.00      6.6  6.3   2.0   8.3  4.5   42    3   1      3
5 2547.00   4603.0  2.1   1.8   3.9 69.0  624    3   5      4
6   10.55    179.5  9.1   0.7   9.8 27.0  180    4   4      4

2.3 簡(jiǎn)單插補(bǔ)

當(dāng)然舞骆，我們有時(shí)并不想把缺失的行直接刪除钥弯，因?yàn)檫@樣難以避免造成了數(shù)據(jù)的損失。簡(jiǎn)單插補(bǔ)是用均值督禽，中位數(shù)或眾數(shù)來替換變量中缺失的值脆霎。將初始數(shù)據(jù)集中的屬性分為數(shù)值屬性和非數(shù)值屬性來分別進(jìn)行處理。

如果空值是數(shù)值型的赂蠢，就根據(jù)該屬性在其他所有對(duì)象的取值的平均值來填充該缺失的屬性值绪穆；
如果空值是非數(shù)值型的，就根據(jù)統(tǒng)計(jì)學(xué)中的眾數(shù)原理虱岂，用該屬性在其他所有對(duì)象的取值次數(shù)最多的值(即出現(xiàn)頻率最高的值)來補(bǔ)齊該缺失的屬性值。

2.4 高級(jí)插補(bǔ)

對(duì)缺失值的高級(jí)處理方式有很多菠红，大致有回歸插補(bǔ)第岖、多重插補(bǔ)、熱卡插補(bǔ)试溯，K最近距離鄰法等等蔑滓，現(xiàn)在只介紹多重插補(bǔ)的原理：
多重插補(bǔ)（MI）是一種基于重復(fù)模擬的處理缺失值的方法，它從一個(gè)包含缺失值的數(shù)據(jù)集中生成一組數(shù)據(jù)完整的數(shù)據(jù)集（即不包含缺失值的數(shù)據(jù)集遇绞，通常是3-10個(gè)）键袱。每個(gè)完整數(shù)據(jù)集都是通過對(duì)原始數(shù)據(jù)中的缺失數(shù)據(jù)進(jìn)行插補(bǔ)而生成的。在每個(gè)完整的數(shù)據(jù)集上引用標(biāo)準(zhǔn)的統(tǒng)計(jì)方法摹闽，最后蹄咖，把這些單獨(dú)的分析結(jié)果整合為一組結(jié)果。

多重插補(bǔ)法大致分為三步：

• 為每個(gè)空值產(chǎn)生一套可能的插補(bǔ)值付鹿，這些值反映了無響應(yīng)模型的不確定性澜汤；每個(gè)值都被用來插補(bǔ)數(shù)據(jù)集中的缺失值，產(chǎn)生若干個(gè)完整數(shù)據(jù)集合舵匾。
• 每個(gè)插補(bǔ)數(shù)據(jù)集合都用針對(duì)完整數(shù)據(jù)集的統(tǒng)計(jì)方法進(jìn)行統(tǒng)計(jì)分析俊抵。

• 對(duì)來自各個(gè)插補(bǔ)數(shù)據(jù)集的結(jié)果進(jìn)行整合，產(chǎn)生最終的統(tǒng)計(jì)推斷坐梯，這一推斷考慮到了由于數(shù)據(jù)插補(bǔ)而產(chǎn)生的不確定性徽诲。該方法將空缺值視為隨機(jī)樣本，這樣計(jì)算出來的統(tǒng)計(jì)推斷可能受到空缺值的不確定性的影響。

  
  
  image

基于mice包的分析通常符合以下分析過程：

library(mice)
imp <- mice(data seed=m)
fit <- with( imp, lm())
po<- pool(fit)
summary(po)

• mydata是一個(gè)包含缺失值的矩陣或數(shù)據(jù)框谎替。
• imp是一個(gè)包含m個(gè)插補(bǔ)數(shù)據(jù)集的列表對(duì)象偷溺，同時(shí)還含有完成插補(bǔ)過程的信息。默認(rèn)地院喜， m為5亡蓉。
• analysis是一個(gè)表達(dá)式對(duì)象，用來設(shè)定應(yīng)用于m個(gè)插補(bǔ)數(shù)據(jù)集的統(tǒng)計(jì)分析方法喷舀。方法包括做線性回歸模型的 lm() 函數(shù)砍濒、做廣義線性模型的 glm() 函數(shù)、做廣義可加模型的 gam()硫麻，以及做負(fù)二項(xiàng)模型的nbrm()函數(shù)爸邢。表達(dá)式在函數(shù)的括號(hào)中，~的左邊是響應(yīng)變量拿愧， 右邊是預(yù)測(cè)變量（用+符號(hào)分隔開）杠河。
• fit是一個(gè)包含m個(gè)單獨(dú)統(tǒng)計(jì)分析結(jié)果的列表對(duì)象。
• pooled是一個(gè)包含這m個(gè)統(tǒng)計(jì)分析平均結(jié)果的列表對(duì)象浇辜。

現(xiàn)在我們嘗試插補(bǔ)之前的sleep數(shù)據(jù)：

library(mice)
data(sleep,package="VIM")
imp<-mice(sleep,seed=1234)

fit<-with(imp,lm(Dream~Span+Gest))
pooled<-pool(fit)
summary(pooled)

完全按照上面的抄就可以券敌，summary之后可以看到：

summary(pooled)
         term     estimate   std.error  statistic       df      p.value
1 (Intercept)  2.531560872 0.260063277  9.7344035 44.41076 1.379785e-12
2        Span -0.004478330 0.011716849 -0.3822128 55.79406 7.037555e-01
3        Gest -0.004022046 0.001481345 -2.7151303 53.29365 8.909314e-03

可以通過檢查分析過程所創(chuàng)建的對(duì)象來獲取更多的插補(bǔ)信息。例如柳洋，來看imp對(duì)象的匯總信息：

imp
Class: mids
Number of multiple imputations:  5 
Imputation methods:
 BodyWgt BrainWgt     NonD    Dream    Sleep     Span     Gest     Pred      Exp   Danger 
      ""       ""    "pmm"    "pmm"    "pmm"    "pmm"    "pmm"       ""       ""       "" 
PredictorMatrix:
         BodyWgt BrainWgt NonD Dream Sleep Span Gest Pred Exp Danger
BodyWgt        0        1    1     1     1    1    1    1   1      1
BrainWgt       1        0    1     1     1    1    1    1   1      1
NonD           1        1    0     1     1    1    1    1   1      1
Dream          1        1    1     0     1    1    1    1   1      1
Sleep          1        1    1     1     0    1    1    1   1      1
Span           1        1    1     1     1    0    1    1   1      1
Number of logged events:  7 
  it im  dep meth   out
1  1  1 Span  pmm Sleep
2  1  1 Gest  pmm Sleep
3  2  4 Span  pmm Sleep
4  2  4 Gest  pmm Sleep
5  2  5 Span  pmm Sleep
6  2  5 Gest  pmm Sleep

從輸出結(jié)果可以看到待诅，五個(gè)數(shù)據(jù)集同時(shí)被創(chuàng)建，預(yù)測(cè)均值（pmm）匹配法被用來處理每個(gè)含 缺失數(shù)據(jù)的變量熊镣。BodyWgt卑雁、BrainWgt、Pred绪囱、Exp和Danger沒有進(jìn)行插補(bǔ)（" "）测蹲，因?yàn)樗鼈儾]有缺失數(shù)據(jù)。VisitSequence從左至右展示了插補(bǔ)的變量鬼吵，從NonD開始扣甲，以Gest結(jié)束。最后而柑，預(yù)測(cè)變量矩陣（PredictorMatrix）展示了進(jìn)行插補(bǔ)過程的含有缺失數(shù)據(jù)的變量文捶，它們利 用了數(shù)據(jù)集中其他變量的信息.（在矩陣中，行代表插補(bǔ)變量媒咳，列代表為插補(bǔ)提供信息的變量粹排，1 和0分別表示使用和未使用。）