約定
import pandas as pd
import numpy as np
from numpy import nan as NaN
濾除缺失數(shù)據(jù)
pandas的設(shè)計(jì)目標(biāo)之一就是使得處理缺失數(shù)據(jù)的任務(wù)更加輕松些妙色。pandas使用NaN作為缺失數(shù)據(jù)的標(biāo)記。
使用dropna使得濾除缺失數(shù)據(jù)更加得心應(yīng)手奔浅。
一、處理Series對象
- 通過dropna()濾除缺失數(shù)據(jù)：
se1=pd.Series([4,NaN,8,NaN,5])
print(se1)
se1.dropna()
代碼結(jié)果：
0 4.0
1 NaN
2 8.0
3 NaN
4 5.0
dtype: float64
0 4.0
2 8.0
4 5.0
dtype: float64
- 通過布爾序列也能濾除：
se1[se1.notnull()]
代碼結(jié)果：
0 4.0
2 8.0
4 5.0
dtype: float64
二、處理DataFrame對象
處理DataFrame對象比較復(fù)雜消请，因?yàn)槟憧赡苄枰獊G棄所有的NaN或部分NaN。
df1=pd.DataFrame([[1,2,3],[NaN,NaN,2],[NaN,NaN,NaN],[8,8,NaN]])
df1
代碼結(jié)果：
| 0 | 1 | 2 | |
|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 |
| 1 | NaN | NaN | 2.0 |
| 2 | NaN | NaN | NaN |
| 3 | 8.0 | 8.0 | NaN |
- 默認(rèn)濾除所有包含NaN：
df1.dropna()
代碼結(jié)果：
| 0 | 1 | 2 | |
|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 |
- 傳入**how='all' **濾除全為NaN的行：
df1.dropna(how='all')
代碼結(jié)果：
| 0 | 1 | 2 | |
|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 |
| 1 | NaN | NaN | 2.0 |
| 3 | 8.0 | 8.0 | NaN |
- 傳入axis=1濾除列：
df1[3]=NaN
df1
代碼結(jié)果：
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 | NaN |
| 1 | NaN | NaN | 2.0 | NaN |
| 2 | NaN | NaN | NaN | NaN |
| 3 | 8.0 | 8.0 | NaN | NaN |
df1.dropna(axis=1,how="all")
代碼結(jié)果：
| 0 | 1 | 2 | |
|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 |
| 1 | NaN | NaN | 2.0 |
| 2 | NaN | NaN | NaN |
| 3 | 8.0 | 8.0 | NaN |
- 傳入thresh=n保留至少有n個(gè)非NaN數(shù)據(jù)的行：
df1.dropna(thresh=1)
代碼結(jié)果：
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 | NaN |
| 1 | NaN | NaN | 2.0 | NaN |
| 3 | 8.0 | 8.0 | NaN | NaN |
df1.dropna(thresh=3)
代碼結(jié)果：
| 0 | 1 | 2 | 3 | |
|---|---|---|---|---|
| 0 | 1.0 | 2.0 | 3.0 | NaN |
