數(shù)據(jù)處理之前需要對數(shù)據(jù)進(jìn)行清理工作，包含：
- 缺失值的去除
drop - 缺失值的填充
fillna - 刪除重復(fù)數(shù)據(jù)
duplicated()和drop_duplicates() - 數(shù)據(jù)轉(zhuǎn)換
- 索引重命名
- 數(shù)據(jù)離散化或面元化
缺失值的去除
pandas處理缺失值
- pandas默認(rèn)的處理對象不包括缺失值
- NaN表示缺失數(shù)據(jù)；None值也可以作為NA
- isnull()函數(shù)查看哪些數(shù)據(jù)是缺失值
- dropna更實(shí)用，返回的是一個(gè)僅非空數(shù)據(jù)和索引值的S
image.png
string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data
# 結(jié)果
0 aardvark
1 artichoke
2 NaN
3 avocado
dtype: object
string_data[0] = None
string_data.isnull()
# 結(jié)果
0 True
1 False
2 True
3 False
dtype: bool
drop的使用
對于
S：返回的是非空數(shù)據(jù)個(gè)索引值的Series-
對于
DF：默認(rèn)丟棄含有任何缺失值的行和列
image.png 處理Series
# 處理S
from numpy import nan as NA
data = pd.Series([1, NA, 3.5, NA, 7])
data.dropna()
# 上面等價(jià)于：本質(zhì)上是將notnull函數(shù)的布爾值結(jié)果作為索引
# 布爾索引
data[data.notnull()]
image.png
- 處理DataFrame數(shù)據(jù)
# 處理DF數(shù)據(jù)
# 只要有缺失值，刪除整個(gè)行數(shù)據(jù)
data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA],
[NA, NA, NA], [NA, 6.5, 3.]])
cleaned_data = data.dropna()
cleaned_data
image.png
注意：原數(shù)據(jù)data不變
# 參數(shù)how="all"：丟棄全部為NA的行
data.dropna(how="all")
image.png
image.png
image.png
# thresh=n：表示保留至少有n個(gè)不是NaN數(shù)據(jù)的行
df.dropna(thresh=3)
image.png
填充缺失值數(shù)據(jù)
- 不想濾除空值放闺，想填充空值
-
fillna(n)函數(shù)：表示將缺失值替換為n -
fillna默認(rèn)返回新的對象，也可以原地修改，通過inplace=True
image.png
image.png
# 通過字典調(diào)用fillna壕探，實(shí)現(xiàn)對不同的列填充不同的數(shù)據(jù)
# key表示列屬性，value表示填充的數(shù)據(jù)
df.fillna({1: 0.5, 2: 0.25})
image.png
# 將原來的數(shù)據(jù)進(jìn)行修改
_ = df.fillna(0, inplace=True)
df
image.png
# fillna中傳入的參數(shù)是多樣的郊丛，reindexing中的方法也適用
df = pd.DataFrame(np.random.randn(6,3))
df.iloc[2:, 1] = NA
df.iloc[4:, 2] = NA
df
# ffill填充的是上一個(gè)位置的元素
# 產(chǎn)生新的對象
df.fillna(method="ffill")
image.png
# limit表示最多填充的個(gè)數(shù)
df.fillna(method='ffill', limit=3)
# 填充數(shù)據(jù)的中位數(shù)或者說平均值
data = pd.Series([1., NA, 3.5, NA, 7])
data.fillna(data.mean())
image.png
刪除重復(fù)數(shù)據(jù)
- duplicated()：檢查是否有重復(fù)行（前面的行）李请，返回布爾型S數(shù)據(jù)
- drop_duplicates()：返回的是DF，重復(fù)的數(shù)據(jù)標(biāo)為False
data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
'k2': [1, 1, 2, 3, 3, 4, 4],
'k3': [1, 5, 2, 6, 2, 5, 1]})
data
image.png
image.png
image.png
