下面我們通過一個簡單例子來梳理數據清理步驟坤学,也可以直接打開我的項目查看源代碼秀存;
1.收集數據
首頁我們要加載項目里的數據集,代碼如下:
import pandas as pd
df = pd.read_csv('animals.csv')
2.評估數據
在這一步我們需要查看數據集數據來評估數據集蝠嘉,評估數據集可通過多種方法結合評估數據,通常有head()轧铁、info()、describe()旦棉、value_counts()齿风、sum()、duplicated()绑洛;當然這只是簡單評估方法救斑,在比較復雜的情景下,可能需要查詢數據某個字段的是否有缺失值真屯,或者某些字段在某種情況才有異常值脸候,需要單獨刷選出來檢查,或者是在某個時間段的數據有問題绑蔫,不同情況不同分析評估运沦。
本例子比較簡單,我們這里只需要用head()來評估數據就行配深,代碼如下:
評估數據
從上圖我們可以看出數據集存在以下質量問題携添,我們記錄下來:
質量
- 每個動物名稱前面的 bb
- 體重和腦重量中小數點使用 ! 而不是 .
3.清理數據
清理數據前,我要copy一份數據進行清理
df_clean = df.copy()
在這里我們就要通過上個流程說的步驟來進行清理數據篓叶,如果有不清楚的可以會看我上個流程寫的內容(清理流程一)
定義
- 使用字符串分割烈掠,刪除每個動物名稱前面的 'bb'
- 在體重和腦重量兩列,將 ! 替換為 .
代碼
# 使用字符串分割缸托,刪除每個動物名稱前面的 'bb'
df_clean['Animal'] = df_clean['Animal'].str[2:]
# 在體重和腦重量兩列左敌,將 ! 替換為 .
df_clean['Body weight (kg)'] = df_clean['Body weight (kg)'].str.replace('!', '.')
df_clean['Brain weight (g)'] = df_clean['Brain weight (g)'].str.replace('!', '.')
測試
重新使用head() 查看數據集是否清理好
df_clean.Animal.head()
清理后數據
注意:代碼在這里我們數據清理步驟已完成,在這里大家也可以把清理步驟使用多個定義嗦董、代碼 和 測試 標題來進行清理母谎,為什么呢?因為京革,我們數據往往不止質量問題奇唤,也有可能有整潔度問題,實際上匹摇,你可以立即進行定義咬扇、編碼和測試。如果你需要清理許多質量和整潔度問題呢廊勃?使用多個定義懈贺、代碼 和 測試 標題這種順序來清理一個一個的問題,這樣結構就比較清晰坡垫,也不容易忽略某個問題梭灿。
下面我們重新清理,上面評估出的問題有2個冰悠,下面我們使用2個定義堡妒、代碼 和 測試來進行清理數據,
清理2
- 每個動物名稱前面的 bb
定義
使用字符串分割溉卓,刪除每個動物名稱前面的 'bb' 皮迟。
代碼
df_clean['Animal'] = df_clean['Animal'].str[2:]
測試
df_clean.Animal.head()
- 體重和腦重量中小數點使用 ! 而不是 .
定義
在體重和腦重量兩列,將 ! 替換為 .
代碼
df_clean['Body weight (kg)'] = df_clean['Body weight (kg)'].str.replace('!', '.')
df_clean['Brain weight (g)'] = df_clean['Brain weight (g)'].str.replace('!', '.')
測試
df_clean.Animal.head()