數據分析-數據清理流程二

下面我們通過一個簡單例子來梳理數據清理步驟坤学,也可以直接打開我的項目查看源代碼秀存;

1.收集數據

首頁我們要加載項目里的數據集,代碼如下:

import pandas as pd
df = pd.read_csv('animals.csv')

2.評估數據

在這一步我們需要查看數據集數據來評估數據集蝠嘉,評估數據集可通過多種方法結合評估數據,通常有head()轧铁、info()、describe()旦棉、value_counts()齿风、sum()、duplicated()绑洛;當然這只是簡單評估方法救斑,在比較復雜的情景下,可能需要查詢數據某個字段的是否有缺失值真屯,或者某些字段在某種情況才有異常值脸候,需要單獨刷選出來檢查,或者是在某個時間段的數據有問題绑蔫,不同情況不同分析評估运沦。

本例子比較簡單,我們這里只需要用head()來評估數據就行配深,代碼如下:


評估數據

從上圖我們可以看出數據集存在以下質量問題携添,我們記錄下來:

質量

  • 每個動物名稱前面的 bb
  • 體重和腦重量中小數點使用 ! 而不是 .

3.清理數據

清理數據前,我要copy一份數據進行清理

df_clean = df.copy()

在這里我們就要通過上個流程說的步驟來進行清理數據篓叶,如果有不清楚的可以會看我上個流程寫的內容(清理流程一)

定義

  • 使用字符串分割烈掠,刪除每個動物名稱前面的 'bb'
  • 在體重和腦重量兩列,將 ! 替換為 .

代碼

# 使用字符串分割缸托,刪除每個動物名稱前面的 'bb' 
df_clean['Animal'] = df_clean['Animal'].str[2:]

# 在體重和腦重量兩列左敌,將 ! 替換為 . 
df_clean['Body weight (kg)'] = df_clean['Body weight (kg)'].str.replace('!', '.')
df_clean['Brain weight (g)'] = df_clean['Brain weight (g)'].str.replace('!', '.')

測試

重新使用head() 查看數據集是否清理好

df_clean.Animal.head()
清理后數據

注意:代碼在這里我們數據清理步驟已完成,在這里大家也可以把清理步驟使用多個定義嗦董、代碼 和 測試 標題來進行清理母谎,為什么呢?因為京革,我們數據往往不止質量問題奇唤,也有可能有整潔度問題,實際上匹摇,你可以立即進行定義咬扇、編碼和測試。如果你需要清理許多質量和整潔度問題呢廊勃?使用多個定義懈贺、代碼 和 測試 標題這種順序來清理一個一個的問題,這樣結構就比較清晰坡垫,也不容易忽略某個問題梭灿。

下面我們重新清理,上面評估出的問題有2個冰悠,下面我們使用2個定義堡妒、代碼 和 測試來進行清理數據,

清理2

- 每個動物名稱前面的 bb

定義

使用字符串分割溉卓,刪除每個動物名稱前面的 'bb' 皮迟。

代碼
df_clean['Animal'] = df_clean['Animal'].str[2:]
測試
df_clean.Animal.head()

- 體重和腦重量中小數點使用 ! 而不是 .

定義

在體重和腦重量兩列,將 ! 替換為 .

代碼
df_clean['Body weight (kg)'] = df_clean['Body weight (kg)'].str.replace('!', '.')
df_clean['Brain weight (g)'] = df_clean['Brain weight (g)'].str.replace('!', '.')
測試
df_clean.Animal.head()
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
  • 序言:七十年代末桑寨,一起剝皮案震驚了整個濱河市伏尼,隨后出現的幾起案子,更是在濱河造成了極大的恐慌尉尾,老刑警劉巖爆阶,帶你破解...
    沈念sama閱讀 218,546評論 6 507
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異沙咏,居然都是意外死亡辨图,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 93,224評論 3 395
  • 文/潘曉璐 我一進店門芭碍,熙熙樓的掌柜王于貴愁眉苦臉地迎上來徒役,“玉大人,你說我怎么就攤上這事窖壕∮俏穑” “怎么了?”我有些...
    開封第一講書人閱讀 164,911評論 0 354
  • 文/不壞的土叔 我叫張陵瞻讽,是天一觀的道長鸳吸。 經常有香客問我,道長速勇,這世上最難降的妖魔是什么晌砾? 我笑而不...
    開封第一講書人閱讀 58,737評論 1 294
  • 正文 為了忘掉前任,我火速辦了婚禮烦磁,結果婚禮上养匈,老公的妹妹穿的比我還像新娘哼勇。我一直安慰自己,他們只是感情好呕乎,可當我...
    茶點故事閱讀 67,753評論 6 392
  • 文/花漫 我一把揭開白布积担。 她就那樣靜靜地躺著,像睡著了一般猬仁。 火紅的嫁衣襯著肌膚如雪帝璧。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,598評論 1 305
  • 那天湿刽,我揣著相機與錄音的烁,去河邊找鬼。 笑死诈闺,一個胖子當著我的面吹牛渴庆,可吹牛的內容都是我干的。 我是一名探鬼主播买雾,決...
    沈念sama閱讀 40,338評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼把曼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了漓穿?” 一聲冷哼從身側響起嗤军,我...
    開封第一講書人閱讀 39,249評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎晃危,沒想到半個月后叙赚,有當地人在樹林里發(fā)現了一具尸體,經...
    沈念sama閱讀 45,696評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡僚饭,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 37,888評論 3 336
  • 正文 我和宋清朗相戀三年震叮,在試婚紗的時候發(fā)現自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片鳍鸵。...
    茶點故事閱讀 40,013評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡苇瓣,死狀恐怖,靈堂內的尸體忽然破棺而出偿乖,到底是詐尸還是另有隱情击罪,我是刑警寧澤,帶...
    沈念sama閱讀 35,731評論 5 346
  • 正文 年R本政府宣布贪薪,位于F島的核電站媳禁,受9級特大地震影響,放射性物質發(fā)生泄漏画切。R本人自食惡果不足惜竣稽,卻給世界環(huán)境...
    茶點故事閱讀 41,348評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧毫别,春花似錦娃弓、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,929評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽钝计。三九已至恋博,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間私恬,已是汗流浹背债沮。 一陣腳步聲響...
    開封第一講書人閱讀 33,048評論 1 270
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留本鸣,地道東北人疫衩。 一個月前我還...
    沈念sama閱讀 48,203評論 3 370
  • 正文 我出身青樓,卻偏偏與公主長得像荣德,于是被迫代替她去往敵國和親闷煤。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,960評論 2 355

推薦閱讀更多精彩內容