傳送門：
- Python數(shù)據(jù)科學(xué)（一）- python與數(shù)據(jù)科學(xué)應(yīng)用(Ⅰ)
- Python數(shù)據(jù)科學(xué)（二）- python與數(shù)據(jù)科學(xué)應(yīng)用(Ⅱ)
- Python數(shù)據(jù)科學(xué)（三）- python與數(shù)據(jù)科學(xué)應(yīng)用(Ⅲ)
- Python數(shù)據(jù)科學(xué)（四）- 數(shù)據(jù)收集系列
- Python數(shù)據(jù)科學(xué)（五）- 數(shù)據(jù)處理和數(shù)據(jù)采集
- Python數(shù)據(jù)科學(xué)（六）- 資料清理(Ⅰ)
- Python數(shù)據(jù)科學(xué)（七）- 資料清理(Ⅱ)
- Python數(shù)據(jù)科學(xué)（八）- 資料探索與資料視覺化
- Python數(shù)據(jù)科學(xué)（九）- 使用Pandas繪制統(tǒng)計(jì)圖表
成功爬取到我們所需要的數(shù)據(jù)以后妖泄，接下來應(yīng)該做的是對(duì)資料進(jìn)行清理和轉(zhuǎn)換庶艾， 很多人遇到這種情況最自然地反應(yīng)就是“寫個(gè)腳本”痒筒，當(dāng)然這也算是一個(gè)很好的解決方法兑凿，但是，python中還有一些第三方庫纽哥，像Numpy,Pandas等概行，不僅可以快速簡(jiǎn)單地清理數(shù)據(jù)细层，還可以讓非編程的人員輕松地看見和使用你的數(shù)據(jù)瓣颅。接下來就讓我們一起學(xué)習(xí)使用Pandas!
1.Pandas
什么是Pandas?
百度百科：Python Data Analysis Library 或 pandas 是基于NumPy 的一種工具倦逐，該工具是為了解決數(shù)據(jù)分析任務(wù)而創(chuàng)建的。Pandas 納入了大量庫和一些標(biāo)準(zhǔn)的數(shù)據(jù)模型弄捕，提供了高效地操作大型數(shù)據(jù)集所需的工具。pandas提供了大量能使我們快速便捷地處理數(shù)據(jù)的函數(shù)和方法导帝。你很快就會(huì)發(fā)現(xiàn)守谓，它是使Python成為強(qiáng)大而高效的數(shù)據(jù)分析環(huán)境的重要因素之一。
以下我們主要通過一些范例進(jìn)行學(xué)習(xí)您单。
1.資料篩選
#存儲(chǔ)元素與切割
import pandas as pd
df = pd.DataFrame(info)
df.ix[1]
# 查看特定的列
df[['name', 'age']]
# 查看特定列的特定內(nèi)容
df.ix[1:2, ['name', 'age'] ]
- 使用 & 取條件交集
df[(df['gender'] == 'M')&(df['age'] >= 30)]
- 使用 | 取條件集合
df[(df['gender'] == 'M')|(df['age'] >= 30)]
-
新增/刪除欄位
# 新增欄位
df['employee'] = True
# 刪除欄位
del df['employee'] OR df = df.drop('employee', 1)
# 新增第六列
df.loc[6] = {'age':20, 'gender':'F', 'name':'qoo'}
OR
df.append(pd.DataFrame([{'age':20, 'gender':'F', 'name':'qoo'}]), ignore_index=True)
# 刪除第六列
df = df.drop(6)
- 設(shè)定新的索引
# 新增的欄位
df['userid'] = range(101, 107)
# 設(shè)置新的索引
df. set_index('userid', inplace=True)
- 根據(jù)位置取值
# iloc可以根據(jù)位置取值
df.iloc[1]
# 查看1,3,5 列的數(shù)據(jù)
df.iloc[[1,3,5]]
- 根據(jù)索引取值
# 使用ix取值,通過行號(hào)索引
df.ix[[101,103,105]]
# 使用loc取值斋荞，即使用標(biāo)簽索引行數(shù)據(jù)
df.loc[[101,103,105]]
2.偵測(cè)遺失值
- 缺失值是指數(shù)據(jù)中有特定或者一個(gè)范圍的值是不完全的
- 缺失值可能會(huì)導(dǎo)致數(shù)據(jù)分析時(shí)產(chǎn)生偏誤的推論
- 缺失值可能來自機(jī)械的缺失或者人為的缺失
- 機(jī)械缺失 例： 機(jī)械故障，導(dǎo)致數(shù)據(jù)無法被完整保存
- 人為缺失 例：受訪者拒絕透露部分信息
import pandas as pd
import numpy as np
df = pd.DataFrame([\
['frank', 'M', np.nan],\
['mary', np.nan, np.nan],\
['tom', 'M', 35],\
['ted', 'M', 33],\
['jean', np.nan, 21],\
['lisa', 'F', 20]]
)
df. columns = ['name', 'gender', 'age']
df
- 檢查序列是否有缺失值
# 檢查非缺失值數(shù)據(jù)
df['gender'].notnull()
# 檢查缺失值資料
df['gender'].isnull()
- 檢查字段是否含有缺失值
# 檢查字段是否含有缺失值
df['age'].isnull().values.any()
# 檢查DataFrame 是否還有缺失值 返回True/False
df.isnull().values.any()
- 計(jì)算缺失值的數(shù)量
# 檢查某個(gè)字段缺失值的數(shù)量
df['age'].isnull().sum()
# 檢查字段缺失值的數(shù)量
df.isnull().sum()
# 計(jì)算所有缺失值的數(shù)量
df.isnull().sum().sum()
分開計(jì)算每一欄缺失值的數(shù)量
3.補(bǔ)齊遺失值
處理缺失值常規(guī)的有以下幾種方法
- 舍棄缺失值
- 這種情況適用于當(dāng)缺失值占數(shù)據(jù)比例很低時(shí)
- 使用平均數(shù)平酿、中位數(shù)、眾數(shù)等敘述性統(tǒng)計(jì)補(bǔ)齊缺失值
- 使用內(nèi)插法補(bǔ)齊缺失值
- 如果字段數(shù)據(jù)成線性規(guī)律
1.舍棄缺失值
- 舍棄含有任意缺失值的行
df.dropna()
- 舍棄所有字段都含有缺失值的行
df.dropna(how='all')
- 舍棄超過兩欄缺失值的行
df.dropna(thresh=2)
2.舍棄含有缺失值的列
- 增加一包含缺失值的列
df['employee'] = np.nan
- 舍棄皆為缺失值的列
df.dropna(axis=1, how = 'all')
- 使用0值表示沿著每一列或行標(biāo)簽\索引值向下執(zhí)行方法
- 使用1值表示沿著每一行或者列標(biāo)簽?zāi)Ｏ驁?zhí)行對(duì)應(yīng)的方法
下圖代表在DataFrame當(dāng)中axis為0和1時(shí)分別代表的含義(axis參數(shù)作用方向圖示):
3.填補(bǔ)缺失值
- 用0填補(bǔ)缺失值
df.fillna(0)
- 用平均數(shù)缺失值
df['age'].mean()是age這個(gè)字段平均值
df['age'].fillna(df['age'].mean())
- 用各性別年齡平均填缺失值
df['age'].fillna(df.groupby('gender')['age'].transform('mean'), inplace = True)
4.向前/向后填值
- 向后填補(bǔ)缺失值
df.fillna(method='pad')
- 向前填補(bǔ)缺失值
df.fillna(method='bfill', limit=2)
- pad/ffill：往后填值
- bfill/backfill：往前填值
注意：這里的往前往后是指的從上往下
5.使用內(nèi)插法填補(bǔ)缺失值
df2 = pd.DataFrame([[1,870],\
[2,900],\
[np.nan,np.nan],\
[4,950],\
[5,1080],\
[6,1200]])
df2.columns = ['time', 'val']
df2.interpolate()
按照線性規(guī)律填補(bǔ)完的結(jié)果
6.總結(jié)
上一階段我們已經(jīng)爬取了房天下的二手房信息，這里對(duì)我們抓取到的二手房信息進(jìn)行處理
# 把暫無資料替換成物業(yè)費(fèi)
df[df['物業(yè)費(fèi)'] == ‘暫無資料’俺驶， ‘物業(yè)費(fèi)’] = np.nan
# 在打開文件的時(shí)候，直接把暫無資料替換成缺失值
df = pandas.read_csv('data/house_data.csv', na_values = '暫無資料'暮现， index_col = 0)
# 檢視前三行數(shù)據(jù)
df.head(3)
# 檢視后三行資料
df.tail(3)
- 檢視DataFrame信息
df.info()
- 檢視字段名稱
df.columns
- 檢視字段型態(tài)
df.dtypes
- 取得敘述性統(tǒng)計(jì)
df.describe()
- 判斷欄位是否有缺失值的存在
df.isnull().any()
- 統(tǒng)計(jì)欄位缺失值的數(shù)量
df.isnull().sum()
- 舍棄參考月供這一列
df = df.drop('參考月供', axis = 1)
- 篩選字段,篩選出產(chǎn)權(quán)性質(zhì)中各種產(chǎn)權(quán)所占的數(shù)量
df['產(chǎn)權(quán)性質(zhì)'].value_counts()
- 篩選出建筑面積大于100且總價(jià)大于2000萬的房產(chǎn)信息
注意：ix[ ,]中,前是條件栖袋，,是欄位
df.ix[(df['建筑面積'] > 100) & (df['總價(jià)'] > 2000), ].head(1)
- 篩選出產(chǎn)權(quán)性質(zhì)為個(gè)人產(chǎn)權(quán)的房產(chǎn)信息
df = df[df['產(chǎn)權(quán)性質(zhì)'] == ‘個(gè)人產(chǎn)權(quán)’]
- 對(duì)總價(jià)中缺失值進(jìn)行合理的補(bǔ)全
df['總價(jià)'] = df['總價(jià)'].fillna(df['建筑面積'] * (df['總價(jià)'] / df['建筑面積']).mean())
- 將數(shù)據(jù)寫入CSV中
df.to_csv('house_final.csv', index_label = False)
