干凈整潔的數(shù)據(jù)是后續(xù)進行研究和分析的基礎顶掉。數(shù)據(jù)科學家們會花費大量的時間來清理數(shù)據(jù)集梗夸,毫不夸張地說羞迷,數(shù)據(jù)清洗會占據(jù)他們80%的工作時間减宣,而真正用來分析數(shù)據(jù)的時間只占到20%左右盐须。
所以,數(shù)據(jù)清洗到底是在清洗些什么漆腌?
通常來說贼邓,你所獲取到的原始數(shù)據(jù)不能直接用來分析,因為它們會有各種各樣的問題闷尿,如包含無效信息塑径,列名不規(guī)范、格式不一致填具,存在重復值统舀,缺失值,異常值等.....
如果你在學習Python的過程當中有遇見任何問題,可以加入我的python交流學習qq群:250933691誉简,多多交流問題碉就,互幫互助,群里有不錯的學習教程和開發(fā)工具闷串。學習python有任何問題(學習方法瓮钥,學習效率,如何就業(yè))窿克,可以隨時來咨詢我
本文會給大家介紹如何用Python中自帶的Pandas和NumPy庫進行數(shù)據(jù)清洗骏庸。在正式講解之前,先簡單介紹一下這兩個非常好用的庫年叮。
Pandas的名稱來自于Panel data和Python數(shù)據(jù)分析data analysis具被,是Python的一個數(shù)據(jù)分析包,最初由AQR Capital Management于2008年4月開發(fā)只损,被作為金融數(shù)據(jù)分析工具一姿,為時間序列分析提供了很好的支持,并于2009年底開源出來跃惫。
NumPy是Numeric Python的縮寫叮叹,是Python的一種開源的數(shù)值計算擴展,可用來存儲和處理大型矩陣matrix爆存,比Python自身的嵌套列表結構要高效的多蛉顽,提供了許多高級的數(shù)值編程工具,如:矩陣數(shù)據(jù)類型先较、矢量處理携冤,以及精密的運算庫,專為進行嚴格的數(shù)字處理而產(chǎn)生闲勺。
目錄
一曾棕、了解數(shù)據(jù)
二、清洗數(shù)據(jù)
去除不需要的行菜循、列
重新命名列
重新設置索引
用字符串操作規(guī)范列
用函數(shù)規(guī)范列
刪除重復數(shù)據(jù)
填充缺失值
三翘地、總結
【注】為了清晰直觀地展示數(shù)據(jù)清洗操作,本文會用到幾個不同的數(shù)據(jù)集癌幕,重點是方法的講解衙耕。
【工具】Python 3
一、了解數(shù)據(jù)
拿到一個全新的數(shù)據(jù)集勺远,應該從哪里入手臭杰?
沒錯,我們需要先了解數(shù)據(jù)谚中,看看它長什么樣子渴杆。這里用tushare.pro上面的日線行情數(shù)據(jù)進行展示寥枝,以浦發(fā)銀行(600000.SH)為例。常用的方法和屬性如下:
.head()
.tail()
.shape
.columns
.info()
.describe()
.value_counts()
首先磁奖,獲取數(shù)據(jù):
importpandasaspd
importnumpyasnp
importmatplotlib.pyplotasplt
importtushareasts
pd.set_option('display.max_columns',100)#?設置顯示數(shù)據(jù)的最大列數(shù)囊拜,防止出現(xiàn)省略號…,導致數(shù)據(jù)顯示不全
pd.set_option('expand_frame_repr',False)#?當列太多時不自動換行
pro?=?ts.pro_api()
df?=?pro.daily(ts_code='600000.SH',?start_date='20190401',?end_date='20190430')
.head()?查看前n行數(shù)據(jù)比搭,默認值是5
df.head()
Out[1]:
ts_codetrade_dateopenhighlowclosepre_closechangepct_chgvolamount
0??600000.SH20190430??11.7012.0911.7011.9711.480.494.26831234747.381466714.710
1??600000.SH20190429??11.3511.5411.3411.4811.320.161.4134385869.38442046.727
2??600000.SH20190426??11.4311.5611.2811.3211.54-0.22-1.9064424695.81485267.261
3??600000.SH20190425??11.5611.6911.4811.5411.62-0.08-0.6885408761.29473973.527
4??600000.SH20190424??11.7611.7711.5111.6211.70-0.08-0.6838382011.08444929.313
.tail()?查看后n行數(shù)據(jù)冠跷,默認值是5
df.tail()
Out[2]:
ts_codetrade_dateopenhighlowclosepre_closechangepct_chgvolamount
16??600000.SH20190408??11.7911.9611.6511.7211.710.010.0854778703.73920513.531
17??600000.SH20190404??11.5511.7111.5411.7111.500.211.8261752325.27876099.547
18??600000.SH20190403??11.3711.5411.3411.5011.440.060.5245502710.29575799.446
19??600000.SH20190402??11.5011.5211.4111.4411.440.000.0000467147.10534896.810
20??600000.SH20190401??11.3611.5211.2911.4411.280.161.4184706374.05808657.530
.shape?查看數(shù)據(jù)維數(shù)
df.shape
Out[3]:?(21,?11)
.columns?查看所有列名
df.columns
Out[4]:
Index(['ts_code','trade_date','open','high','low','close','pre_close',
'change','pct_chg','vol','amount'],
dtype='object')
.info()?查看索引、數(shù)據(jù)類型和內(nèi)存信息
df.info()
RangeIndex:21entries,0to20
Data?columns?(total11columns):
ts_code21non-nullobject
trade_date21non-nullobject
open21non-nullfloat64
high21non-nullfloat64
low21non-nullfloat64
close21non-nullfloat64
pre_close21non-nullfloat64
change21non-nullfloat64
pct_chg21non-nullfloat64
vol21non-nullfloat64
amount21non-nullfloat64
dtypes:?float64(9),object(2)
memory?usage:1.9+?KB
.describe()?查看每列數(shù)據(jù)的基本統(tǒng)計值身诺,包括計數(shù)值蜜托、均值、標準差霉赡、最小最大值橄务、1/4、1/2穴亏、3/4分位數(shù)蜂挪。
df.describe()
Out[7]:
openhighlowclosepre_closechangepct_chgvolamount
count21.00000021.00000021.00000021.00000021.00000021.00000021.0000002.100000e+01??2.100000e+01
mean11.63047611.77761911.52428611.63714311.6042860.0328570.2962525.734931e+05??6.704836e+05
std0.2153480.2289300.1848400.2075120.2067990.1932131.6710992.333355e+05??2.792896e+05
min11.35000011.52000011.28000011.32000011.280000-0.300000-2.4979002.627369e+05??3.017520e+05
25%????11.47000011.56000011.41000011.48000011.470000-0.060000-0.5199004.102754e+05??4.739735e+05
50%????11.56000011.75000011.48000011.54000011.5400000.0000000.0000005.027103e+05??5.757994e+05
75%????11.76000011.99000011.65000011.72000011.7100000.1000000.8396007.050917e+05??8.161270e+05
max12.02000012.20000011.88000012.01000012.0100000.4900004.2683001.234747e+06??1.466715e+06
.value_counts()?查看Series對象的唯一值和計數(shù)值
df['close'].value_counts(dropna=False)
Out[8]:
11.482
11.472
11.712
11.542
11.912
11.442
11.721
11.951
11.701
11.321
11.491
12.011
11.621
11.501
11.971
Name:close,?dtype:int64
如果上面這些操作還不夠直觀的話,就作圖看看嗓化,需要先導入Python可視化庫matplotlib, 為了規(guī)范代碼書寫棠涮,統(tǒng)一寫在了最前面。
①?直方圖
df['close'].plot(kind='hist',?rot=0)
plt.show()
②?箱型圖
df.boxplot(column='close',by='ts_code',?rot=0)
plt.show()
③?散點圖
df.plot(kind='scatter',?x='close',?y='pre_close',?rot=0)
plt.show()
二刺覆、清洗數(shù)據(jù)
了解數(shù)據(jù)集之后严肪,我們就可以開始對數(shù)據(jù)集進行清洗了,前面提到通常要處理的問題有包含無效信息谦屑,列名不規(guī)范驳糯、格式不一致,存在重復值伦仍,缺失值结窘,異常值等很洋,下面我們一個一個來看充蓝。
01
去除不需要的行、列
在分析一個數(shù)據(jù)集的時候喉磁,很多信息其實是用不到的谓苟,因此,需要去除不必要的行或列协怒。這里以csv文件為例涝焙,在導入的時候就可以通過設置pd.read_csv()里面的參數(shù)來實現(xiàn)這個目的。
先來感受一下官方文檔中給出的詳細解釋孕暇,里面的參數(shù)是相當?shù)亩嗦刈玻疚闹唤榻B比較常用的幾個赤兴,感興趣的話,可以好好研究一下文檔隧哮,這些參數(shù)還是非常好用的桶良,能省去很多導入后整理的工作。
【header】默認header=0沮翔,即將文件中的0行作為列名和數(shù)據(jù)的開頭陨帆,但有時候0行的數(shù)據(jù)是無關的,我們想跳過0行采蚀,讓1行作為數(shù)據(jù)的開頭疲牵,可以通過將header設置為1來實現(xiàn)。
【usecols】根據(jù)列的位置或名字榆鼠,如[0,1,2]或[‘a(chǎn)’, ‘b’, ‘c’]纲爸,選出特定的列。
【nrows】要導入的數(shù)據(jù)行數(shù)璧眠,在數(shù)據(jù)量很大缩焦、但只想導入其中一部分時使用。
獲取數(shù)據(jù):
從NYC OpenData網(wǎng)站下載csv格式原始數(shù)據(jù)
數(shù)據(jù)樣本如下:
導入數(shù)據(jù)责静,只選取前100行和特定幾列袁滥。
subset_columns=?['Job?#','Doc?#','Borough','Initial?Cost','Total?Est.?Fee']
df?=?pd.read_csv('文件路徑',?nrows=100,?usecols=subset_columns)
df.head()
Out[15]:
Job#??Doc?#???Borough?Initial?Cost?Total?Est.?Fee
04202917941QUEENS$2000.00$100.00
14202918011QUEENS$15000.00$151.50
23406441281BROOKLYN$44726.00$234.00
34216854391QUEENS$0.00$243.00
44216779742QUEENS$105000.00$1275.60
再看一下將header設置為1的效果,但這里其實不需要這么做灾螃,因為0行數(shù)據(jù)是有用的题翻。
df=?pd.read_csv('文件路徑',?nrows=100,?header=1)
df.head()
Out[15]:
04202917941QUEENS$2000.00$100.00
14202918011QUEENS$15000.00$151.50
23406441281BROOKLYN$44726.00$234.00
34216854391QUEENS$0.00$243.00
44216779742QUEENS$105000.00$1275.60
如果在數(shù)據(jù)導入之后,還想刪除某些行和列腰鬼,可以用?.drop()?方法嵌赠。
先創(chuàng)建一個列表list,把不需要的列名放進去熄赡,再調(diào)用.drop()?方法姜挺,參數(shù)axis為1時代表列,為0時代表行彼硫,參數(shù)inplace=True表示不創(chuàng)建新的對象炊豪,直接對原始對象進行修改。這里我們刪除前兩列拧篮。
to_drop=?['Job?#','Doc?#']
df.drop(to_drop,?axis=1,?inplace=True)
df.head()
Out[22]:
Borough?Initial?Cost?Total?Est.?Fee
0QUEENS$2000.00$100.00
1QUEENS$15000.00$151.50
2BROOKLYN$44726.00$234.00
3QUEENS$0.00$243.00
4QUEENS$105000.00$1275.60
02
重新命名列
當原始數(shù)據(jù)的列名不好理解词渤,或者不夠簡潔時,可以用.rename()方法進行修改串绩。這里我們把英文的列名改成中文缺虐,先創(chuàng)建一個字典,把要修改的列名定義好礁凡,然后調(diào)用rename()方法高氮。
new_names?=?{'Borough':'區(qū)','Initial?Cost':'初始成本','Total?Est.?Fee':'總附加費用'}
df.rename(columns=new_names,?inplace=True)
df.head()
Out[23]:
區(qū)????????初始成本?????總附加費用
0????QUEENS$2000.00$100.00
1????QUEENS$15000.00$151.50
2??BROOKLYN$44726.00$234.00
3????QUEENS$0.00$243.00
4????QUEENS$105000.00$1275.60
03
重新設置索引
數(shù)據(jù)默認的索引是從0開始的有序整數(shù)慧妄,但如果想把某一列設置為新的索引,可以用.set_index()方法實現(xiàn)剪芍,在示例中我們把"區(qū)"這列設置為新索引腰涧。
df.set_index('區(qū)',?inplace=True)
df.head()
Out[24]:
初始成本?????總附加費用
區(qū)
QUEENS$2000.00$100.00
QUEENS$15000.00$151.50
BROOKLYN$44726.00$234.00
QUEENS$0.00$243.00
QUEENS$105000.00$1275.60
04
用字符串操作規(guī)范列
字符串str操作是非常實用的,因為列中總是會包含不必要的字符紊浩,常用的方法如下:
lower()
upper()
capitalize()
replace()
strip()
split()
get()
contains()
find()
str.lower()?是把大寫轉換成小寫窖铡,同理,str.upper()是把小寫轉換成大寫坊谁,將示例中用大寫字母表示的索引轉換成小寫费彼,效果如下:
df.index?=?df.index.str.lower()
df.head()
Out[25]:
初始成本?????總附加費用
區(qū)
queens$2000.00$100.00
queens$15000.00$151.50
brooklyn$44726.00$234.00
queens$0.00$243.00
queens$105000.00$1275.60
str.capitalize()?設置首字母大寫
df.index?=?df.index.str.capitalize()
df.head()
Out[26]:
初始成本?????總附加費用
區(qū)
Queens$2000.00$100.00
Queens$15000.00$151.50
Brooklyn$44726.00$234.00
Queens$0.00$243.00
Queens$105000.00$1275.60
str.replace('$', '')?替換特定字符。這里把列中的美元符號$去掉口芍,替換成空字符箍铲。
df['初始成本']?=?df['初始成本'].str.replace('$','')
df['總附加費用']?=?df['總附加費用'].str.replace('$','')
df.head()
Out[27]:
初始成本????總附加費用
區(qū)
Queens2000.00100.00
Queens15000.00151.50
Brooklyn44726.00234.00
Queens0.00243.00
Queens105000.001275.60
str.strip()?去除字符串中的頭尾空格、以及\n \t
df['初始成本']?=?'???'?+?df['初始成本']
df['初始成本'][0]
Out[28]:?'???2000.00'
df['初始成本']?=?df['初始成本'].str.strip()
df['初始成本'][0]
Out[29]:?'2000.00'
str.split('x')?使用字符串中的'x'字符作為分隔符鬓椭,將字符串分隔成列表颠猴。這里將列中的值以'.'進行分割,效果如下:
df['總附加費用']?=?df['總附加費用'].str.split('.')
df.head()
Out[30]:
初始成本???????總附加費用
區(qū)
Queens2000.00[100,00]
Queens15000.00[151,50]
Brooklyn44726.00[234,00]
Queens0.00[243,00]
Queens105000.00[1275,60]
str.get()?選取列表中某個位置的值小染。接著上面分割后的結果翘瓮,我們用str.get(0)取出列表中前一個位置的數(shù)值,生成新的一列“總附加費用_整數(shù)”裤翩,即取出金額中的整數(shù)部分资盅。
df['總附加費用_整數(shù)']?=?df['總附加費用'].str.get(0)
df.head()
Out[31]:
初始成本???????總附加費用?總附加費用_整數(shù)
區(qū)
Queens2000.00[100,00]100
Queens15000.00[151,50]151
Brooklyn44726.00[234,00]234
Queens0.00[243,00]243
Queens105000.00[1275,60]1275
str.contains()?判斷是否存在某個字符,返回的是布爾值踊赠。這里判斷一下"總附加費用_整數(shù)"列中是否包含字符'0'呵扛。
df['總附加費用_整數(shù)'].str.contains('0')
Out[33]:
區(qū)
QueensTrue
QueensFalse
BrooklynFalse
QueensFalse
QueensFalse
str.find()檢測字符串中是否包含子字符串str,如果是筐带,則返回該子字符串開始位置的索引值今穿。示例中的'0'字符最開始出現(xiàn)的位置是1。
df['總附加費用_整數(shù)'][0]
Out[13]:?'100'
df['總附加費用_整數(shù)'][0].find('0')
Out[14]:?1
學完基本的字符串操作方法伦籍,我們來看一下如何結合NumPy來提高字符串操作的效率蓝晒。
獲取數(shù)據(jù),這里我們用一個新的數(shù)據(jù)集鸽斟,下載鏈接如下拔创,里面包含兩個csv文件和一個txt文件:
https://github.com/realpython/python-data-cleaning
① BL-Flickr-Images-Book.csv
② olympics.csv
③?university_towns.txt
導入csv文件①利诺,先觀察一下"Place of Publication"這一列富蓄。
df?=?pd.read_csv('文件路徑')
df['Place?of?Publication'].head(10)
Out[38]:
0London
1London;?Virtue?&?Yorston
2London
3London
4London
5London
6London
7pp.40.?G.?Bryan?&?Co:?Oxford,1898
8London]
9London
Name:?PlaceofPublication,?dtype:object
我們發(fā)現(xiàn),這一列中的格式并不統(tǒng)一慢逾,比如1行中的London; Virtue & Yorston立倍,London后面的部分我們不需要灭红,還有7行的pp. 40. G. Bryan & Co: Oxford, 1898,有效信息只是Oxford口注。
再用.tail(10)方法觀察這一列的最后十行:
df['Place?of?Publication'].tail(10)
Out[39]:
8277New?York
8278London
8279New?York
8280London
8281Newcastle-upon-Tyne
8282London
8283Derby
8284London
8285Newcastle?upon?Tyne
8286London
Name:?PlaceofPublication,?dtype:object
我們發(fā)現(xiàn)变擒,8281行的Newcastle-upon-Tyne中間有連字符,但8285行卻沒有寝志,這些都是要解決的格式不規(guī)范的問題娇斑。
為了清洗這一列,我們可以將Pandas中的.str()方法與NumPy的np.where函數(shù)相結合材部,np.where函數(shù)是Excel的IF()宏的矢量化形式毫缆,它的語法如下:
>>>?np.where(condition,then,else)
如果condition條件為真,則執(zhí)行then乐导,否則執(zhí)行else苦丁。這里的condition條件可以是一個類數(shù)組的對象,也可以是一個布爾表達式物臂,我們也可以利用np.where函數(shù)嵌套多個條件進行矢量化計算和判斷旺拉。
>>>?np.where(condition1,?x1,
np.where(condition2,?x2,
np.where(condition3,?x3,?...)))
下面的這個實例,就是同時嵌套兩個條件解決上面提到的那兩個字符串問題棵磷。思路是蛾狗,如果字符串里面包含'London',就用'London'代替仪媒,這樣可以去除其他冗余信息淘太,否則,如果字符串里面包含'Oxford'规丽,則用'Oxford'代替蒲牧,同時如果字符串里面包含符號'-',則用空格代替赌莺。
pub?=?df['Place?of?Publication']
london?=?pub.str.contains('London')
oxford?=?pub.str.contains('Oxford')
df['Place?of?Publication']?=?np.where(london,'London',
np.where(oxford,'Oxford',
pub.str.replace('-','?')))
打印出前十行和后十行冰抢,結果如下,可以和整理前的數(shù)據(jù)進行對比艘狭。
df['Place?of?Publication'].head(10)
Out[42]:
0London
1London
2London
3London
4London
5London
6London
7Oxford
8London
9London
Name:?PlaceofPublication,?dtype:object
df['Place?of?Publication'].tail(10)
Out[43]:
8277New?York
8278London
8279New?York
8280London
8281Newcastle?upon?Tyne
8282London
8283Derby
8284London
8285Newcastle?upon?Tyne
8286London
Name:?PlaceofPublication,?dtype:object
05
用函數(shù)規(guī)范列
在某些情況下挎扰,數(shù)據(jù)不規(guī)范的情況并不局限于某一列,而是更廣泛地分布在整個表格中巢音。因此遵倦,自定義函數(shù)并應用于整個表格中的每個元素會更加高效。用applymap()方法可以實現(xiàn)這個功能官撼,它類似于內(nèi)置的map()函數(shù)梧躺,只不過它是將函數(shù)應用于整個表格中的所有元素。
我們打開文件txt文件③傲绣,先觀察一下數(shù)據(jù):
$?head?Datasets/univerisity_towns.txt
Alabama[edit]
Auburn?(Auburn?University)[1]
Florence?(University?of?North?Alabama)
Jacksonville?(Jacksonville?State?University)[2]
Livingston?(University?of?West?Alabama)[2]
Montevallo?(University?of?Montevallo)[2]
Troy?(Troy?University)[2]
Tuscaloosa?(University?of?Alabama,?Stillman?College,?Shelton?State)[3][4]
Tuskegee?(Tuskegee?University)[5]
Alaska[edit]
觀察發(fā)現(xiàn)掠哥,數(shù)據(jù)格式有如下特點:
州A[edit]
城市A(大學)
城市B(大學)
州B[edit]
城市A(大學)
城市B(大學)
......
我們可以利用這一數(shù)據(jù)格式巩踏,創(chuàng)建一個(州、市)元組列表续搀,并將該列表轉化成一個DataFrame塞琼。先創(chuàng)建一個列表,列表中包含州和城市(大學)信息禁舷。
university_towns?=?[]
withopen('D:/code/tushare?interpret?and?tech?team/python-data-cleaning-master/Datasets/university_towns.txt')asfile:
forlineinfile:
if'[edit]'inline:#?該行有[edit]
state?=?line#?將改行信息賦值給“州”彪杉,記住這個“州”,直到找到下一個為止
else:
university_towns.append((state,?line))#?否則牵咙,改行為城市信息在讶,并且它們都屬于上面的“州”
university_towns[:5]
Out[44]:
[('Alabama[edit]\n','Auburn?(Auburn?University)[1]\n'),
('Alabama[edit]\n','Florence?(University?of?North?Alabama)\n'),
('Alabama[edit]\n','Jacksonville?(Jacksonville?State?University)[2]\n'),
('Alabama[edit]\n','Livingston?(University?of?West?Alabama)[2]\n'),
('Alabama[edit]\n','Montevallo?(University?of?Montevallo)[2]\n')]
用pd.DataFrame()方法將這個列表轉換成一個DataFrame,并將列設置為"State"和"RegionName"霜大。Pandas將接受列表中的每個元素构哺,并將元組左邊的值傳入"State"列,右邊的值傳入"RegionName"列战坤。
towns_df?=?pd.DataFrame(university_towns,?columns=['State','RegionName'])
towns_df.head()
Out[45]:
State?????????????????????????????????????????RegionName
0Alabama[edit]\n????????????????????Auburn?(Auburn?University)[1]\n
1Alabama[edit]\n???????????Florence?(UniversityofNorth?Alabama)\n
2Alabama[edit]\n??Jacksonville?(Jacksonville?State?University)[2]\n
3Alabama[edit]\n???????Livingston?(UniversityofWest?Alabama)[2]\n
4Alabama[edit]\n?????????Montevallo?(UniversityofMontevallo)[2]\n
接下來就要對列中的字符串進行整理曙强,"State"列中的有效信息是州名,"RegionName"列中的有效信息是城市名途茫,其他的字符都可以刪掉碟嘴。當然,除了用之前提到的利用循環(huán)和.str()方法相結合的方式進行操作囊卜,我們還可以選擇用applymap()方法娜扇,它會將傳入的函數(shù)作用于整個DataFrame所有行列中的每個元素。
先定義函數(shù)get_citystate(item)栅组,功能是只提取元素中的有效信息雀瓢。
defget_citystate(item):
if'?('initem:
returnitem[:item.find('?(')]
elif'['initem:
returnitem[:item.find('[')]
else:
returnitem
然后,我們將這個函數(shù)傳入applymap()玉掸,并應用于towns_df刃麸,結果如下:
towns_df?=?towns_df.applymap(get_citystate)
towns_df.head()
Out[48]:?
State????RegionName
0??Alabama????????Auburn
1??Alabama??????Florence
2??Alabama??Jacksonville
3??Alabama????Livingston
4??Alabama????Montevallo
現(xiàn)在towns_df表格看起來是不是干凈多了!
06
刪除重復數(shù)據(jù)
重復數(shù)據(jù)會消耗不必要的內(nèi)存司浪,在處理數(shù)據(jù)時執(zhí)行不必要的計算泊业,還會使分析結果出現(xiàn)偏差。因此啊易,我們有必要學習如何刪除重復數(shù)據(jù)吁伺。
先看一個來自DataCamp的數(shù)據(jù)集,調(diào)用info()方法打印出每列數(shù)據(jù)的具體信息和內(nèi)存信息租谈,共有24092行數(shù)據(jù)篮奄,內(nèi)存占用量是753.0+?KB。
tracks?=?billboard[['year','artist','track','time']]
print(tracks.info())
RangeIndex:24092entries,0to24091
Data?columns?(total4columns):
year24092non-nullint64
artist24092non-nullobject
track24092non-nullobject
time24092non-nullobject
dtypes:?int64(1),object(3)
memory?usage:753.0+?KB
None
下面調(diào)用.drop_duplicates()函數(shù)刪除重復數(shù)據(jù)。
In?[11]:?tracks_no_duplicates?=?tracks.drop_duplicates()
...?print(tracks_no_duplicates.info())
...
Int64Index:317entries,0to316
Data?columns?(total4columns):
year317non-nullint64
artist317non-nullobject
track317non-nullobject
time317non-nullobject
dtypes:?int64(1),object(3)
memory?usage:12.4+?KB
None
刪完之后我們發(fā)現(xiàn)宦搬,數(shù)據(jù)量減少到了317個,內(nèi)存占用縮減至12.4+?KB劫拗。
07
填充缺失值
數(shù)據(jù)集中經(jīng)常會存在缺失值间校,學會正確處理它們很重要,因為在計算的時候页慷,有些無法處理缺失值憔足,有些則在默認情況下跳過缺失值。而且酒繁,了解缺失的數(shù)據(jù)滓彰,并思考用什么值來填充它們,對做出無偏的數(shù)據(jù)分析至關重要州袒。
同樣是來自DataCamp的一個存在缺失值的數(shù)據(jù)集:
In[3]:airquality.head(10)
Out[3]:
OzoneSolar.RWindTempMonthDay
0???41.0190.07.467??????5????1
1???36.0118.08.072??????5????2
2???12.0149.012.674??????5????3
3???18.0313.011.562??????5????4
4NaNNaN14.356??????5????5
5???28.0NaN14.966??????5????6
6???23.0299.08.665??????5????7
7???19.099.013.859??????5????8
8????8.019.020.161??????5????9
9NaN194.08.669??????5???10
以"Ozone"列為例揭绑,我們可以調(diào)用fillna()函數(shù),用該列的均值.mean()填充NaN值郎哭。
oz_mean?=?airquality.Ozone.mean()
airquality['Ozone']?=?airquality['Ozone'].fillna(oz_mean)
print(airquality.head(10))
Ozone??Solar.R??Wind??Temp??Month??Day
041.000000190.07.46751
136.000000118.08.07252
212.000000149.012.67453
318.000000313.011.56254
443.195402NaN14.35655
528.000000NaN14.96656
623.000000299.08.66557
719.00000099.013.85958
88.00000019.020.16159
943.195402194.08.669510
如果你在學習Python的過程當中有遇見任何問題他匪,可以加入我的python交流學習qq群:250933691,多多交流問題夸研,互幫互助邦蜜,群里有不錯的學習教程和開發(fā)工具。學習python有任何問題(學習方法亥至,學習效率悼沈,如何就業(yè)),可以隨時來咨詢我
三姐扮、總結
了解如何進行數(shù)據(jù)清洗非常重要絮供,因為它是數(shù)據(jù)科學的重要組成部分。好在Python提供了非常好用的Pandas和NumPy庫來幫助我們清理數(shù)據(jù)集茶敏,本文介紹的方法都是在實際中經(jīng)常會用到的杯缺,希望大家能牢記于心。