Python數(shù)據(jù)分析之pandas學(xué)習(xí)

Python中的pandas模塊進(jìn)行數(shù)據(jù)分析拒啰。

接下來pandas介紹中將學(xué)習(xí)到如下8塊內(nèi)容:

1俗他、數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)介:DataFrame和Series

2例驹、數(shù)據(jù)索引index

3赶么、利用pandas查詢數(shù)據(jù)

4瘟仿、利用pandas的DataFrames進(jìn)行統(tǒng)計(jì)分析

5、利用pandas實(shí)現(xiàn)SQL操作

6研铆、利用pandas進(jìn)行缺失值的處理

7埋同、利用pandas實(shí)現(xiàn)Excel的數(shù)據(jù)透視表功能

8、多層索引的使用

一棵红、數(shù)據(jù)結(jié)構(gòu)介紹

在pandas中有兩類非常重要的數(shù)據(jù)結(jié)構(gòu)凶赁,即序列Series和數(shù)據(jù)框DataFrame。Series類似于numpy中的一維數(shù)組逆甜,除了通吃一維數(shù)組可用的函數(shù)或方法虱肄,而且其可通過索引標(biāo)簽的方式獲取數(shù)據(jù),還具有索引的自動(dòng)對(duì)齊功能交煞;DataFrame類似于numpy中的二維數(shù)組咏窿,同樣可以通用numpy數(shù)組的函數(shù)和方法,而且還具有其他靈活應(yīng)用素征,后續(xù)會(huì)介紹到集嵌。

1、Series的創(chuàng)建

序列的創(chuàng)建主要有三種方式:

1)通過一維數(shù)組創(chuàng)建序列

import?numpy?as?np,?pandas?as?pd

arr1?=?np.arange(10)

arr1

type(arr1)

s1?=?pd.Series(arr1)

s1

type(s1)

2)通過字典的方式創(chuàng)建序列

dic1?=?{'a':10,'b':20,'c':30,'d':40,'e':50}

dic1

type(dic1)

s2?=?pd.Series(dic1)

s2

type(s2)

3)通過DataFrame中的某一行或某一列創(chuàng)建序列

這部分內(nèi)容我們放在后面講御毅,因?yàn)橄旅婢烷_始將DataFrame的創(chuàng)建根欧。

2、DataFrame的創(chuàng)建

數(shù)據(jù)框的創(chuàng)建主要有三種方式:

1)通過二維數(shù)組創(chuàng)建數(shù)據(jù)框

arr2?=?np.array(np.arange(12)).reshape(4,3)

arr2

type(arr2)

df1?=?pd.DataFrame(arr2)

df1

type(df1)

2)通過字典的方式創(chuàng)建數(shù)據(jù)框

以下以兩種字典來創(chuàng)建數(shù)據(jù)框端蛆,一個(gè)是字典列表凤粗,一個(gè)是嵌套字典。

dic2?=?{'a':[1,2,3,4],'b':[5,6,7,8],

'c':[9,10,11,12],'d':[13,14,15,16]}

dic2

type(dic2)

df2?=?pd.DataFrame(dic2)

df2

type(df2)

dic3?=?{'one':{'a':1,'b':2,'c':3,'d':4},

'two':{'a':5,'b':6,'c':7,'d':8},

'three':{'a':9,'b':10,'c':11,'d':12}}

dic3

type(dic3)

df3?=?pd.DataFrame(dic3)

df3

type(df3)

3)通過數(shù)據(jù)框的方式創(chuàng)建數(shù)據(jù)框

df4?=?df3[['one','three']]

df4

type(df4)

s3?=?df3['one']

s3

type(s3)

二今豆、數(shù)據(jù)索引index

細(xì)致的朋友可能會(huì)發(fā)現(xiàn)一個(gè)現(xiàn)象嫌拣,不論是序列也好柔袁,還是數(shù)據(jù)框也好,對(duì)象的最左邊總有一個(gè)非原始數(shù)據(jù)對(duì)象亭罪,這個(gè)是什么呢瘦馍?不錯(cuò),就是我們接下來要介紹的索引应役。

在我看來情组,序列或數(shù)據(jù)框的索引有兩大用處,一個(gè)是通過索引值或索引標(biāo)簽獲取目標(biāo)數(shù)據(jù)箩祥,另一個(gè)是通過索引院崇,可以使序列或數(shù)據(jù)框的計(jì)算、操作實(shí)現(xiàn)自動(dòng)化對(duì)齊袍祖,下面我們就來看看這兩個(gè)功能的應(yīng)用底瓣。

1、通過索引值或索引標(biāo)簽獲取數(shù)據(jù)

s4?=?pd.Series(np.array([1,1,2,3,5,8]))

s4

如果不給序列一個(gè)指定的索引值蕉陋,則序列自動(dòng)生成一個(gè)從0開始的自增索引捐凭。可以通過index查看序列的索引:

s4.index

現(xiàn)在我們?yōu)樾蛄性O(shè)定一個(gè)自定義的索引值:

s4.index?=?['a','b','c','d','e','f']

s4

序列有了索引凳鬓,就可以通過索引值或索引標(biāo)簽進(jìn)行數(shù)據(jù)的獲茸鲁Α:

s4[3]

s4['e']

s4[[1,3,5]]

s4[['a','b','d','f']]

s4[:4]

s4['c':]

s4['b':'e']

千萬(wàn)注意:如果通過索引標(biāo)簽獲取數(shù)據(jù)的話,末端標(biāo)簽所對(duì)應(yīng)的值是可以返回的缩举!在一維數(shù)組中垦梆,就無(wú)法通過索引標(biāo)簽獲取數(shù)據(jù),這也是序列不同于一維數(shù)組的一個(gè)方面仅孩。

2托猩、自動(dòng)化對(duì)齊

如果有兩個(gè)序列,需要對(duì)這兩個(gè)序列進(jìn)行算術(shù)運(yùn)算辽慕,這時(shí)索引的存在就體現(xiàn)的它的價(jià)值了—自動(dòng)化對(duì)齊.

s5?=?pd.Series(np.array([10,15,20,30,55,80]),

index?=?['a','b','c','d','e','f'])

s5

s6?=?pd.Series(np.array([12,11,13,15,14,16]),

index?=?['a','c','g','b','d','f'])

s6

s5?+?s6

s5/s6

由于s5中沒有對(duì)應(yīng)的g索引京腥,s6中沒有對(duì)應(yīng)的e索引,所以數(shù)據(jù)的運(yùn)算會(huì)產(chǎn)生兩個(gè)缺失值NaN溅蛉。注意绞旅,這里的算術(shù)結(jié)果就實(shí)現(xiàn)了兩個(gè)序列索引的自動(dòng)對(duì)齊,而非簡(jiǎn)單的將兩個(gè)序列加總或相除温艇。對(duì)于數(shù)據(jù)框的對(duì)齊,不僅僅是行索引的自動(dòng)對(duì)齊堕汞,同時(shí)也會(huì)自動(dòng)對(duì)齊列索引(變量名)

數(shù)據(jù)框中同樣有索引勺爱,而且數(shù)據(jù)框是二維數(shù)組的推廣,所以其不僅有行索引讯检,而且還存在列索引琐鲁,關(guān)于數(shù)據(jù)框中的索引相比于序列的應(yīng)用要強(qiáng)大的多卫旱,這部分內(nèi)容將放在數(shù)據(jù)查詢中講解。

三围段、利用pandas查詢數(shù)據(jù)

這里的查詢數(shù)據(jù)相當(dāng)于R語(yǔ)言里的subset功能顾翼,可以通過布爾索引有針對(duì)的選取原數(shù)據(jù)的子集、指定行奈泪、指定列等适贸。我們先導(dǎo)入一個(gè)student數(shù)據(jù)集:

student?=?pd.io.parsers.read_csv('C:\\Users\\admin\\Desktop\\student.csv')

查詢數(shù)據(jù)的前5行或末尾5行

student.head()

student.tail()

查詢指定的行

student.ix[[0,2,4,5,7]]?#這里的ix索引標(biāo)簽函數(shù)必須是中括號(hào)[]

查詢指定的列

student[['Name','Height','Weight']].head()?#如果多個(gè)列的話,必須使用雙重中括號(hào)

也可以通過ix索引標(biāo)簽查詢指定的列

student.ix[:,['Name','Height','Weight']].head()

查詢指定的行和列

student.ix[[0,2,4,5,7],['Name','Height','Weight']].head()

以上是從行或列的角度查詢數(shù)據(jù)的子集涝桅,現(xiàn)在我們來看看如何通過布爾索引實(shí)現(xiàn)數(shù)據(jù)的子集查詢拜姿。

查詢所有女生的信息

student[student['Sex']=='F']

查詢出所有12歲以上的女生信息

student[(student['Sex']=='F')?&?(student['Age']>12)]

查詢出所有12歲以上的女生姓名、身高和體重

student[(student['Sex']=='F')?&?(student['Age']>12)][['Name','Height','Weight']]

上面的查詢邏輯其實(shí)非常的簡(jiǎn)單冯遂,需要注意的是蕊肥,如果是多個(gè)條件的查詢,必須在&(且)或者|(或)的兩端條件用括號(hào)括起來蛤肌。

四壁却、統(tǒng)計(jì)分析

pandas模塊為我們提供了非常多的描述性統(tǒng)計(jì)分析的指標(biāo)函數(shù),如總和裸准、均值展东、最小值、最大值等狼速,我們來具體看看這些函數(shù):

首先隨機(jī)生成三組數(shù)據(jù)

np.random.seed(1234)

d1?=?pd.Series(2*np.random.normal(size?=?100)+3)

d2?=?np.random.f(2,4,size?=?100)

d3?=?np.random.randint(1,100,size?=?100)

d1.count()?#非空元素計(jì)算

d1.min()?#最小值

d1.max()?#最大值

d1.idxmin()?#最小值的位置琅锻,類似于R中的which.min函數(shù)

d1.idxmax()?#最大值的位置,類似于R中的which.max函數(shù)

d1.quantile(0.1)?#10%分位數(shù)

d1.sum()?#求和

d1.mean()?#均值

d1.median()?#中位數(shù)

d1.mode()?#眾數(shù)

d1.var()?#方差

d1.std()?#標(biāo)準(zhǔn)差

d1.mad()?#平均絕對(duì)偏差

d1.skew()?#偏度

d1.kurt()?#峰度

d1.describe()?#一次性輸出多個(gè)描述性統(tǒng)計(jì)指標(biāo)

必須注意的是向胡,descirbe方法只能針對(duì)序列或數(shù)據(jù)框恼蓬,一維數(shù)組是沒有這個(gè)方法的

這里自定義一個(gè)函數(shù),將這些統(tǒng)計(jì)描述指標(biāo)全部匯總到一起:

def?stats(x):

return?pd.Series([x.count(),x.min(),x.idxmin(),

x.quantile(.25),x.median(),

x.quantile(.75),x.mean(),

x.max(),x.idxmax(),

x.mad(),x.var(),

x.std(),x.skew(),x.kurt()],

index?=?['Count','Min','Whicn_Min',

'Q1','Median','Q3','Mean',

'Max','Which_Max','Mad',

'Var','Std','Skew','Kurt'])

stats(d1)

在實(shí)際的工作中僵芹,我們可能需要處理的是一系列的數(shù)值型數(shù)據(jù)框处硬,如何將這個(gè)函數(shù)應(yīng)用到數(shù)據(jù)框中的每一列呢?可以使用apply函數(shù)拇派,這個(gè)非常類似于R中的apply的應(yīng)用方法荷辕。

將之前創(chuàng)建的d1,d2,d3數(shù)據(jù)構(gòu)建數(shù)據(jù)框:

df?=?pd.DataFrame(np.array([d1,d2,d3]).T,columns=['x1','x2','x3'])

df.head()

df.apply(stats)

非常完美,就這樣很簡(jiǎn)單的創(chuàng)建了數(shù)值型數(shù)據(jù)的統(tǒng)計(jì)性描述件豌。如果是離散型數(shù)據(jù)呢疮方?就不能用這個(gè)統(tǒng)計(jì)口徑了,我們需要統(tǒng)計(jì)離散變量的觀測(cè)數(shù)茧彤、唯一值個(gè)數(shù)骡显、眾數(shù)水平及個(gè)數(shù)。你只需要使用describe方法就可以實(shí)現(xiàn)這樣的統(tǒng)計(jì)了。

student['Sex'].describe()

除以上的簡(jiǎn)單描述性統(tǒng)計(jì)之外惫谤,還提供了連續(xù)變量的相關(guān)系數(shù)(corr)和協(xié)方差矩陣(cov)的求解壁顶,這個(gè)跟R語(yǔ)言是一致的用法。

df.corr()

關(guān)于相關(guān)系數(shù)的計(jì)算可以調(diào)用pearson方法或kendell方法或spearman方法溜歪,默認(rèn)使用pearson方法若专。

df.corr('spearman')

如果只想關(guān)注某一個(gè)變量與其余變量的相關(guān)系數(shù)的話,可以使用corrwith,如下方只關(guān)心x1與其余變量的相關(guān)系數(shù):

df.corrwith(df['x1'])

數(shù)值型變量間的協(xié)方差矩陣

df.cov()

五蝴猪、類似于SQL的操作

在SQL中常見的操作主要是增调衰、刪、改拯腮、查幾個(gè)動(dòng)作窖式,那么pandas能否實(shí)現(xiàn)對(duì)數(shù)據(jù)的這幾項(xiàng)操作呢?答案是Of Course!

增:添加新行或增加新列

In?[99]:?dic?=?{'Name':['LiuShunxiang','Zhangshan'],

...:?'Sex':['M','F'],'Age':[27,23],

...:?'Height':[165.7,167.2],'Weight':[61,63]}

In?[100]:?student2?=?pd.DataFrame(dic)

In?[101]:?student2

Out[101]:

Age?Height?Name?Sex?Weight

0?27?165.7?LiuShunxiang?M?61

1?23?167.2?Zhangshan?F?63

現(xiàn)在將student2中的數(shù)據(jù)新增到student中动壤,可以通過concat函數(shù)實(shí)現(xiàn):

注意到了嗎萝喘?在數(shù)據(jù)庫(kù)中union必須要求兩張表的列順序一致,而這里concat函數(shù)可以自動(dòng)對(duì)齊兩個(gè)數(shù)據(jù)框的變量琼懊!

新增列的話阁簸,其實(shí)在pandas中就更簡(jiǎn)單了,例如在student2中新增一列學(xué)生成績(jī):

對(duì)于新增的列沒有賦值哼丈,就會(huì)出現(xiàn)空NaN的形式启妹。

刪:刪除表、觀測(cè)行或變量列

刪除數(shù)據(jù)框student2,通過del命令實(shí)現(xiàn)醉旦,該命令可以刪除Python的所有對(duì)象饶米。

刪除指定的行

原數(shù)據(jù)中的第1,2,4,7行的數(shù)據(jù)已經(jīng)被刪除了。

根據(jù)布爾索引刪除行數(shù)據(jù)车胡,其實(shí)這個(gè)刪除就是保留刪除條件的反面數(shù)據(jù)檬输,例如刪除所有14歲以下的學(xué)生:

刪除指定的列

我們發(fā)現(xiàn),不論是刪除行還是刪除列匈棘,都可以通過drop方法實(shí)現(xiàn)丧慈,只需要設(shè)定好刪除的軸即可,即調(diào)整drop方法中的axis參數(shù)主卫。默認(rèn)該參數(shù)為0逃默,表示刪除行觀測(cè),如果需要?jiǎng)h除列變量簇搅,則需設(shè)置為1完域。

改:修改原始記錄的值

如果發(fā)現(xiàn)表中的某些數(shù)據(jù)錯(cuò)誤了,如何更改原來的值呢瘩将?我們?cè)囋嚱Y(jié)合布爾索引和賦值的方法:

例如發(fā)現(xiàn)student3中姓名為L(zhǎng)iushunxiang的學(xué)生身高錯(cuò)了筒主,應(yīng)該是173关噪,如何改呢?

這樣就可以把原來的身高修改為現(xiàn)在的170了乌妙。

看,關(guān)于索引的操作非常靈活建钥、方便吧藤韵,就這樣輕松搞定數(shù)據(jù)的更改。

查:有關(guān)數(shù)據(jù)查詢部分熊经,上面已經(jīng)介紹過泽艘,下面重點(diǎn)講講聚合、排序和多表連接操作镐依。

聚合:pandas模塊中可以通過groupby()函數(shù)實(shí)現(xiàn)數(shù)據(jù)的聚合操作

根據(jù)性別分組匹涮,計(jì)算各組別中學(xué)生身高和體重的平均值:

如果不對(duì)原始數(shù)據(jù)作限制的話,聚合函數(shù)會(huì)自動(dòng)選擇數(shù)值型數(shù)據(jù)進(jìn)行聚合計(jì)算槐壳。如果不想對(duì)年齡計(jì)算平均值的話然低,就需要剔除改變量:

groupby還可以使用多個(gè)分組變量,例如根本年齡和性別分組务唐,計(jì)算身高與體重的平均值:

當(dāng)然雳攘,還可以對(duì)每個(gè)分組計(jì)算多個(gè)統(tǒng)計(jì)量:

是不是很簡(jiǎn)單,只需一句就能完成SQL中的SELECT…FROM…GROUP BY…功能枫笛,何樂而不為呢吨灭?

排序:

排序在日常的統(tǒng)計(jì)分析中還是比較常見的操作,我們可以使用order刑巧、sort_index和sort_values實(shí)現(xiàn)序列和數(shù)據(jù)框的排序工作:

我們?cè)僭囋嚱敌蚺判虻脑O(shè)置:

上面兩個(gè)結(jié)果其實(shí)都是按值排序喧兄,并且結(jié)果中都給出了警告信息,即建議使用sort_values()函數(shù)進(jìn)行按值排序啊楚。

在數(shù)據(jù)框中一般都是按值排序吠冤,例如:

多表連接:

多表之間的連接也是非常常見的數(shù)據(jù)庫(kù)操作,連接分內(nèi)連接和外連接特幔,在數(shù)據(jù)庫(kù)語(yǔ)言中通過join關(guān)鍵字實(shí)現(xiàn)咨演,pandas我比較建議使用merger函數(shù)實(shí)現(xiàn)數(shù)據(jù)的各種連接操作。

如下是構(gòu)造一張學(xué)生的成績(jī)表:

現(xiàn)在想把學(xué)生表student與學(xué)生成績(jī)表score做一個(gè)關(guān)聯(lián)蚯斯,該如何操作呢薄风?

注意,默認(rèn)情況下拍嵌,merge函數(shù)實(shí)現(xiàn)的是兩個(gè)表之間的內(nèi)連接遭赂,即返回兩張表中共同部分的數(shù)據(jù)『崃荆可以通過how參數(shù)設(shè)置連接的方式撇他,left為左連接;right為右連接;outer為外連接困肩。

左連接實(shí)現(xiàn)的是保留student表中的所有信息划纽,同時(shí)將score表的信息與之配對(duì),能配多少配多少锌畸,對(duì)于沒有配對(duì)上的Name勇劣,將會(huì)顯示成績(jī)?yōu)镹aN。

六潭枣、缺失值處理

現(xiàn)實(shí)生活中的數(shù)據(jù)是非常雜亂的比默,其中缺失值也是非常常見的,對(duì)于缺失值的存在可能會(huì)影響到后期的數(shù)據(jù)分析或挖掘工作盆犁,那么我們?cè)撊绾翁幚磉@些缺失值呢命咐?常用的有三大類方法,即刪除法谐岁、填補(bǔ)法和插值法醋奠。

刪除法:當(dāng)數(shù)據(jù)中的某個(gè)變量大部分值都是缺失值,可以考慮刪除改變量翰铡;當(dāng)缺失值是隨機(jī)分布的钝域,且缺失的數(shù)量并不是很多是,也可以刪除這些缺失的觀測(cè)锭魔。

替補(bǔ)法:對(duì)于連續(xù)型變量例证,如果變量的分布近似或就是正態(tài)分布的話,可以用均值替代那些缺失值迷捧;如果變量是有偏的织咧,可以使用中位數(shù)來代替那些缺失值;對(duì)于離散型變量漠秋,我們一般用眾數(shù)去替換那些存在缺失的觀測(cè)笙蒙。

插補(bǔ)法:插補(bǔ)法是基于蒙特卡洛模擬法,結(jié)合線性模型庆锦、廣義線性模型捅位、決策樹等方法計(jì)算出來的預(yù)測(cè)值替換缺失值。

我們這里就介紹簡(jiǎn)單的刪除法和替補(bǔ)法:

這是一組含有缺失值的序列搂抒,我們可以結(jié)合sum函數(shù)和isnull函數(shù)來檢測(cè)數(shù)據(jù)中含有多少缺失值:

In?[130]:?sum(pd.isnull(s))

Out[130]:?9

直接刪除缺失值

默認(rèn)情況下艇搀,dropna會(huì)刪除任何含有缺失值的行,我們?cè)贅?gòu)造一個(gè)數(shù)據(jù)框試試:

返回結(jié)果表明求晶,數(shù)據(jù)中只要含有缺失值NaN,該數(shù)據(jù)行就會(huì)被刪除焰雕,如果使用參數(shù)how=’all’,則表明只刪除所有行為缺失值的觀測(cè)芳杏。

使用一個(gè)常量來填補(bǔ)缺失值矩屁,可以使用fillna函數(shù)實(shí)現(xiàn)簡(jiǎn)單的填補(bǔ)工作:

1)用0填補(bǔ)所有缺失值

2)采用前項(xiàng)填充或后向填充

3)使用常量填充不同的列

4)用均值或中位數(shù)填充各自的列

很顯然辟宗,在使用填充法時(shí),相對(duì)于常數(shù)填充或前項(xiàng)吝秕、后項(xiàng)填充泊脐,使用各列的眾數(shù)、均值或中位數(shù)填充要更加合理一點(diǎn)烁峭,這也是工作中常用的一個(gè)快捷手段晨抡。

七、數(shù)據(jù)透視表

在Excel中有一個(gè)非常強(qiáng)大的功能就是數(shù)據(jù)透視表则剃,通過托拉拽的方式可以迅速的查看數(shù)據(jù)的聚合情況,這里的聚合可以是計(jì)數(shù)如捅、求和棍现、均值、標(biāo)準(zhǔn)差等镜遣。

pandas為我們提供了非常強(qiáng)大的函數(shù)pivot_table()己肮,該函數(shù)就是實(shí)現(xiàn)數(shù)據(jù)透視表功能的。對(duì)于上面所說的一些聚合函數(shù)悲关,可以通過參數(shù)aggfunc設(shè)定腊满。我們先看看這個(gè)函數(shù)的語(yǔ)法和參數(shù)吧:

pivot_table(data,values=None,

index=None,

columns=None,

aggfunc='mean',

fill_value=None,

margins=False,

dropna=True,

margins_name='All')

data:需要進(jìn)行數(shù)據(jù)透視表操作的數(shù)據(jù)框

values:指定需要聚合的字段

index:指定某些原始變量作為行索引

columns:指定哪些離散的分組變量

aggfunc:指定相應(yīng)的聚合函數(shù)

fill_value:使用一個(gè)常數(shù)替代缺失值沮脖,默認(rèn)不替換

margins:是否進(jìn)行行或列的匯總,默認(rèn)不匯總

dropna:默認(rèn)所有觀測(cè)為缺失的列

margins_name:默認(rèn)行匯總或列匯總的名稱為'All'

我們?nèi)匀灰詓tudent表為例,來認(rèn)識(shí)一下數(shù)據(jù)透視表pivot_table函數(shù)的用法:

對(duì)一個(gè)分組變量(Sex)穷缤,一個(gè)數(shù)值變量(Height)作統(tǒng)計(jì)匯總

對(duì)一個(gè)分組變量(Sex),兩個(gè)數(shù)值變量(Height,Weight)作統(tǒng)計(jì)匯總

對(duì)兩個(gè)分組變量(Sex隘冲,Age)互例,兩個(gè)數(shù)值變量(Height,Weight)作統(tǒng)計(jì)匯總

很顯然這樣的結(jié)果并不像Excel中預(yù)期的那樣,該如何變成列聯(lián)表的形式的这敬?很簡(jiǎn)單航夺,只需將結(jié)果進(jìn)行非堆疊操作(unstack)即可:

看,這樣的結(jié)果是不是比上面那種看起來更舒服一點(diǎn)崔涂?

使用多個(gè)聚合函數(shù)

有關(guān)更多數(shù)據(jù)透視表的操作阳掐,可參考《Pandas透視表(pivot_table)詳解》一文,鏈接地址:http://python.jobbole.com/81212/

八冷蚂、多層索引的使用

最后我們?cè)賮碇v講pandas中的一個(gè)重要功能缭保,那就是多層索引。在序列中它可以實(shí)現(xiàn)在一個(gè)軸上擁有多個(gè)索引帝雇,就類似于Excel中常見的這種形式:

對(duì)于這樣的數(shù)據(jù)格式有什么好處呢涮俄?pandas可以幫我們實(shí)現(xiàn)用低維度形式處理高維數(shù)數(shù)據(jù),這里舉個(gè)例子也許你就能明白了:

對(duì)于這種多層次索引的序列尸闸,取數(shù)據(jù)就顯得非常簡(jiǎn)單了:

對(duì)于這種多層次索引的序列彻亲,我們還可以非常方便的將其轉(zhuǎn)換為數(shù)據(jù)框的形式:

以上針對(duì)的是序列的多層次索引孕锄,數(shù)據(jù)框也同樣有多層次的索引,而且每條軸上都可以有這樣的索引苞尝,就類似于Excel中常見的這種形式:

我們不妨構(gòu)造一個(gè)類似的高維數(shù)據(jù)框:

同樣畸肆,數(shù)據(jù)框中的多層索引也可以非常便捷的取出大塊數(shù)據(jù):

在數(shù)據(jù)框中使用多層索引,可以將整個(gè)數(shù)據(jù)集控制在二維表結(jié)構(gòu)中宙址,這對(duì)于數(shù)據(jù)重塑和基于分組的操作(如數(shù)據(jù)透視表的生成)比較有幫助轴脐。

就拿student二維數(shù)據(jù)框?yàn)槔覀儤?gòu)造一個(gè)多層索引數(shù)據(jù)集:

講到這里抡砂,我們關(guān)于pandas模塊的學(xué)習(xí)基本完成大咱,其實(shí)在掌握了pandas這8個(gè)主要的應(yīng)用方法就可以靈活的解決很多工作中的數(shù)據(jù)處理、統(tǒng)計(jì)分析等任務(wù)注益。有關(guān)更多的pandas介紹碴巾,可參考pandas官方文檔:http://pandas.pydata.org/pandas-docs/version/0.17.0/whatsnew.html。

對(duì)Python開發(fā)技術(shù)感興趣的同學(xué)丑搔,歡迎加QQ群:862672474厦瓢,一起學(xué)習(xí),相互討論啤月。

群內(nèi)已經(jīng)有小伙伴將知識(shí)體系整理好(源碼煮仇,筆記,PPT谎仲,學(xué)習(xí)視頻)浙垫,歡迎加群免費(fèi)領(lǐng)取。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末强重,一起剝皮案震驚了整個(gè)濱河市绞呈,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌间景,老刑警劉巖佃声,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異倘要,居然都是意外死亡圾亏,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門封拧,熙熙樓的掌柜王于貴愁眉苦臉地迎上來志鹃,“玉大人,你說我怎么就攤上這事泽西〔芰澹” “怎么了?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵捧杉,是天一觀的道長(zhǎng)陕见。 經(jīng)常有香客問我秘血,道長(zhǎng),這世上最難降的妖魔是什么评甜? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任灰粮,我火速辦了婚禮,結(jié)果婚禮上忍坷,老公的妹妹穿的比我還像新娘粘舟。我一直安慰自己,他們只是感情好佩研,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布柑肴。 她就那樣靜靜地躺著,像睡著了一般旬薯。 火紅的嫁衣襯著肌膚如雪嘉抒。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天袍暴,我揣著相機(jī)與錄音,去河邊找鬼隶症。 笑死政模,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的蚂会。 我是一名探鬼主播淋样,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼胁住!你這毒婦竟也來了趁猴?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤彪见,失蹤者是張志新(化名)和其女友劉穎儡司,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體余指,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡捕犬,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了酵镜。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片碉碉。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖淮韭,靈堂內(nèi)的尸體忽然破棺而出垢粮,到底是詐尸還是另有隱情,我是刑警寧澤靠粪,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布蜡吧,位于F島的核電站毫蚓,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏斩跌。R本人自食惡果不足惜绍些,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望耀鸦。 院中可真熱鬧柬批,春花似錦、人聲如沸袖订。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)洛姑。三九已至上沐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間楞艾,已是汗流浹背参咙。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留硫眯,地道東北人蕴侧。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像两入,于是被迫代替她去往敵國(guó)和親净宵。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容