數(shù)據(jù)的分組運算和聚合
在將數(shù)據(jù)集加載、融合吃挑、準(zhǔn)備好之后钝荡，通常就是計算分組統(tǒng)計或?成透視表， pandas提供了
?個靈活?效的groupby功能舶衬，它使你能以?種?然的?式對數(shù)據(jù)集進(jìn)?切?埠通、切塊、摘要等
操作
1. 分組機(jī)制 -- GroupBy
分組運算"split-apply-combine"（拆分－應(yīng)?－合并）逛犹。第?個階段端辱，pandas對象
（?論是Series、DataFrame還是其他的）中的數(shù)據(jù)會根據(jù)你所提供的?個或多個鍵被拆分
（split）為多組虽画。拆分操作是在對象的特定軸上執(zhí)?的舞蔽。例如，DataFrame可以在其?
（axis=0）或列（axis=1）上進(jìn)?分組码撰。然后渗柿，將?個函數(shù)應(yīng)?（apply）到各個分組并產(chǎn)
??個新值。最后脖岛，所有這些函數(shù)的執(zhí)?結(jié)果會被合并（combine）到最終的結(jié)果對象中
df = pd.DataFrame({'key1' : ['a', 'a', 'b', 'b', 'a'],
....: 'key2' : ['one', 'two', 'one', 'two', 'one'],
....: 'data1' : np.random.randn(5),
....: 'data2' : np.random.randn(5)})
grouped = df['data1'].groupby(df['key1'])
變量grouped是?個GroupBy對象做祝。它實際上還沒有進(jìn)?任何計算砾省，只是含有?些有關(guān)分組鍵df[‘key1’]的中間數(shù)據(jù)?已
grouped.mean() # 對分組的數(shù)據(jù)求平均值鸡岗，索引是key1列去重后的值
means = df['data1'].groupby([df['key1'], df['key2']]).mean() # ?次傳?多個數(shù)組的列表混槐，外層索引為key1，內(nèi)層索引為key2,數(shù)據(jù)為data1的平均值
means.unstack() # 轉(zhuǎn)置轩性，默認(rèn)把外層索引變?yōu)榱兴饕牵瑐魅雲(yún)?shù)1默認(rèn)將內(nèi)層索引變?yōu)榱兴饕?GroupBy的size?法，它可以返回?個含有分組??的Series（填充數(shù)據(jù)為每一組包含的原始數(shù)據(jù)個數(shù)）
df.groupby(['key1', 'key2']).size()
2.對分組進(jìn)行迭代：
GroupBy對象?持迭代揣苏，可以產(chǎn)??組?元元組（由分組名和數(shù)據(jù)塊組成）
a. 單一分組鍵情況：
for name, group in df.groupby('key1'):
....: print(name)
....: print(group)
輸出如下：
a
data1 data2 key1 key2
0 -0.204708 1.393406 a one
1 0.478943 0.092908 a two
4 1.965781 1.246435 a one
b
data1 data2 key1 key2
2 -0.519439 0.281746 b one
3 -0.555730 0.769023 b two
b. 多重分組鍵情況（元組的第?個元素將會是由鍵值組成的元組）：
for (k1, k2), group in df.groupby(['key1', 'key2']):
....: print((k1, k2))
....: print(group)
輸出如下：
('a', 'one')
data1 data2 key1 key2
0 -0.204708 1.393406 a one
4 1.965781 1.246435 a one
('a', 'two')
data1 data2 key1 key2
1 0.478943 0.092908 a two
('b', 'one')
data1 data2 key1 key2
2 -0.519439 0.281746 b one
('b', 'two')
data1 data2 key1 key2
3 -0.55573 0.769023 b two
pieces = dict(list(df.groupby('key1'))) # 將分組后的數(shù)據(jù)做成一個字典（只能是一個分組鍵）
pieces['b'] # 通過key1的值拿到相應(yīng)片段的數(shù)據(jù)集
3. 根據(jù)dtypes對列進(jìn)行分組--df.dtypes輸出字段對應(yīng)數(shù)據(jù)類型（float64,object等）
grouped = df.groupby(df.dtypes, axis=1)
for dtype, group in grouped:
....: print(dtype)
....: print(group)
輸出如下：
float64
data1 data2
0 -0.204708 1.393406
1 0.478943 0.092908
2 -0.519439 0.281746
3 -0.555730 0.769023
4 1.965781 1.246435
object
key1 key2
0 a one
1 a two
2 b one
3 b two
4 a one
4. 分組后選取分組的一列或者列的子集（默認(rèn)是按行分組）
df.groupby('key1')['data1'] # 取一列（結(jié)果還是分組對象）
df.groupby('key1')[['data1'悯嗓，'data2']] # 取多列（結(jié)果還是分組對象）
df.groupby(['key1', 'key2'])[['data2']].mean() # 分組后取data2列的數(shù)據(jù)，按組求每一組data2的平均卸察，返回一個dataframe（兩層索引脯厨，key1和key2）
5.根據(jù)字典或者Sreies分組
people = pd.DataFrame(np.random.randn(5, 5),
....: columns=['a', 'b', 'c', 'd', 'e'],
....: index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis'])
mapping = {'a': 'red', 'b': 'red', 'c': 'blue',
....: 'd': 'blue', 'e': 'red', 'f' : 'orange'}
根據(jù)字典分組,再對每組求和（默認(rèn)按行分組，如果設(shè)置axis=1按列分組坑质，那么就按列求和）：
by_dict = people.groupby(mapping, axis=1).sum()
根據(jù)Series分組（按列分組合武，那么就按列求和）
map_series = pd.Series(mapping)
by_series = people.groupby(map_series, axis=1).count()
6.通過函數(shù)進(jìn)行分組：
使?Python函數(shù)是?種更原?的?法定義分組映射。任何被當(dāng)做分組鍵的函數(shù)都會在各個索引值上被調(diào)??次涡扼，其返回值就會被?作分組名稱
people.groupby(len).sum() # 根據(jù)people的行索引的長度分組稼跳，再對每組每列所有行數(shù)據(jù)求和
key_list = ['one', 'one', 'one', 'two', 'two']
people.groupby([len, key_list]).min() # 根據(jù)行索引長度和key_list來分組再取分組后每組每列所有行中的最小值作為填充數(shù)據(jù)（外層索引len的返回值的去重值，內(nèi)層索引key_list去重的值）
7.通過索引級別來分組：
層次化索引數(shù)據(jù)集最?便的地?就在于它能夠根據(jù)軸索引的?個級別進(jìn)?聚合吃沪，要根據(jù)級別分組汤善，使?level關(guān)鍵字傳遞級別序號或名字
columns = pd.MultiIndex.from_arrays([['US', 'US', 'US', 'JP', 'JP'],
....: [1, 3, 5, 1, 3]],
....: names=['cty', 'tenor']) # 創(chuàng)建名字為為cty外層索引，名字為tenor的內(nèi)層索引
hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns) # 創(chuàng)建dataframe,列索引為columns
hier_df.groupby(level='cty', axis=1).count() # 分組鍵為cty層索引票彪，按列分組红淡，再統(tǒng)計每組每行的列數(shù)
數(shù)據(jù)的聚合
聚合指的是任何能夠從數(shù)組產(chǎn)?標(biāo)量值的數(shù)據(jù)轉(zhuǎn)換過程，?如mean降铸、count在旱、min以及sum等
1. 聚合函數(shù)：
第一種.pandas內(nèi)置聚合函數(shù)：
count 分組中非NA值的數(shù)量
sum 非NA值的和
mean 非NA值的平均值
median 非NA值的算術(shù)中位數(shù)
std、var 無偏（分母為n-1）標(biāo)準(zhǔn)差和方差
min垮耳、max 非NA值的最小和最大值
prod 非NA值的極
first颈渊、last 第一個和最后一個非NA值
第二種.自定義聚合函數(shù)（傳入aggregate或者agg方法）：
def peak_to_peak(arr):
....: return arr.max() - arr.min()
grouped.agg(peak_to_peak)
2. 面向列的多函數(shù)應(yīng)用（默認(rèn)將作為分組條件的列變?yōu)樾兴饕鄠€條件列則變?yōu)閷哟位饕?/h2>
tips = pd.read_csv('examples/tips.csv')
tips['tip_pct'] = tips['tip'] / tips['total_bill']
grouped = tips.groupby(['day', 'smoker'])
grouped_pct = grouped['tip_pct']
grouped_pct.agg('mean') # 每個分組對tip_pct數(shù)據(jù)求平均终佛，輸出兩層行索引和一列數(shù)據(jù)（共3列）
傳??組函數(shù)或函數(shù)名俊嗽，得到的DataFrame的列就會以相應(yīng)的函數(shù)命名：
grouped_pct.agg(['mean', 'std', peak_to_peak]) # 輸出兩層索引和三列數(shù)據(jù)（共5列）
傳?的是?個由(name,function)元組組成的列表，則各元組的第?個元素就會被?作DataFrame的列名：
grouped_pct.agg([('foo', 'mean'), ('bar', np.std)])
對兩列數(shù)據(jù)計算三個統(tǒng)計數(shù)據(jù)：
result = grouped['tip_pct', 'total_bill'].agg(['count', 'mean', 'max'])
result['tip_pct'] # 取出tip_pct數(shù)據(jù)的統(tǒng)計信息铃彰，返回一個dataframe
傳入元祖自定義默認(rèn)的統(tǒng)計名（函數(shù)名）
grouped['tip_pct', 'total_bill'].agg([('Dur', 'mean'),('Abw', np.var)])
對?個列或不同的列應(yīng)?不同的函數(shù)绍豁，向agg傳??個從列名映射到函數(shù)的字典
grouped.agg({'tip' : np.max, 'size' : 'sum'})
grouped.agg({'tip_pct' : ['min', 'max', 'mean', 'std'],'size' : 'sum'})
傳入as_index=False 阻止將作為分組條件的列變?yōu)樗饕Ａ魹閿?shù)據(jù)牙捉；對結(jié)果調(diào)?reset_index也能
得到這種形式的結(jié)果竹揍。但使?as_index=False?法可以避免?些不必要的計算
tips.groupby(['day', 'smoker'], as_index=False).mean()
