1. 分組的基本概況

分組涧黄，即對(duì)原始數(shù)據(jù)的行按照一定的條件重新組合篮昧，將具有相同屬性的行聚合到一起在計(jì)算其他數(shù)值。在Pandas里面提供了一個(gè)groupby函數(shù)笋妥，非常靈活而且高效懊昨。分組操作可以來干嘛？參考下面三個(gè)應(yīng)用：

• 依據(jù) 性別 分組春宣，統(tǒng)計(jì)全國(guó)人口 壽命 的 平均值
• 依據(jù) 季節(jié) 分組酵颁，對(duì)每一個(gè)季節(jié)的溫度進(jìn)行組內(nèi)標(biāo)準(zhǔn)化
• 依據(jù) 班級(jí) 分組，篩選出組內(nèi) 數(shù)學(xué)分?jǐn)?shù)的平均值超過80分的班級(jí)
  以上三個(gè)問題月帝，都可以用分組來解決躏惋。通過觀察，可以發(fā)現(xiàn)上面的三個(gè)問題都涉及到3個(gè)方面的內(nèi)容：

1. 分組依據(jù)（性別/季節(jié)/班級(jí)）
2. 需要聚合/計(jì)算等操作的字段嚷辅，或者是數(shù)據(jù)來源（人口壽命/溫度/數(shù)學(xué)分?jǐn)?shù)）
3. 需要返回的結(jié)果
   這3項(xiàng)是完成一個(gè)分組操作的3個(gè)必須要素簿姨。
   下面做一個(gè)簡(jiǎn)單演示：

im
port pandas as pd
import numpy as np

df = pd.read_csv('learn_pandas.csv')
df.head()

image.png

這是一份包含學(xué)生學(xué)校性別等信息的表格， 下面需要依據(jù)學(xué)校和性別分組簸搞，統(tǒng)計(jì)身高均值扁位，代碼如下：

df.groupby(['School', 'Gender'])['Height'].mean()
>>>
School                         Gender
Fudan University               Female    158.776923
                               Male      174.212500
Peking University              Female    158.666667
                               Male      172.030000
Shanghai Jiao Tong University  Female    159.122500
                               Male      176.760000
Tsinghua University            Female    159.753333
                               Male      171.638889
Name: Height, dtype: float64

通過上面這個(gè)例子，給出groupby方法的標(biāo)準(zhǔn)語(yǔ)法：

其中：
m: 分組依據(jù)趁俊，但需要按照多個(gè)條件分組時(shí)域仇，需要把條件放到一個(gè)列表中
n: 數(shù)據(jù)來源，即需要計(jì)算的字段寺擂，同樣的殉簸，需要多個(gè)字段也是放入一個(gè)列表
k: 聚合函數(shù)，常用的有min/max/mean/count等沽讹，也可以傳入自定義參數(shù)

上面的例子中般卑，分組的依據(jù)（School，Gender)為原始表格中已有的字段爽雄，那么能不能不使用原有的字段蝠检，而是按照一定的條件來分組呢？答案是可以的挚瘟。例如我們需要按照體重是否大于均值分成兩組叹谁，分別統(tǒng)計(jì)兩組的身高均值：

df.groupby(df['Weight'] > df['Weight'].mean())['Height'].mean()
>>>
Weight
False    159.034646
True     172.705357
Name: Height, dtype: float64

上面的代碼中df['Weight'] > df['Weight'].mean()即是分組依據(jù)，通過結(jié)果的索引（False/True）可以看出乘盖，其實(shí)最后產(chǎn)生的結(jié)果就是按照條件列表中元素的值（此處是 True 和 False ）來分組焰檩。下面用隨機(jī)傳入字母序列來驗(yàn)證這一想法：

item = np.random.choice(list('abc'), df.shape[0])
df.groupby(item)['Height'].mean()
>>>
a    162.567347
b    164.367606
c    162.428571
Name: Height, dtype: float64

上面的代碼先創(chuàng)建了一個(gè)和原DataFrame等長(zhǎng)的序列，并將這個(gè)序列作為分組依據(jù)订框。

從上面的例子中我們可以總結(jié)出分組依據(jù)的本質(zhì)：
分組的依據(jù)來自于數(shù)據(jù)來源組合的unique值析苫。 例如在上面的學(xué)生信息表格中按照學(xué)校School和性別Gender來分組，如果學(xué)校的個(gè)數(shù)為m, 性別個(gè)數(shù)為2，并且在原始數(shù)據(jù)衩侥，每個(gè)學(xué)校都存在2中性別的行国旷，則最終分組的個(gè)數(shù)為2m

2. Groupby對(duì)象

最終具體做分組操作時(shí)，所調(diào)用的方法都來自于 pandas 中的 groupby 對(duì)象茫死，這個(gè)對(duì)象上定義了許多方法跪但，也具有一些方便的屬性。

# groupby返回一個(gè)groupby對(duì)象
df1 = df.groupby(['School', 'Grade'])
type(df1)
>>>
pandas.core.groupby.generic.DataFrameGroupBy

可以看到峦萎，groupby后返回一個(gè)groupby對(duì)象屡久，且是一個(gè)生成器。既然是生成器我們就可以用for循環(huán)遍歷里面的元素：

for i in df1:
  print(i)

結(jié)果太長(zhǎng)爱榔，下面是部分截圖被环。通過截圖可以看到每個(gè)元素是一個(gè)tuple, tuple的第一個(gè)元素是分組的依據(jù)，第二個(gè)是具體的值搓蚪，是一個(gè)DataFrame

image.png

for i in df1:
    print(type(i), i[0])
>>>
<class 'tuple'> ('Fudan University', 'Freshman')
<class 'tuple'> ('Fudan University', 'Junior')
<class 'tuple'> ('Fudan University', 'Senior')
<class 'tuple'> ('Fudan University', 'Sophomore')
<class 'tuple'> ('Peking University', 'Freshman')
<class 'tuple'> ('Peking University', 'Junior')
<class 'tuple'> ('Peking University', 'Senior')
<class 'tuple'> ('Peking University', 'Sophomore')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Freshman')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Junior')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Senior')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Sophomore')
<class 'tuple'> ('Tsinghua University', 'Freshman')
<class 'tuple'> ('Tsinghua University', 'Junior')
<class 'tuple'> ('Tsinghua University', 'Senior')
<class 'tuple'> ('Tsinghua University', 'Sophomore')

其他常用屬性：

print(df1.ngroups)  # ngroups：分組個(gè)數(shù)
print("-" * 10)
print(df1.groups[('Fudan University', 'Freshman')]) # 返回改組的索引
print("-" * 10)
print(df1.size())  # 每個(gè)組別的個(gè)數(shù)

>>>
16
----------
Int64Index([15, 28, 63, 70, 73, 105, 108, 157, 186], dtype='int64')
----------
School                         Grade    
Fudan University               Freshman      9
                               Junior       12
                               Senior       11
                               Sophomore     8
Peking University              Freshman     13
                               Junior        8
                               Senior        8
                               Sophomore     5
Shanghai Jiao Tong University  Freshman     13
                               Junior       17
                               Senior       22
                               Sophomore     5
Tsinghua University            Freshman     17
                               Junior       22
                               Senior       14
                               Sophomore    16
dtype: int64

3. 分組后3大基本操作

熟悉了一些分組的基本知識(shí)后，重新回到開頭舉的三個(gè)例子丁鹉，可能會(huì)發(fā)現(xiàn)一些端倪妒潭，即這三種類型分組返回的數(shù)據(jù)型態(tài)并不一樣：
第一個(gè)例子中，每一個(gè)組返回一個(gè)標(biāo)量值揣钦，可以是平均值雳灾、中位數(shù)、組容量 size 等
第二個(gè)例子中冯凹，做了原序列的標(biāo)準(zhǔn)化處理谎亩，也就是說每組返回的是一個(gè) Series 類型
第三個(gè)例子中，既不是標(biāo)量也不是序列宇姚，而是通過篩選返回的整個(gè)組所在行的本身匈庭，即返回了 DataFrame 類型
由此，引申出分組的三大操作：

1. 聚合- agg浑劳、
2. 變換 - transform
3. 過濾 - filter

下面分別介紹

3.1 聚合 aggregation (agg)

1. 內(nèi)置聚合函數(shù)
   在介紹agg之前阱持，首先要了解一些直接定義在groupby對(duì)象的聚合函數(shù)，因?yàn)樗乃俣然径紩?huì)經(jīng)過內(nèi)部的優(yōu)化魔熏，使用功能時(shí)應(yīng)當(dāng)優(yōu)先考慮衷咽。
   包括如下函數(shù)：

• max/min/mean/median/count/
• all/any/idxmax/idxmin/
• mad/nunique/skew/quantile/
• sum/std/var/sem/size/prod
  其中有些不常用的函數(shù)如下：
• any(): 如果組內(nèi)有truthful的值就返回True。
• all(): 組內(nèi)所有元素都是truthful蒜绽，返回True镶骗。
• mad()：返回組內(nèi)元素的絕對(duì)中位差。先計(jì)算出數(shù)據(jù)與它們的中位數(shù)之間的殘差躲雅，MAD就是這些偏差的絕對(duì)值的中位數(shù)鼎姊。MAD比方差魯棒性更好。
• skew()：組內(nèi)數(shù)據(jù)的偏度。
• sem()：組內(nèi)數(shù)據(jù)的均值標(biāo)準(zhǔn)誤差此蜈。
• prod() ：組內(nèi)所有元素的乘積即横。

df.groupby('Gender')['Height'].idxmin()
>>>
Gender
Female    143
Male      199
Name: Height, dtype: int64

df.groupby('Gender')[['Height', 'Weight']].max()
>>>
Height  Weight
Gender      
Female  170.2   63.0
Male    193.9   89.0

2. agg方法

雖然在 groupby 對(duì)象上定義了許多方便的函數(shù)，但仍然有以下不便之處：

• 無法同時(shí)使用多個(gè)函數(shù)
• 無法對(duì)特定的列使用特定的聚合函數(shù)
• 無法使用自定義的聚合函數(shù)
• 無法直接對(duì)結(jié)果的列名在聚合前進(jìn)行自定義命名

下面說明如何通過 agg 函數(shù)解決這四類問題：

【a】使用多個(gè)函數(shù)
當(dāng)使用多個(gè)聚合函數(shù)時(shí)裆赵，需要用列表的形式把內(nèi)置聚合函數(shù)對(duì)應(yīng)的字符串傳入东囚，先前提到的所有字符串都是合法的。

df.groupby('School')['Height', 'Weight'].agg(['max', 'min', 'count', 'idxmax', 'idxmin'])

結(jié)果如下：

image.png

從結(jié)果看战授，此時(shí)的列索引為多級(jí)索引页藻，第一層為數(shù)據(jù)源，第二層為使用的聚合方法植兰，分別逐一對(duì)列使用聚合份帐，因此結(jié)果為10列。
【b】對(duì)特定的列使用特定的聚合函數(shù)
對(duì)于方法和列的特殊對(duì)應(yīng)楣导，可以通過構(gòu)造字典傳入 agg 中實(shí)現(xiàn)废境，其中字典以列名為鍵，以聚合字符串或字符串列表為值筒繁。

df.groupby('Gender')['Height', 'Weight'].agg({'Height': ['max', 'idxmax'], 'Weight': ['mean', 'count']})

image.png

【c】使用自定義函數(shù)

在 agg 中可以使用具體的自定義函數(shù)噩凹， 需要注意傳入函數(shù)的參數(shù)是之前數(shù)據(jù)源中的列，逐列進(jìn)行計(jì)算 毡咏。下面分組計(jì)算身高和體重的極差：

df.groupby('School')['Weight', 'Height'].agg([lambda x: x.max() - x.min()])

image.png

【d】聚合結(jié)果重命名

如果想要對(duì)聚合結(jié)果的列名進(jìn)行重命名驮宴，只需要將上述函數(shù)的位置改寫成元組，元組的第一個(gè)元素為新的名字呕缭，第二個(gè)位置為原來的函數(shù)堵泽，包括聚合字符串和自定義函數(shù)，現(xiàn)舉例子說明：

df.groupby('School')['Weight', 'Height'].agg([('range', lambda x: x.max() - x.min())])

image.png

3.2 變換函數(shù)與transfrom方法

變換函數(shù)的返回值為同長(zhǎng)度的序列恢总，最常用的內(nèi)置變換函數(shù)是累計(jì)函數(shù)： cumcount/cumsum/cumprod/cummax/cummin ，它們的使用方式和聚合函數(shù)類似片仿，只不過完成的是組內(nèi)累計(jì)操作佳谦。
各個(gè)函數(shù)的意義如下：
cumsum(): 依次給出前1、2滋戳、… 钻蔑、n個(gè)數(shù)的和
cumprod(): : 依次給出前1、2奸鸯、… 咪笑、n個(gè)數(shù)的積
cummax()： 依次給出前1、2娄涩、… 窗怒、n個(gè)數(shù)的最大值
cummin()： 依次給出前1映跟、2、… 扬虚、n個(gè)數(shù)的最小值

df.groupby('Gender')['Height', 'Weight'].cumsum().head(7)
>>>
    Height  Weight
0   158.9   46.0
1   166.5   70.0
2   355.4   159.0
3   NaN 87.0
4   529.4   233.0
5   316.9   138.0
6   479.4   190.0

當(dāng)用自定義變換時(shí)需要使用 transform 方法努隙，被調(diào)用的自定義函數(shù)， 其傳入值為數(shù)據(jù)源的序列 辜昵，與 agg 的傳入類型是一致的荸镊，其最后的返回結(jié)果是行列索引與數(shù)據(jù)源一致的 DataFrame 。
例如現(xiàn)對(duì)身高和體重進(jìn)行分組標(biāo)準(zhǔn)化堪置，即減去組均值后除以組的標(biāo)準(zhǔn)差：

df.groupby('Gender')['Height', 'Weight'].transform(lambda x: (x-x.mean())/x.std()).head(7)
>>>
Height  Weight
0   -0.058760   -0.354888
1   -1.010925   -0.355000
2   2.167063    2.089498
3   NaN -1.279789
4   0.053133    0.159631
5   -0.236837   0.570013
6   0.653550    0.754993

3.3 過濾

首先明確一下索引和過濾的區(qū)別

過濾在分組中是對(duì)于組的過濾躬存，而索引是對(duì)于行的過濾，在第二章中的返回值舀锨，無論是布爾列表還是元素列表或者位置列表岭洲，本質(zhì)上都是對(duì)于行的篩選，即如果符合篩選條件的則選入結(jié)果表坎匿，否則不選入盾剩。

組過濾作為行過濾的推廣，指的是如果對(duì)一個(gè)組的全體所在行進(jìn)行統(tǒng)計(jì)的結(jié)果返回 True 則會(huì)被保留替蔬， False 則該組會(huì)被過濾告私，最后把所有未被過濾的組其對(duì)應(yīng)的所在行拼接起來作為 DataFrame 返回。

在 groupby 對(duì)象中进栽，定義了 filter 方法進(jìn)行組的篩選德挣，其中自定義函數(shù)的輸入?yún)?shù)為數(shù)據(jù)源構(gòu)成的 DataFrame 本身恭垦，在之前例子中定義的 groupby 對(duì)象中快毛，傳入的就是 df[['Height', 'Weight']] ，因此所有表方法和屬性都可以在自定義函數(shù)中相應(yīng)地使用番挺，同時(shí)只需保證自定義函數(shù)的返回為布爾值即可唠帝。

4. 練習(xí)：

現(xiàn)有一份汽車數(shù)據(jù)集，其中 Brand, Disp., HP 分別代表汽車品牌玄柏、發(fā)動(dòng)機(jī)排量襟衰、發(fā)動(dòng)機(jī)功率：

car = pd.read_csv('car.csv')
print(car.shape)
car.head()
>>>
(60, 9)
Brand   Price   Country Reliability Mileage Type    Weight  Disp.   HP
0   Eagle Summit 4  8895    USA 4.0 33  Small   2560    97  113
1   Ford Escort 4   7402    USA 2.0 33  Small   2345    114 90
2   Ford Festiva 4  6319    Korea   4.0 37  Small   1845    81  63
3   Honda Civic 4   6635    Japan/USA   5.0 32  Small   2260    91  92
4   Mazda Protege 4 6599    Japan   5.0 32  Small   2440    113 103

問題1： 先過濾出所屬 Country 數(shù)超過2個(gè)的汽車，即若該汽車的 Country 在總體數(shù)據(jù)集中出現(xiàn)次數(shù)不超過2則剔除粪摘， 再按 Country 分組計(jì)算價(jià)格均值瀑晒、價(jià)格變異系數(shù)、該 Country 的汽車數(shù)量徘意， 其中變異系數(shù)的計(jì)算方法是標(biāo)準(zhǔn)差除以均值苔悦，并在結(jié)果中把變異系數(shù)重命名為 CoV
1.1 先按照country分組， 篩選出數(shù)量大于2的汽車品牌

df1 = car.groupby('Country').filter(lambda x: x.shape[0] > 2)
df1.head()

image.png

驗(yàn)證一下是否Country統(tǒng)計(jì)數(shù)據(jù)都大于2：

df1['Country'].value_counts()
>>>
USA          26
Japan        19
Japan/USA     7
Korea         3
Name: Country, dtype: int64

1.2 再按 Country 分組計(jì)算價(jià)格均值椎咧、價(jià)格變異系數(shù)玖详、該 Country 的汽車數(shù)量，
其中汽車的數(shù)量可以統(tǒng)計(jì)任意字段的count即可，因而蟋座，可以值聚合Price列拗踢，
并分別計(jì)算均值，變異系數(shù)向臀，數(shù)量

res = df1.groupby('Country')['Price'].agg(['mean', ('Cov', lambda x: x.std()/x.mean()), 'count'])
res  

image.png

問題2： 按照表中位置的前三分之一巢墅、中間三分之一和后三分之一分組，統(tǒng)計(jì) Price 的均值飒硅。
分析： 構(gòu)建一個(gè)新的序列用于分組砂缩，取值為前20-Front，中間20-middle三娩，后20-back.

# 先創(chuàng)建一個(gè)與原DataFrame等長(zhǎng)的序列耘纱，前20為front, 中間為middle,最后為back
car['position'] = ['front'] * 20 + ['middle'] * 20 + ['back']*20
car.groupby('position')['Price'].mean()
>>>
position
back      15420.65
front      9069.95
middle    13356.40
Name: Price, dtype: float64

問題3： 對(duì)類型 Type 分組熊痴，對(duì) Price 和 HP 分別計(jì)算最大值和最小值，結(jié)果會(huì)產(chǎn)生多級(jí)索引，請(qǐng)用下劃線把多級(jí)列索引合并為單層索引舱污。

type_group = car.groupby('Type')['Price', 'HP'].agg(['max', 'min'])
type_group

image.png

# 使用多級(jí)索引映射
type_group.columns = type_group.columns.map(lambda x: '_'.join(x))
type_group

image.png

問題4. 對(duì)類型 Type 分組，對(duì) HP 進(jìn)行組內(nèi)的 min-max 歸一化姥闪。

df2 = car.groupby('Type')['HP'].transform(lambda x:(x-x.min())/(x.max()-x.min()))
df2.head(5)
>>>
0    1.00
1    0.54
2    0.00
3    0.58
4    0.80
Name: HP, dtype: float64

問題5： 對(duì)類型 Type 分組蛔溃，計(jì)算 Disp. 與 HP 的相關(guān)系數(shù)。

car.groupby('Type')[['Disp.','HP']].apply(lambda x:np.corrcoef(x['Disp.'].values,x.HP.values)[0,1])
>>>
Type
Compact    0.586087
Large     -0.242765
Medium     0.370491
Small      0.603916
Sporty     0.871426
Van        0.819881
dtype: float64