官方網(wǎng)址：https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.aggregate.html
目的
該篇文章主要線路為探索agg的基本用法斩启，以及對(duì)應(yīng)有哪些適用場(chǎng)景，最后做一個(gè)簡(jiǎn)單探索源代碼層酬姆。
1勤庐、介紹agg的參數(shù)及使用demo
2示惊、GroupBy的agg用法案例
3、通過查看底層推演agg的路線原理
1愉镰、介紹agg的參數(shù)及使用demo
agg是aggregate的別名
DataFrame.aggregate(func=None, axis=0, args,kwargs)
| 參數(shù)名 | 解釋 | 傳參格式 | 例如 |
|---|---|---|---|
| func | 用于匯總數(shù)據(jù)的功能米罚。如果是函數(shù)，則必須在傳遞DataFrame或傳遞給DataFrame.apply時(shí)起作用丈探。 | 函數(shù)录择，str，列表或字典 | [np.sum, 'mean'] |
| axis | 如果為0或'index'：將函數(shù)應(yīng)用于每一列。如果為1或“列”：將函數(shù)應(yīng)用于每一行糊肠。 | {0或'index'辨宠，1或'columns'}，默認(rèn)0 | 1 |
它會(huì)return的數(shù)據(jù)類型一般為：標(biāo)量（值）货裹、Series嗤形、DataFrame三種。
對(duì)應(yīng)可以使用
標(biāo)量：使用單個(gè)函數(shù)調(diào)用Series.agg
Series：使用單個(gè)函數(shù)調(diào)用DataFrame.agg
DaFrame:使用多個(gè)函數(shù)調(diào)用DataFrame.agg
返回例子
標(biāo)量
s_df = pd.Series([1,2,3])
print(s_df)
print(s_df.agg(sum))
---------return----------
0 1
1 2
2 3
dtype: int64
6
Seires
df = pd.DataFrame([[1, 2, 3],
[4, 5, 6],
[7, 8, 9],
[np.nan, np.nan, np.nan]],
columns=['A', 'B', 'C'])
print(df)
-----return------
A B C
0 1.0 2.0 3.0
1 4.0 5.0 6.0
2 7.0 8.0 9.0
3 NaN NaN NaN
print(df.agg(sum))
----return------
A 12.0
B 15.0
C 18.0
dtype: float64
DataFrame
# 在行上匯總這些功能
print(df.agg(['sum', 'min'])
----return----
A B C
sum 12.0 15.0 18.0
min 1.0 2.0 3.0
# 每列不同的聚合
print(df.agg({'A' : ['sum', 'min'], 'B' : ['min', 'max']}))
----return----
A B
sum 12.0 NaN
min 1.0 2.0
max NaN 8.0
# 在列上聚合不同的函數(shù)弧圆，然后重命名結(jié)果DataFrame的索引
print(df.agg(x=('A', max), y=('B', 'min'), z=('C', np.mean)))
----return----
A B C
x 7.0 NaN NaN
y NaN 2.0 NaN
z NaN NaN 6.0
2赋兵、GroupBy的agg用法案例
數(shù)據(jù)構(gòu)造
import pandas as pd
df = pd.DataFrame({'Country':['China','China', 'India', 'India', 'America', 'Japan', 'China', 'India'],
'Income':[10000, 10000, 5000, 5002, 40000, 50000, 8000, 5000],
'Age':[5000, 4321, 1234, 4010, 250, 250, 4500, 4321]})
----return----
Age Country Income
0 5000 China 10000
1 4321 China 10000
2 1234 India 5000
3 4010 India 5002
4 250 America 40000
5 250 Japan 50000
6 4500 China 8000
7 4321 India 5000
接下來會(huì)按照城市分組，用print()方法給認(rèn)知groupby的分組邏輯
df.groupby(['Country']).apply(lambda x: print(x,type(x)))
----print----
Country Income Age
4 America 40000 250 <class 'pandas.core.frame.DataFrame'>
Country Income Age
0 China 10000 5000
1 China 10000 4321
6 China 8000 4500 <class 'pandas.core.frame.DataFrame'>
Country Income Age
2 India 5000 1234
3 India 5002 4010
7 India 5000 4321 <class 'pandas.core.frame.DataFrame'>
Country Income Age
5 Japan 50000 250 <class 'pandas.core.frame.DataFrame'>
這兒其實(shí)就很清晰了搔预，分組里面的結(jié)果就是一個(gè)個(gè)分組后的DataFrame霹期。所以針對(duì)Groupby后agg的用法，就是DataFrame.agg的用法拯田，不用額外說什么历造，照樣是 列表、字典 形式傳入船庇。
列表傳參
df_agg = df.groupby('Country').agg(['min', 'mean', 'max'])
print(df_agg)
----print----
Income Age
min mean max min mean max
Country
America 40000 40000.000000 40000 250 250.000000 250
China 8000 9333.333333 10000 4321 4607.000000 5000
India 5000 5000.666667 5002 1234 3188.333333 4321
Japan 50000 50000.000000 50000 250 250.000000 250
字典傳參
print(df.groupby('Country').agg({'Age':['min', 'mean', 'max'], 'Income':['min', 'max']}))
---print---
Age Income
min mean max min max
Country
America 250 250.000000 250 40000 40000
China 4321 4607.000000 5000 8000 10000
India 1234 3188.333333 4321 5000 5002
Japan 250 250.000000 250 50000 50000
==總結(jié)：==首先了解agg能傳什么形式的func吭产，再清晰groupby的形式，就知道groupy+agg結(jié)合起來的用法鸭轮。
3臣淤、通過查看底層推演agg的路線原理
為什么要查看這個(gè)底層呢？主要是對(duì)傳func時(shí)候窃爷，遇到的這幾種傳參產(chǎn)生好奇邑蒋，想要知道為什么能這樣子傳，追根朔源按厘。
這幾種傳參指的是：
df = pd.DataFrame([[1, 2, 3],
[4, 5, 6],
[7, 8, 9],
[np.nan, np.nan, np.nan]],
columns=['A', 'B', 'C'])
print(df.agg([sum, 'sum', np.sum]))
------print-----
A B C
sum 12.0 15.0 18.0
sum 12.0 15.0 18.0
sum 12.0 15.0 18.0
sum医吊、"sum"、np.sum的作用效果一樣刻剥，它們的表達(dá)形式不同遮咖。
開始查閱底層代碼
1、agg = aggregate 造虏， agg是aggregate的別名御吞，因?yàn)橐婚_始底層代碼就有這條賦值語(yǔ)句。
2漓藕、agg其實(shí)就是調(diào)用apply函數(shù)陶珠，也就是apply函數(shù)能用的它也能用
做個(gè)測(cè)試看看，返回的結(jié)果是一樣的享钞。
print(df.apply([sum, 'sum', np.sum])) ----return---- A B C sum 12.0 15.0 18.0 sum 12.0 15.0 18.0 sum 12.0 15.0 18.0
3揍诽、所以sum诀蓉、‘sum’、np.sum 重點(diǎn)是 func 傳參解析的作用暑脆，而不是函數(shù)本身作用渠啤。
找一下有關(guān)func的注釋
func : function
Function to apply to each column or row.
# 解釋 函數(shù)能用于行或列而已
If you are just applying a NumPy reduction function this will
achieve much better performance.
# 這兒就說如果用numpy的函數(shù)，能有更好表現(xiàn)添吗，可以說明np.sum 與 sum 是調(diào)用不同模塊的函數(shù)
找了半天沥曹，雖然猜測(cè)是 ‘sum’轉(zhuǎn)為sum使用了，但是仍沒找到碟联，所以嘗試一下這樣子妓美。
4、_try_aggregate_string_function 找到轉(zhuǎn)化的原因鲤孵！
print(df.apply([sum, 'sum', np.sum,'np.sum']))
----error----
...
File "D:\r\Anaconda3\lib\site-packages\pandas\core\series.py", line 3688, in aggregate
result, how = self._aggregate(func, *args, **kwargs)
File "D:\r\Anaconda3\lib\site-packages\pandas\core\base.py", line 477, in _aggregate
return self._aggregate_multiple_funcs(arg, _axis=_axis), None
File "D:\r\Anaconda3\lib\site-packages\pandas\core\base.py", line 507, in _aggregate_multiple_funcs
new_res = colg.aggregate(a)
File "D:\r\Anaconda3\lib\site-packages\pandas\core\series.py", line 3688, in aggregate
result, how = self._aggregate(func, *args, **kwargs)
File "D:\r\Anaconda3\lib\site-packages\pandas\core\base.py", line 311, in _aggregate
return self._try_aggregate_string_function(arg, *args, **kwargs), None
File "D:\r\Anaconda3\lib\site-packages\pandas\core\base.py", line 282, in _try_aggregate_string_function
f"'{arg}' is not a valid function for '{type(self).__name__}' object"
AttributeError: 'np.sum' is not a valid function for 'Series' object
重點(diǎn)看_try_aggregate_string_function的報(bào)錯(cuò)壶栋。
該函數(shù)如下
def _try_aggregate_string_function(self, arg: str, *args, **kwargs):
"""
if arg is a string, then try to operate on it:
- try to find a function (or attribute) on ourselves
- try to find a numpy function
- raise
"""
assert isinstance(arg, str)
f = getattr(self, arg, None) # 再這里轉(zhuǎn)化的
if f is not None:
if callable(f):
return f(*args, **kwargs)
# people may try to aggregate on a non-callable attribute
# but don't let them think they can pass args to it
assert len(args) == 0
assert len([kwarg for kwarg in kwargs if kwarg not in ["axis"]]) == 0
return f
f = getattr(np, arg, None)
if f is not None:
if hasattr(self, "__array__"):
# in particular exclude Window
return f(self, *args, **kwargs)
raise AttributeError(
f"'{arg}' is not a valid function for '{type(self).__name__}' object"
)
轉(zhuǎn)化的函數(shù)是這個(gè)f = getattr(np, arg, None)，它能找到對(duì)應(yīng)是否有函數(shù)普监，注釋也有說贵试，如果arg是string格式，會(huì)去尋找它本身是否有這個(gè)函數(shù)鹰椒，找不到再去尋找numpy模塊的锡移，再找不到就報(bào)錯(cuò)。
