Python數(shù)據(jù)處理小技巧:pivot_table后如何拍平columns

機(jī)器學(xué)習(xí)的過程中很多時(shí)候需要用到類似透視表的功能。Pandas提供了pivot和pivot_table實(shí)現(xiàn)透視表功能奏纪。相對(duì)比而言缅糟,pivot_table更加強(qiáng)大堵漱,在實(shí)現(xiàn)透視表的時(shí)候可以進(jìn)行聚類等操作。

pivot_table幫助地址:

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.pivot_table.html

官方給的幾個(gè)例子:

>>> df = pd.DataFrame({"A": ["foo", "foo", "foo", "foo", "foo",

...? ? ? ? ? ? ? ? ? ? ? ? ? "bar", "bar", "bar", "bar"],

...? ? ? ? ? ? ? ? ? ? "B": ["one", "one", "one", "two", "two",

...? ? ? ? ? ? ? ? ? ? ? ? ? "one", "one", "two", "two"],

...? ? ? ? ? ? ? ? ? ? "C": ["small", "large", "large", "small",

...? ? ? ? ? ? ? ? ? ? ? ? ? "small", "large", "small", "small",

...? ? ? ? ? ? ? ? ? ? ? ? ? "large"],

...? ? ? ? ? ? ? ? ? ? "D": [1, 2, 2, 3, 3, 4, 5, 6, 7],

...? ? ? ? ? ? ? ? ? ? "E": [2, 4, 5, 5, 6, 6, 8, 9, 9]})

>>> df

A? ? B? ? ? C? D? E

0? foo? one? small? 1? 2

1? foo? one? large? 2? 4

2? foo? one? large? 2? 5

3? foo? two? small? 3? 5

4? foo? two? small? 3? 6

5? bar? one? large? 4? 6

6? bar? one? small? 5? 8

7? bar? two? small? 6? 9

8? bar? two? large? 7? 9

This first example aggregates values by taking the sum.

>>> table = pd.pivot_table(df, values='D', index=['A', 'B'],

...? ? ? ? ? ? ? ? ? ? columns=['C'], aggfunc=np.sum)

>>> table

C? ? ? ? large? small

A? B

bar one? ? 4.0? ? 5.0

two? ? 7.0? ? 6.0

foo one? ? 4.0? ? 1.0

two? ? NaN? ? 6.0

We can also fill missing values using the?fill_value?parameter.

>>> table = pd.pivot_table(df, values='D', index=['A', 'B'],

...? ? ? ? ? ? ? ? ? ? columns=['C'], aggfunc=np.sum, fill_value=0)

>>> table

C? ? ? ? large? small

A? B

bar one? ? ? 4? ? ? 5

two? ? ? 7? ? ? 6

foo one? ? ? 4? ? ? 1

two? ? ? 0? ? ? 6

The next example aggregates by taking the mean across multiple columns.

>>> table = pd.pivot_table(df, values=['D', 'E'], index=['A', 'C'],

...? ? ? ? ? ? ? ? ? ? aggfunc={'D': np.mean,

...? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 'E': np.mean})

>>> table

D? ? ? ? E

A? C

bar large? 5.500000? 7.500000

small? 5.500000? 8.500000

foo large? 2.000000? 4.500000

small? 2.333333? 4.333333

We can also calculate multiple types of aggregations for any given value column.

>>> table = pd.pivot_table(df, values=['D', 'E'], index=['A', 'C'],

...? ? ? ? ? ? ? ? ? ? aggfunc={'D': np.mean,

...? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 'E': [min, max, np.mean]})

>>> table

D? ? E

mean? max? ? ? mean? min

A? C

bar large? 5.500000? 9.0? 7.500000? 6.0

small? 5.500000? 9.0? 8.500000? 8.0

foo large? 2.000000? 5.0? 4.500000? 4.0

small? 2.333333? 6.0? 4.333333? 2.0

現(xiàn)在的一個(gè)問題是莱找,處理后的dataframe的columns是多層的酬姆,例如最后一個(gè)例子的columns是這個(gè)樣子的:

table.columns:

MultiIndex(levels=[['D', 'E'], ['max', 'mean', 'min']],

labels=[[0, 1, 1, 1], [1, 0, 1, 2]])

為了后續(xù)的運(yùn)算,我們經(jīng)常希望它能簡化奥溺,便于處理辞色。也就是說吧columns拍平。大家可以這么處理:

table.columns =[s1 +'_'+ str(s2) for (s1,s2) in table.columns.tolist()]

table.reset_index(inplace=True)

效果如下:

table.columns

Index(['A', 'C', 'D_mean', 'E_max', 'E_mean', 'E_min'], dtype='object')

?

整個(gè)案例效果:

?

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末浮定,一起剝皮案震驚了整個(gè)濱河市相满,隨后出現(xiàn)的幾起案子诱篷,更是在濱河造成了極大的恐慌,老刑警劉巖雳灵,帶你破解...
    沈念sama閱讀 212,383評(píng)論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件棕所,死亡現(xiàn)場離奇詭異,居然都是意外死亡悯辙,警方通過查閱死者的電腦和手機(jī)琳省,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,522評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來躲撰,“玉大人针贬,你說我怎么就攤上這事÷5埃” “怎么了桦他?”我有些...
    開封第一講書人閱讀 157,852評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵,是天一觀的道長谆棱。 經(jīng)常有香客問我快压,道長,這世上最難降的妖魔是什么垃瞧? 我笑而不...
    開封第一講書人閱讀 56,621評(píng)論 1 284
  • 正文 為了忘掉前任蔫劣,我火速辦了婚禮,結(jié)果婚禮上个从,老公的妹妹穿的比我還像新娘脉幢。我一直安慰自己,他們只是感情好嗦锐,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,741評(píng)論 6 386
  • 文/花漫 我一把揭開白布嫌松。 她就那樣靜靜地躺著,像睡著了一般奕污。 火紅的嫁衣襯著肌膚如雪萎羔。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,929評(píng)論 1 290
  • 那天菊值,我揣著相機(jī)與錄音外驱,去河邊找鬼。 笑死腻窒,一個(gè)胖子當(dāng)著我的面吹牛昵宇,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播儿子,決...
    沈念sama閱讀 39,076評(píng)論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼瓦哎,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起蒋譬,我...
    開封第一講書人閱讀 37,803評(píng)論 0 268
  • 序言:老撾萬榮一對(duì)情侶失蹤割岛,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后犯助,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體癣漆,經(jīng)...
    沈念sama閱讀 44,265評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,582評(píng)論 2 327
  • 正文 我和宋清朗相戀三年剂买,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了惠爽。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,716評(píng)論 1 341
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡瞬哼,死狀恐怖婚肆,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情坐慰,我是刑警寧澤较性,帶...
    沈念sama閱讀 34,395評(píng)論 4 333
  • 正文 年R本政府宣布,位于F島的核電站结胀,受9級(jí)特大地震影響赞咙,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜把跨,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 40,039評(píng)論 3 316
  • 文/蒙蒙 一人弓、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧着逐,春花似錦、人聲如沸意蛀。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,798評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽县钥。三九已至秀姐,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間若贮,已是汗流浹背省有。 一陣腳步聲響...
    開封第一講書人閱讀 32,027評(píng)論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留谴麦,地道東北人蠢沿。 一個(gè)月前我還...
    沈念sama閱讀 46,488評(píng)論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像匾效,于是被迫代替她去往敵國和親舷蟀。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,612評(píng)論 2 350

推薦閱讀更多精彩內(nèi)容