Pandas合并和組合操作

在實際應(yīng)用中秃踩,pandas的concat/merge方法以及groupby方法用的比較多判导,這里通過實例進(jìn)行簡要的介紹恃锉,本次內(nèi)容主要介紹合并方法棺牧。
內(nèi)容翻譯自:http://pandas.pydata.org/pandas-docs/stable/merging.html#merging

concat

先來看一下concat方法的原型

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
          keys=None, levels=None, names=None, verify_integrity=False,
          copy=True)

只看前三個:

  • objs: series,dataframe或者是panel構(gòu)成的序列l(wèi)sit
  • axis: 需要合并的軸犹菱,0是行拾稳,1是列
  • join:連接的方式 inner,或者outer
    例1:
In [1]: df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
   ...:                     'B': ['B0', 'B1', 'B2', 'B3'],
   ...:                     'C': ['C0', 'C1', 'C2', 'C3'],
   ...:                     'D': ['D0', 'D1', 'D2', 'D3']},
   ...:                     index=[0, 1, 2, 3])
   ...: 

In [2]: df2 = pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'],
   ...:                     'B': ['B4', 'B5', 'B6', 'B7'],
   ...:                     'C': ['C4', 'C5', 'C6', 'C7'],
   ...:                     'D': ['D4', 'D5', 'D6', 'D7']},
   ...:                      index=[4, 5, 6, 7])
   ...: 

In [3]: df3 = pd.DataFrame({'A': ['A8', 'A9', 'A10', 'A11'],
   ...:                     'B': ['B8', 'B9', 'B10', 'B11'],
   ...:                     'C': ['C8', 'C9', 'C10', 'C11'],
   ...:                     'D': ['D8', 'D9', 'D10', 'D11']},
   ...:                     index=[8, 9, 10, 11])
   ...: 

In [4]: frames = [df1, df2, df3]

In [5]: result = pd.concat(frames)
例1

如果需要指明具體的數(shù)據(jù)來自哪一個“分片”腊脱,可以加入keys屬性访得,例2:

In [6]: result = pd.concat(frames, keys=['x', 'y', 'z'])
例2

可以看到結(jié)果多了一個分層索引,即最左邊一列陕凹,我們可以通過以下方式對其引用:

In [7]: result.loc['y']
Out[7]: 
    A   B   C   D
4  A4  B4  C4  D4
5  A5  B5  C5  D5
6  A6  B6  C6  D6
7  A7  B7  C7  D7

當(dāng)然也可以加上axis屬性悍抑,即確定合并的具體軸,例3:

In [8]: df4 = pd.DataFrame({'B': ['B2', 'B3', 'B6', 'B7'],
   ...:                  'D': ['D2', 'D3', 'D6', 'D7'],
   ...:                  'F': ['F2', 'F3', 'F6', 'F7']},
   ...:                 index=[2, 3, 6, 7])
   ...: 

In [9]: result = pd.concat([df1, df4], axis=1)
例3

可以看到此時jion的方式為outer杜耙,在并集上原來沒有元素的片上用np.nan填充搜骡,這也是pandas的一致做法。
同樣可以指定join的方式佑女,inner交集 or outer并集记靡,例4:

In [10]: result = pd.concat([df1, df4], axis=1, join='inner')
例4

最后我們當(dāng)然也可以指定具體用哪個分片的index,例5:

In [11]: result = pd.concat([df1, df4], axis=1, join_axes=[df1.index])
例5

merge

首先看一下merge函數(shù)的原型

pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None,
         left_index=False, right_index=False, sort=True,
         suffixes=('_x', '_y'), copy=True, indicator=False,
         validate=None)
  • left团驱,right:需要merge的DataFrame對象
  • how:jion的方式摸吠,inner(默認(rèn)),outer嚎花,left(左邊對象的key)寸痢,或者right
  • on:jion用來對齊的那一列的名字

首先來看一個簡單的例子,例6:

In [38]: left = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
   ....:                      'A': ['A0', 'A1', 'A2', 'A3'],
   ....:                      'B': ['B0', 'B1', 'B2', 'B3']})
   ....: 

In [39]: right = pd.DataFrame({'key': ['K0', 'K1', 'K2', 'K3'],
   ....:                       'C': ['C0', 'C1', 'C2', 'C3'],
   ....:                       'D': ['D0', 'D1', 'D2', 'D3']})
   ....: 

In [40]: result = pd.merge(left, right, on='key')
例6

也可以指定多個jion key紊选,例7:

In [41]: left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
   ....:                      'key2': ['K0', 'K1', 'K0', 'K1'],
   ....:                      'A': ['A0', 'A1', 'A2', 'A3'],
   ....:                      'B': ['B0', 'B1', 'B2', 'B3']})
   ....: 

In [42]: right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
   ....:                       'key2': ['K0', 'K0', 'K0', 'K0'],
   ....:                       'C': ['C0', 'C1', 'C2', 'C3'],
   ....:                       'D': ['D0', 'D1', 'D2', 'D3']})
   ....: 

In [43]: result = pd.merge(left, right, on=['key1', 'key2'])
例7

也可以通過how指定merge的方式啼止,例8:

In [44]: result = pd.merge(left, right, how='left', on=['key1', 'key2'])
例8
In [45]: result = pd.merge(left, right, how='inner', on=['key1', 'key2'])
例9
In [46]: result = pd.merge(left, right, how='outer', on=['key1', 'key2'])
例10

再來一個重復(fù)連接鍵的例子,例11:

In [48]: left = pd.DataFrame({'A' : [1,2], 'B' : [2, 2]})

In [49]: right = pd.DataFrame({'A' : [4,5,6], 'B': [2,2,2]})

In [50]: result = pd.merge(left, right, on='B', how='outer')
例11
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末丛楚,一起剝皮案震驚了整個濱河市族壳,隨后出現(xiàn)的幾起案子憔辫,更是在濱河造成了極大的恐慌趣些,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,639評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件贰您,死亡現(xiàn)場離奇詭異坏平,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)锦亦,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評論 3 385
  • 文/潘曉璐 我一進(jìn)店門舶替,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人杠园,你說我怎么就攤上這事顾瞪。” “怎么了?”我有些...
    開封第一講書人閱讀 157,221評論 0 348
  • 文/不壞的土叔 我叫張陵陈醒,是天一觀的道長惕橙。 經(jīng)常有香客問我,道長钉跷,這世上最難降的妖魔是什么弥鹦? 我笑而不...
    開封第一講書人閱讀 56,474評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮爷辙,結(jié)果婚禮上彬坏,老公的妹妹穿的比我還像新娘。我一直安慰自己膝晾,他們只是感情好栓始,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著血当,像睡著了一般混滔。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上歹颓,一...
    開封第一講書人閱讀 49,816評論 1 290
  • 那天坯屿,我揣著相機(jī)與錄音,去河邊找鬼巍扛。 笑死领跛,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的撤奸。 我是一名探鬼主播吠昭,決...
    沈念sama閱讀 38,957評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼胧瓜!你這毒婦竟也來了矢棚?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,718評論 0 266
  • 序言:老撾萬榮一對情侶失蹤府喳,失蹤者是張志新(化名)和其女友劉穎蒲肋,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體钝满,經(jīng)...
    沈念sama閱讀 44,176評論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡兜粘,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了弯蚜。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片孔轴。...
    茶點(diǎn)故事閱讀 38,646評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖碎捺,靈堂內(nèi)的尸體忽然破棺而出路鹰,到底是詐尸還是另有隱情贷洲,我是刑警寧澤,帶...
    沈念sama閱讀 34,322評論 4 330
  • 正文 年R本政府宣布晋柱,位于F島的核電站恩脂,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏趣斤。R本人自食惡果不足惜俩块,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望浓领。 院中可真熱鬧玉凯,春花似錦、人聲如沸联贩。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,755評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽泪幌。三九已至盲厌,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間祸泪,已是汗流浹背吗浩。 一陣腳步聲響...
    開封第一講書人閱讀 31,987評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留没隘,地道東北人懂扼。 一個月前我還...
    沈念sama閱讀 46,358評論 2 360
  • 正文 我出身青樓,卻偏偏與公主長得像右蒲,于是被迫代替她去往敵國和親阀湿。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評論 2 348

推薦閱讀更多精彩內(nèi)容