2021-06-19

數(shù)據(jù)重構(gòu)

1)concat()函數(shù)能夠沿指定軸執(zhí)行連接操作,同時對其他軸上的索引執(zhí)行可選的集合運算(交集或并集)

pd.concat(? objs,

? ? ? ? ? ? ? ? ? ?axis=0,

? ? ? ? ? ? ? ? ? ?join = 'outer',

? ? ? ? ? ? ? ? ? ?ignore_index=False,

? ? ? ? ? ? ? ? ? ?keys=None,

? ? ? ? ? ? ? ? ? levels=None,

? ? ? ? ? ? ? ? ? names=None,

? ? ? ? ? ? ? ? ? verify_integrity = False,

? ? ? ? ? ? ? ? ? copy = True,

)

objs:需要連接的Series或DataFrame對象列表或字典跋破,如果傳入的是字典簸淀,排序后的鍵將作為keys參數(shù)的值,除非? ? ? ? ?keys參數(shù)已經(jīng)指定了毒返,任何None對象都將被無聲丟棄租幕,如果他們?nèi)慷际荖one,在這種情況下,將會拋出? ? ? ? ? ? ? ? ValueError異常拧簸;

axis:(0劲绪,1,2盆赤,贾富。。弟劲。)祷安,默認為0,沿著對應(yīng)的軸進行連接兔乞;

join:{‘inner’汇鞭,‘outer’},如何處理其他軸上的索引庸追,默認為outer

霍骄。。淡溯。读整。。

今天的任務(wù)就是通過設(shè)置axis=1咱娶,實現(xiàn)對列的連接(上下連接)米间,axis=0强品,實現(xiàn)對行的連接(左右連接)

2)使用append連接

? ?append可以視為axis=0的,簡單版concat屈糊,也就是說它只支持行拼接的榛,同時比concat簡便一些。這里要注意和concat的區(qū)別逻锐,concat是pd的屬性夫晌,頻pd.concat(),而append是對df的方法,df1.append(df2)

3)使用merge連接

merge(left,right,how='inner',on=None,left_on=None,right_on=None,left_index=False,right_index=False,sort=True昧诱,suffixes=('_x','_y'),copy=True,indicator=Flase)

left,right:兩個不同的DataFrame晓淀;

how:指的是合并(連接)的方式有inner(內(nèi)連接)、left(左外連接)盏档、right(右外連接)凶掰、outer(全外連? ?接),默認為inner妆丘;

on:指的是用于連接的列索引名稱锄俄,必須存在左右兩個DataFrame對象中,如果沒有指定且其他參數(shù)也為指定則以兩個DATa Frame的列名交集作為連接鍵

left_on:左則DataFrame中用作連接鍵的列名勺拣,這個參數(shù)中左右列名不相同,但代表的含義相同時非常有用鱼填。

right_on:左則DataFrame中用作連接鍵的列名

药有。。苹丸。愤惰。。

merge的特征:默認以重疊列名當作連接鍵赘理、默認是INNer Join宦言、可以多鍵連接,‘on’參數(shù)后傳入多鍵列表即可商模、如果兩個對象的列表不同奠旺,可以用left_on,right_on指定、也可以用行索引當連接鍵施流,使用參數(shù)left_index=True,righe_index=True,但這種情況下最好用JOIN响疚。

4)使用Join連接

類似于append之于concat,join也可以理解為merge的一個簡便并且特殊的方法瞪醋,join也可以設(shè)置參數(shù)‘how’忿晕,只不過這里默認值不同,Merge中银受,‘how’默認值是‘inner’践盼,join中的默認值‘left’

對比總結(jié):(摘:多姆楊 記錄pandas中多表合并(concat鸦采,append,merge咕幻,join)的一些問題)

1.concat和append可以實現(xiàn)的是表間‘拼接’渔伯,而merge和join則實現(xiàn)的標間‘合并’。區(qū)別在于是否基于‘鍵’來進行合并谅河。如果只是簡單地‘堆砌’咱旱,則用從cat和append比較合適,而如果遇到關(guān)聯(lián)表绷耍,需要根據(jù)‘鍵’來合并吐限,則用merge和join。

2.concatenate和merge是pandas的屬性褂始,所以調(diào)用時寫成pd.concat()或者pd.merge();而append和join是DataFrame的方法诸典,df.append()或者df.join()

3.append只能實現(xiàn)行拼接,從這個觀點來看崎苗,concatenate的功能更加強大狐粱,理論上append可以完成的操作concat都可以完成,只需要更改相應(yīng)的參數(shù)即可胆数。

4.類似于append之于concat肌蜻,join可以完成的操作merge也都可以完成,因此merge更加強大必尼。

5.append和join存在的意義在于簡潔和易用蒋搜。

6.最關(guān)鍵地,concat后面的對于df的參數(shù)形式是objs判莉,這個objs可以是一個列表或集合豆挽,里面可以有很多個df;而merge后面跟的參數(shù)形式是left和right券盅,只有兩個df帮哈。因此concat其實可以快速實現(xiàn)多表的拼接,而merge只能實現(xiàn)兩表的合并锰镀。

stack方法可將列轉(zhuǎn)為行娘侍;

GroupBy技術(shù):在日常的數(shù)據(jù)分析中,經(jīng)常需要將數(shù)據(jù)根據(jù)某個(多個)字段劃分為不同的群體(Group)進行分析互站。groupby的過程就是將原有的DataFrame按照groupby的字段劃分為若干個分組DataFrame私蕾,以后的一系列操作(agg、apply等)胡桃,均是基于子DATa Frame操作的踩叭。

agg聚合操作:求和、均值、最大值容贝、最小值等自脯;

df = text['Fare'].groupby(text['Sex'])

list(df):可見將分組后對象進行l(wèi)ist轉(zhuǎn)化,可以看到分組情況斤富;

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末膏潮,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子满力,更是在濱河造成了極大的恐慌焕参,老刑警劉巖,帶你破解...
    沈念sama閱讀 210,914評論 6 490
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件油额,死亡現(xiàn)場離奇詭異叠纷,居然都是意外死亡,警方通過查閱死者的電腦和手機潦嘶,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 89,935評論 2 383
  • 文/潘曉璐 我一進店門涩嚣,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人掂僵,你說我怎么就攤上這事航厚。” “怎么了锰蓬?”我有些...
    開封第一講書人閱讀 156,531評論 0 345
  • 文/不壞的土叔 我叫張陵幔睬,是天一觀的道長。 經(jīng)常有香客問我芹扭,道長溪窒,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,309評論 1 282
  • 正文 為了忘掉前任冯勉,我火速辦了婚禮,結(jié)果婚禮上摹芙,老公的妹妹穿的比我還像新娘灼狰。我一直安慰自己,他們只是感情好浮禾,可當我...
    茶點故事閱讀 65,381評論 5 384
  • 文/花漫 我一把揭開白布交胚。 她就那樣靜靜地躺著,像睡著了一般盈电。 火紅的嫁衣襯著肌膚如雪蝴簇。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,730評論 1 289
  • 那天匆帚,我揣著相機與錄音熬词,去河邊找鬼。 笑死,一個胖子當著我的面吹牛互拾,可吹牛的內(nèi)容都是我干的歪今。 我是一名探鬼主播,決...
    沈念sama閱讀 38,882評論 3 404
  • 文/蒼蘭香墨 我猛地睜開眼颜矿,長吁一口氣:“原來是場噩夢啊……” “哼寄猩!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起骑疆,我...
    開封第一講書人閱讀 37,643評論 0 266
  • 序言:老撾萬榮一對情侶失蹤田篇,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后箍铭,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體泊柬,經(jīng)...
    沈念sama閱讀 44,095評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,448評論 2 325
  • 正文 我和宋清朗相戀三年坡疼,在試婚紗的時候發(fā)現(xiàn)自己被綠了彬呻。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,566評論 1 339
  • 序言:一個原本活蹦亂跳的男人離奇死亡柄瑰,死狀恐怖闸氮,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情教沾,我是刑警寧澤蒲跨,帶...
    沈念sama閱讀 34,253評論 4 328
  • 正文 年R本政府宣布,位于F島的核電站授翻,受9級特大地震影響或悲,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜堪唐,卻給世界環(huán)境...
    茶點故事閱讀 39,829評論 3 312
  • 文/蒙蒙 一巡语、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧淮菠,春花似錦男公、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,715評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至拥知,卻和暖如春踏拜,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背低剔。 一陣腳步聲響...
    開封第一講書人閱讀 31,945評論 1 264
  • 我被黑心中介騙來泰國打工速梗, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留肮塞,地道東北人。 一個月前我還...
    沈念sama閱讀 46,248評論 2 360
  • 正文 我出身青樓镀琉,卻偏偏與公主長得像峦嗤,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子屋摔,可洞房花燭夜當晚...
    茶點故事閱讀 43,440評論 2 348

推薦閱讀更多精彩內(nèi)容