Pandas數(shù)據(jù)處理的瑞士軍刀——數(shù)據(jù)分析使用Dataframe就對了

在處理實(shí)際的金融數(shù)據(jù)時(shí)巧号,一個(gè)條數(shù)據(jù)通常包含了多種類型的數(shù)據(jù)族奢,例如,股票的代碼是字符串裂逐,收盤價(jià)是浮點(diǎn)型歹鱼,而成交量是整型等泣栈。在C++中可以實(shí)現(xiàn)為一個(gè)給定結(jié)構(gòu)體作為單元的容器卜高,如向量(vector,C++中的特定數(shù)據(jù)結(jié)構(gòu))南片。在Python中掺涛,pandas包含了高級的數(shù)據(jù)結(jié)構(gòu)Series和DataFrame,使得在Python中處理數(shù)據(jù)變得非常方便疼进、快速和簡單薪缆。

pandas不同的版本之間存在一些不兼容性,為此伞广,我們需要清楚使用的是哪一個(gè)版本的pandas拣帽。

從一般意義上來講,Series可以簡單地被認(rèn)為是一維的數(shù)組嚼锄。Series和一維數(shù)組最主要的區(qū)別在于Series類型具有索引(index)减拭,可以和另一個(gè)編程中常見的數(shù)據(jù)結(jié)構(gòu)哈希(Hash)聯(lián)系起來。

DataFrame是將數(shù)個(gè)Series按列合并而成的二維數(shù)據(jù)結(jié)構(gòu)区丑,每一列單獨(dú)取出來是一個(gè)Series拧粪,這和SQL數(shù)據(jù)庫中取出的數(shù)據(jù)是很類似的。所以沧侥,按列對一個(gè)DataFrame進(jìn)行處理更為方便可霎,用戶在編程時(shí)注意培養(yǎng)按列構(gòu)建數(shù)據(jù)的思維。DataFrame的優(yōu)勢在于可以方便地處理不同類型的列宴杀,因此癣朗,就不要考慮如何對一個(gè)全是浮點(diǎn)數(shù)的DataFrame求逆之類的問題了,處理這種問題還是把數(shù)據(jù)存成NumPy的matrix類型比較便利一些旺罢。

預(yù)覽一下數(shù)據(jù)旷余,dataframe.head()和dataframe.tail()可以查看數(shù)據(jù)的頭五行和尾五行,若需要改變行數(shù)主经,可在括號內(nèi)指定荣暮。

dataframe.describe()提供了DataFrame中純數(shù)值數(shù)據(jù)的統(tǒng)計(jì)信息。

DataFrame提供了兩種形式的排序罩驻。一種是按行列排序穗酥,即按照索引(行名)或者列名進(jìn)行排序,可調(diào)用dataframe.sort_index,指定axis=0表示按索引(行名)排序砾跃,axis=1表示按列名排序骏啰,并可指定升序或者降序;第二種排序是按值排序抽高,可指定列名和排序方式判耕,默認(rèn)的是升序排序。

Series和DataFrame的類函數(shù)提供了一些函數(shù)翘骂,如mean()壁熄、sum()等,指定0按列進(jìn)行碳竟,指定1按行進(jìn)行草丧。

在panda中,Series可以調(diào)用map函數(shù)來對每個(gè)元素應(yīng)用一個(gè)函數(shù)莹桅,DataFrame可以調(diào)用apply函數(shù)對每一列(行)應(yīng)用一個(gè)函數(shù)昌执,applymap對每個(gè)元素應(yīng)用一個(gè)函數(shù)。這里面的函數(shù)可以是用戶自定義的一個(gè)lambda函數(shù)诈泼,也可以是已有的其他函數(shù)懂拾。下例展示了將收盤價(jià)調(diào)整到[0, 1]區(qū)間:
print df[['closePrice']].apply(lambda x: (x - x.min()) / (x.max() - x.min())).head()

使用append可以在Series后添加元素,以及在DataFrame尾部添加一行铐达。

DataFrame另一個(gè)強(qiáng)大的函數(shù)是groupby岖赋,可以十分方便地對數(shù)據(jù)分組處理。

DataFrame可以像在SQL中一樣娶桦。

pandas數(shù)據(jù)直接可以繪圖查看贾节。
set_index('tradeDate')['closePrice']表示將DataFrame的'tradeDate'這一列作為索引,將'closePrice'這一列作為Series的值衷畦,返回一個(gè)Series對象栗涂,隨后調(diào)用plot函數(shù)繪圖,更多的參數(shù)可以在matplotlib的文檔中查看祈争。
dat = df[df['secID'] == '600028.XSHG'].set_index('tradeDate')['closePrice']
dat.plot(title="Close Price of SINOPEC (600028) during Jan, 2015")

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末斤程,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子菩混,更是在濱河造成了極大的恐慌忿墅,老刑警劉巖,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件沮峡,死亡現(xiàn)場離奇詭異疚脐,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)邢疙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進(jìn)店門棍弄,熙熙樓的掌柜王于貴愁眉苦臉地迎上來望薄,“玉大人,你說我怎么就攤上這事呼畸±暄荩” “怎么了灌闺?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵,是天一觀的道長召锈。 經(jīng)常有香客問我民宿,道長叮阅,這世上最難降的妖魔是什么衷掷? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任琳彩,我火速辦了婚禮,結(jié)果婚禮上框全,老公的妹妹穿的比我還像新娘察绷。我一直安慰自己,他們只是感情好津辩,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著容劳,像睡著了一般喘沿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上竭贩,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天蚜印,我揣著相機(jī)與錄音,去河邊找鬼留量。 笑死窄赋,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的楼熄。 我是一名探鬼主播忆绰,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼可岂!你這毒婦竟也來了错敢?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤缕粹,失蹤者是張志新(化名)和其女友劉穎稚茅,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體平斩,經(jīng)...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡亚享,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了绘面。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片欺税。...
    茶點(diǎn)故事閱讀 38,161評論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡糜芳,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出魄衅,到底是詐尸還是另有隱情峭竣,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布晃虫,位于F島的核電站皆撩,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏哲银。R本人自食惡果不足惜扛吞,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望荆责。 院中可真熱鬧滥比,春花似錦、人聲如沸做院。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽键耕。三九已至寺滚,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間屈雄,已是汗流浹背村视。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留酒奶,地道東北人蚁孔。 一個(gè)月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像惋嚎,于是被迫代替她去往敵國和親杠氢。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內(nèi)容