Python數(shù)據(jù)科學(xué)(八)- 資料探索與資料視覺化

傳送門:

1.敘述性統(tǒng)計與推論性統(tǒng)計

  • 敘述性統(tǒng)計
    有系統(tǒng)的歸納數(shù)據(jù),了解數(shù)據(jù)的輪廓
    對數(shù)據(jù)樣本做敘述性陳述,例如:平均數(shù)锰霜、標(biāo)準(zhǔn)偏差、計次頻率砰嘁、百分比
    對數(shù)據(jù)資料的圖像化處理,將數(shù)據(jù)摘要變?yōu)閳D標(biāo)表
  • 推論性統(tǒng)計
    資料模型的建構(gòu)
    從樣本推論整體資料的概況
    相關(guān)勘究、回歸矮湘、單因子變異數(shù)、因素分析

1.敘述性統(tǒng)計

1.我們一般有三種方式進(jìn)行敘述性統(tǒng)計

  • 對大多數(shù)資料進(jìn)行分析口糕,80%都是在于如何加總與平均
    eg:
    • 銷售份額
    • 客戶數(shù)量
    • 業(yè)績成長量
  • 使用SQL做敘述性統(tǒng)計(通過加入限制條件得到我們需要的數(shù)據(jù))
select * from tb1 where col1 >= 100 limit 3

2.如何操作數(shù)據(jù)

  • 操作數(shù)據(jù)我們常常需要
    • 分割數(shù)據(jù)(Split)
    • 轉(zhuǎn)換數(shù)據(jù)(Transformation)
    • 聚合數(shù)據(jù)(Aggregation)
    • 探索數(shù)據(jù)(Exploration)
  • 需要如同SQL的語法去操作數(shù)據(jù)
    首先我們需要安裝pandas_datareader缅阳,pip install pandas_datareader,pandas_datareader是一個遠(yuǎn)程獲取金融數(shù)據(jù)的Python工具景描,它提供了下面幾個機構(gòu)的數(shù)據(jù)十办。
import pandas_datareader

pandas_datareader.DataReader(name, data_source=None, start=None, end=None, retry_count=3, 
                                    pause=0.001, session=None, access_key=None)
  • name:股票名稱
  • data_source:數(shù)據(jù)來源,可以是雅虎超棺,谷歌等等
  • start:開始日期
  • end:截止日期
  • retry_count: 如果斷開連接重新連接幾次
  • pause:抓取數(shù)據(jù)的中間是否需要停頓
  • session:是否需要加入session
  • access_key:如果接口需要提供access_key向族,則此項需要填

2.進(jìn)行讀取相關(guān)數(shù)據(jù)

丘老師是使用pandas_datareader.DataReader來讀取的雅虎提供的阿里巴巴股票數(shù)據(jù),現(xiàn)在雅虎已經(jīng)被棄用棠绘。這里我使用Tushare來讀取金融數(shù)據(jù)件相。
Tushare是一個免費再扭、開源的python財經(jīng)數(shù)據(jù)接口包。

import tushare

# 獲取大盤指數(shù)實時行情列表
df = ts.get_index()

# 查看后五行
df.tail()


備注:返回值說明

  • code:指數(shù)代碼
  • name:指數(shù)名稱
  • change:漲跌幅
  • open:開盤點位
  • preclose:昨日收盤點位
  • close:收盤點位
  • high:最高點位
  • low:最低點位
  • volume:成交量(手)
  • amount:成交金額(億元)
# 查看列
df.columns

1.做一些簡易的統(tǒng)計

  • 針對單列進(jìn)行統(tǒng)計
    • 算出總和:df['volume'].sum()
    • 算出平均:df['volume'].mean()
    • 算出標(biāo)準(zhǔn)差:df['volume'].std()
    • 取得最小值:df['volume'].min()
    • 取得最大值:df['volume'].max()
    • 取得筆數(shù):df['volume'].count()
  • 針對多列進(jìn)行統(tǒng)計
# 取得最低開盤點位夜矗,最低收盤點位
df[['open', 'close']].min()

2.取得整體敘述性統(tǒng)計

df.describe()
均值泛范,標(biāo)準(zhǔn)差,最大值紊撕,最小值等等

3.計算當(dāng)日大盤指數(shù)當(dāng)日漲跌次數(shù)

  • 計算當(dāng)日漲跌
df['diff'] = df['close'] - df['open']
df['rise'] = df['diff'] > 0  # 漲
df['fall'] = df['diff'] < 0  # 跌
可以看到多了差額罢荡、漲、跌三列
  • 計算漲跌次數(shù)
df[['rise', 'fall']].sum()


如果你覺得我的文章還可以对扶,可以關(guān)注我的微信公眾號:Python攻城獅
可掃描二維碼区赵,添加關(guān)注

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市浪南,隨后出現(xiàn)的幾起案子惧笛,更是在濱河造成了極大的恐慌,老刑警劉巖逞泄,帶你破解...
    沈念sama閱讀 211,561評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異拜效,居然都是意外死亡喷众,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,218評論 3 385
  • 文/潘曉璐 我一進(jìn)店門紧憾,熙熙樓的掌柜王于貴愁眉苦臉地迎上來到千,“玉大人,你說我怎么就攤上這事赴穗°舅模” “怎么了?”我有些...
    開封第一講書人閱讀 157,162評論 0 348
  • 文/不壞的土叔 我叫張陵般眉,是天一觀的道長了赵。 經(jīng)常有香客問我,道長甸赃,這世上最難降的妖魔是什么柿汛? 我笑而不...
    開封第一講書人閱讀 56,470評論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮埠对,結(jié)果婚禮上络断,老公的妹妹穿的比我還像新娘。我一直安慰自己项玛,他們只是感情好貌笨,可當(dāng)我...
    茶點故事閱讀 65,550評論 6 385
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著襟沮,像睡著了一般锥惋。 火紅的嫁衣襯著肌膚如雪昌腰。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,806評論 1 290
  • 那天净刮,我揣著相機與錄音剥哑,去河邊找鬼。 笑死淹父,一個胖子當(dāng)著我的面吹牛株婴,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播暑认,決...
    沈念sama閱讀 38,951評論 3 407
  • 文/蒼蘭香墨 我猛地睜開眼困介,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了蘸际?” 一聲冷哼從身側(cè)響起座哩,我...
    開封第一講書人閱讀 37,712評論 0 266
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎粮彤,沒想到半個月后根穷,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 44,166評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡导坟,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,510評論 2 327
  • 正文 我和宋清朗相戀三年屿良,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片惫周。...
    茶點故事閱讀 38,643評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡尘惧,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出递递,到底是詐尸還是另有隱情喷橙,我是刑警寧澤,帶...
    沈念sama閱讀 34,306評論 4 330
  • 正文 年R本政府宣布登舞,位于F島的核電站贰逾,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏菠秒。R本人自食惡果不足惜似踱,卻給世界環(huán)境...
    茶點故事閱讀 39,930評論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望稽煤。 院中可真熱鬧核芽,春花似錦、人聲如沸酵熙。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,745評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽匾二。三九已至哮独,卻和暖如春拳芙,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背皮璧。 一陣腳步聲響...
    開封第一講書人閱讀 31,983評論 1 266
  • 我被黑心中介騙來泰國打工舟扎, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人悴务。 一個月前我還...
    沈念sama閱讀 46,351評論 2 360
  • 正文 我出身青樓睹限,卻偏偏與公主長得像,于是被迫代替她去往敵國和親讯檐。 傳聞我的和親對象是個殘疾皇子羡疗,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,509評論 2 348

推薦閱讀更多精彩內(nèi)容