前言
因?yàn)槎嘧兞糠治鰞?nèi)容太多,而且涉及很多的統(tǒng)計(jì)學(xué)基礎(chǔ)(絕大部分高中都學(xué)過(guò)),所以這一章算是復(fù)習(xí),分兩篇來(lái)寫皿淋。
Multivariate Analysis(多變量分析)
多變量分析的意義就是研究多種自變量而得到因變量的表現(xiàn)。這看起來(lái)比單變量分析更加的真實(shí)和可靠恬试,畢竟在現(xiàn)實(shí)生活中,各個(gè)事物都是互相聯(lián)系的疯暑。
按生日和性別分析
南希認(rèn)為同一時(shí)期的男性用戶使用頻率要遠(yuǎn)大于女性用戶训柴。因?yàn)楦鶕?jù)之前的表圖,男性用戶使用總次數(shù)要遠(yuǎn)多于女性妇拯。艾瑞克認(rèn)為研究這個(gè)方面的最好的辦法就是繪制一個(gè)堆疊柱狀圖(stacked bar graph)(柱狀圖中每一個(gè)柱都有兩種以上的顏色幻馁,這里顏色代表性別)
代碼如下:
groupby_birthyear_gender = data.groupby(['birthyear', 'gender'])['birthyear'].count().unstack('gender').fillna(0)#以出生年月和性別排序,并將性別的索引由列改為行
groupby_birthyear_gender[['Male','Female','Other']].plot.bar(title = 'Distribution of birth years by Gender', stacked=True, figsize = (15,4))
plt.show()
Output:
代碼含義:我們先將數(shù)據(jù)幀的列索引用unstack函數(shù)給轉(zhuǎn)換為行索引越锈,之后仗嗦,將gender這一個(gè)列給分為三種:男,女甘凭,其他稀拐。這樣我們就有了三種性別的不同的行程總數(shù)。
由圖可知男士的確占大多數(shù)丹弱,但是也有例外德撬。比如1947年出生的人使用單車的全為女性。1964和1994的人也大多是女性躲胳。
按生日和用戶類型分析
在之前對(duì)80后用戶的分析來(lái)看蜓洪,所有的用戶都是會(huì)員。南希非常好奇其他的年齡段的會(huì)員占比是多少坯苹?難道大多數(shù)都是普通用戶隆檀?于是艾瑞克開(kāi)始對(duì)生日和用戶類型進(jìn)行分析:
groupby_birthyear_usertype=data.groupby(['birthyear','usertype'])['birthyear'].count().unstack('usertype').fillna(0)#以出生年月和用戶類型排序,并將用戶類型的索引由列改為行
groupby_birthyear_usertype['Member'].plot.bar(title='Distribution of birth years by Usertype',stacked=True,figsize=(15,4))
plt.show()
Output:
南洗馀龋看了非常驚訝:咋全都是會(huì)員恐仑?難道只有正式會(huì)員才需要填寫生日?艾瑞克決定驗(yàn)證一下
print(data[data['usertype']=='Short-Term Pass Holder']['birthyear'].isnull().values.all())#驗(yàn)證普通會(huì)員是否有出生年月
Output:
True
果然再芋,普通用戶并沒(méi)有填寫生日菊霜。同樣的,艾瑞克又驗(yàn)證了一下普通用戶是否填寫了性別济赎,結(jié)果也是沒(méi)有填寫鉴逞。說(shuō)明我們沒(méi)有任何關(guān)于普通用戶的身份數(shù)據(jù)记某。
南希不得不重新考慮之前的推斷:關(guān)于80后的品牌忠誠(chéng)度。因?yàn)楦静恢?0后的會(huì)員在80后總?cè)藬?shù)占多少构捡。這個(gè)數(shù)據(jù)廢棄了南希之前的推斷液南。
時(shí)間序列分析
南希想知道基于開(kāi)始日期的行程的頻數(shù)。于是艾瑞克不得不把起始日期給轉(zhuǎn)換為日期字符格式勾徽,他還做了更多滑凉,將日期拆分為多個(gè)小段(年,月喘帚,日畅姊,小時(shí)等)。
代碼如下:
List_=list(data['starttime'])#把開(kāi)始時(shí)間轉(zhuǎn)換時(shí)間字符串
List_=[datetime.datetime.strptime(x, "%m/%d/%Y %H:%M") for x in List_]#將時(shí)間字符串轉(zhuǎn)換為時(shí)間元組
data['starttime_mod']=pd.Series(List_,index=data.index)#Series函數(shù)創(chuàng)建索引
data['starttime_date'] = pd.Series([x.date() for x in List_],index=data.index)
data['starttime_year'] = pd.Series([x.year for x in List_],index=data.index)
data['starttime_month'] = pd.Series([x.month for x in List_],index=data.index)
data['starttime_day'] = pd.Series([x.day for x in List_],index=data.index)
data['starttime_hour'] = pd.Series([x.hour for x in List_],index=data.index)
data.groupby('starttime_date')['tripduration'].mean().plot.bar(title = 'Distribution of Trip duration by date', figsize = (15,4))
plt.show()
Output:
這個(gè)表格看起來(lái)有一種顯而易見(jiàn)的走勢(shì)吹由。這就引出了時(shí)間序列的一些定義若未。
Time Series Components
下面是時(shí)間序列中最常見(jiàn)的三種走勢(shì)圖。
Seasonal Pattern(季節(jié)性走勢(shì))
如圖所示倾鲫,季節(jié)性走勢(shì)總是有著時(shí)間規(guī)律粗合,這些時(shí)期可以是一月中的周數(shù),一年中的周數(shù),也可以是一年中的月數(shù)。
Cyclic Pattern(循環(huán)走勢(shì))
循環(huán)走勢(shì)唯一與季節(jié)性走勢(shì)不同之處在于循環(huán)走勢(shì)沒(méi)有時(shí)間上的規(guī)律萤悴。
Trend(趨勢(shì))
趨勢(shì)就是一段宏觀上來(lái)看上升或降低的連續(xù)變量铅搓。這種走勢(shì)可能不是很精準(zhǔn)的線性走勢(shì),but when smoothing is applied it can generalize into either of the direction.(這句話不會(huì)翻譯,大概意思知道)
由這幾個(gè)走勢(shì);來(lái)看,南希認(rèn)為這個(gè)時(shí)間行程的走勢(shì)明顯是季節(jié)性走勢(shì)贯卦。
因?yàn)檫@個(gè)圖的趨勢(shì)總是有一段精確的時(shí)間間隔,這就是季節(jié)性焙贷。事實(shí)上撵割,我們可以把分布給分為三種類型。一種是季節(jié)性辙芍,就是每隔一段時(shí)間就會(huì)重復(fù)啡彬。一種是
水平密度分布(flat density distribution),第三種就是線性分布故硅。
到這第二部分完畢