第八課：案例分析 - 泰坦尼克數(shù)據(jù)

本節(jié)課將重點分析泰坦尼克號沉船事故缤至，我們將探索是什么因素決定了最后是否生還筛峭。

我們將將前面課程所學(xué)過的知識點融會貫通喳篇，舉一反三

新增知識點：

? ? ? ?缺失值處理：pandas中的fillna()方法

? ? ? ?數(shù)據(jù)透視表：pandas中的pivot_table函數(shù)

數(shù)據(jù)分析的流程

問題：數(shù)據(jù)分析的核心是問題迅矛，提出一個有價值的問題就像瞄準(zhǔn)了正確的靶心型宝，才能使后續(xù)的動作變得有意義臭挽。

數(shù)據(jù)采集：有了問題之后就要收集原始的數(shù)據(jù)捂襟。但是數(shù)據(jù)來源豐富多樣，格式不盡相同埋哟，所以需要進(jìn)行下一步——

數(shù)據(jù)清洗：清洗這些格式多樣的數(shù)據(jù)笆豁，糾正其中可能的錯誤郎汪。這個步驟比較繁雜，占整個過程的工作量比例較大闯狱，卻是整個分析流程必不可少的環(huán)節(jié)煞赢。

數(shù)據(jù)探索：這時候一般會用到統(tǒng)計和可視化的方法進(jìn)行分析哄孤，對數(shù)據(jù)有全面的認(rèn)識，為后續(xù)的進(jìn)一步分析做鋪墊瘦陈。

建模分析：這一步經(jīng)常用到機器學(xué)習(xí)／數(shù)據(jù)挖掘的算法（此課不做介紹）凝危。

交流結(jié)果：通過報告或者可視化圖表的形式，展示結(jié)論趁窃，并與他人和交流。

決策：通過交流進(jìn)行決策寺晌。

整個數(shù)據(jù)分析的流程就是從問題到?jīng)Q策的過程怕犁。但是真實的情況往往不會那么順利。比如在數(shù)據(jù)采集／清洗和探索的過程中己莺，就會進(jìn)行來回倒騰奏甫。就像在探索的時候發(fā)現(xiàn)數(shù)據(jù)支撐不夠，要到前面一個步驟進(jìn)行更多的采集和清洗凌受。又像有時候我們只有數(shù)據(jù)沒有具體的問題阵子，通過采集／清洗和探索這些步驟之后，對數(shù)據(jù)有了更深的認(rèn)識胜蛉，這時可以進(jìn)一步提出更有意義的問題了挠进。

我們第八課的課程里面色乾，也會用這樣一個流程，對數(shù)據(jù)進(jìn)行處理领突。

我們今天的問題是：哪些問題會影響最后的生還概率暖璧。

泰坦尼克號背景介紹

泰坦尼克號是一艘奧林匹克級郵輪，于1912年4月首航時撞上冰山后沉沒君旦。泰坦尼克號由位于北愛爾蘭貝爾法斯特的哈蘭·沃爾夫船廠興建澎办，是當(dāng)時最大的客運輪船，由于其規(guī)模相當(dāng)一艘現(xiàn)代航空母艦金砍，因而號稱“上帝也沉沒不了的巨型郵輪”局蚀。在泰坦尼克號的首航中，從英國南安普敦出發(fā)恕稠，途經(jīng)法國瑟堡-奧克特維爾以及愛爾蘭昆士敦琅绅，計劃橫渡大西洋前往美國紐約市。但因為人為錯誤谱俭，于1912年4月14日船上時間夜里11點40分撞上冰山奉件；2小時40分鐘后宵蛀，即4月15日凌晨02點20分昆著，船裂成兩半后沉入大西洋，死亡人數(shù)超越1500人术陶，堪稱20世紀(jì)最大的海難事件凑懂，同時也是最廣為人知的海難之一。

當(dāng)時報道

整份數(shù)據(jù)分為數(shù)值變量和分類變量梧宫，這邊著重分一下接谨，因為它們在后面的使用也是不一樣的。因為我們今天案例主題是 什么因素會影響生還塘匣，所以這份數(shù)據(jù)里面“survival” 這一列的數(shù)據(jù)是需要重點分析的，然后會對分類變量 “Pclass” 艙位和 “Sex” 性別，還有數(shù)值變量 “Age” 年齡纷跛，對生還情況的影響谱邪。

在里面可以看到很多NaN的顯示，表示此處是缺失值驰徊。第二部分我們將著重來看笤闯，怎么來處理這些缺失值。

1棍厂、數(shù)據(jù)導(dǎo)入和觀察

讀取常用包

然后導(dǎo)入這次課程的數(shù)據(jù)颗味，csv格式的文件。用 Pandas 的 csv 的讀取方式來讀取牺弹，賦值于 titanic_df 這個數(shù)據(jù)數(shù)據(jù)變量中浦马。我在前面的文章也不止講了3遍怎么導(dǎo)入數(shù)據(jù)了时呀，討論區(qū)的答疑整理幾乎每一次都有人問數(shù)據(jù)導(dǎo)入的問題，所以到今天要是還不會導(dǎo)入數(shù)據(jù)的晶默，可以翻我前面的文章退唠。

導(dǎo)入并讀取數(shù)據(jù)

數(shù)據(jù)字段說明：

PassengerId: 乘客的id

Survival: 是否幸存 0 = No, 1 = Yes

Pclass: 艙位 class 1 = 1st, 2 = 2nd, 3 = 3rd

Name: 姓名

Sex: 性別

Age: 年齡

SibSp: 船上兄弟姐妹以及配偶的個數(shù)

Parch: 船上父母以及者子女的個數(shù)

Ticket: 船票號碼

Fare: 票價

Cabin: 船艙號碼

Embarked: 登船碼頭 C = Cherbourg, Q = Queenstown, S = Southampton

變量類型

數(shù)值變量：Age, SibSp, Parch, 和Fare。

分類變量：Pcalss, Sex, Cabin, 和Embarked荤胁。Survived是結(jié)果瞧预。

下面我們 describe 函數(shù)來觀察數(shù)值變量和分類變量。

數(shù)據(jù)的統(tǒng)計描述

數(shù)值變量

describe函數(shù)查看部分變量的分布

用方括號的形式仅政，這四個參數(shù)重新組建一個 DataFrame垢油，用describe 進(jìn)行觀察。運行得到四列數(shù)據(jù)的統(tǒng)計值圆丹。

count表示的是非空的數(shù)值個數(shù)滩愁。因為一行數(shù)據(jù)統(tǒng)計出來的結(jié)果都是891，只有 Age 是714辫封，所以我們從這份數(shù)據(jù)可以觀察到硝枉，Age這列數(shù)據(jù)是有缺失值的。下面的是一些統(tǒng)計量倦微，mean 代表平均值妻味，std 是標(biāo)準(zhǔn)差，也就是數(shù)據(jù)相對于均值的波動情況欣福。min 是最小值责球，max 是最大值，25%／50%／75% 分別是這份數(shù)據(jù)的四分位數(shù)拓劝。

通過這份 describe 函數(shù)雏逾，我們可以對整份數(shù)據(jù)有大體的認(rèn)識。比如從年齡那一列看郑临，平均年齡是29.6歲栖博，標(biāo)準(zhǔn)差是14.5，最小的年齡是0.42厢洞，最大的80歲仇让，年齡的中位數(shù)是28歲。因為 Survived 是0-1變量犀变，所以均值就是幸存人數(shù)的百分比妹孙，這個用法非常有用，也就是 Survivied 這列數(shù)據(jù)获枝，由于生還與否是用 0 和 1 來進(jìn)行表達(dá)蠢正，所以這里的0.38代表的是生還率。這個看起來很好用笆〉辍嚣崭！

同樣的笨触，我們可以用describe來看分類變量的數(shù)據(jù)。但是要是直接使用雹舀，這里顯示的也只能是數(shù)據(jù)芦劣，所以用到了 include=[ np.object ] 這個參數(shù)，表示把數(shù)據(jù)里面不是數(shù)值的可以用字符串的形式表達(dá)出來说榆。

使用 include=[np.object] 來查看分類變量

count?表示非空數(shù)值的個數(shù)虚吟。unique?表示非重復(fù)數(shù)的個數(shù)，比如 name在這里的非重復(fù)數(shù)是891签财，那么和上面的非空數(shù)值對比串慰，就知道是沒有重名的人在里面。top?表示最高頻的一個詞唱蒸，在性別 sex 中表示的是男性比女性多邦鲫。freq 代表的是上面面最高頻的數(shù)量，這里告訴我們男性出現(xiàn)次數(shù)最多神汹，有577次庆捺。所以我們在這個表格可以看到，添加了 include=[ np.object ] 這個參數(shù)之后屁魏，用 describe 函數(shù)不僅能表示數(shù)值類的函數(shù)滔以，也能表達(dá)字符類的函數(shù)。

不同艙位的分布情況是怎樣的呢蚁堤？

我們通過這個例子來復(fù)習(xí) value_counts 和 group_by

value_counts頻數(shù)統(tǒng)計

取到艙位這一批數(shù)據(jù)醉者，然后用到 value_counts( )，因為它默認(rèn)是從小到大排列的披诗，所以可以看到三等艙的人最多。

為了求到相應(yīng)的占比立磁，我們可以除以相應(yīng)的總量呈队，用 len（ ）函數(shù)，然后可以看到三等艙的人數(shù)占了55%唱歧。

查看不同艙位的分布

這是用 value_counts 使用的第一種方法宪摧，下面還有另一種方法：group_by。

titanic_df.groupby('Pclass').agg('size')

將數(shù)據(jù)按艙位來分組颅崩，分組之后在計算每一組數(shù)據(jù)的大小几于。這里用列名 Pclass，代表此處是用艙名來分類的沿后，然后使用聚合函數(shù)agg沿彭，用的是 size ，是用來計算分組之后的數(shù)據(jù)大小的尖滚。同樣我們可以得到每一個艙位的人數(shù)喉刘。

同樣需要得到相應(yīng)的占比瞧柔，也是除以 len( tatanic_df )

titanic_df.groupby('Pclass').agg('size')/len(titanic_df)

要是想要讓數(shù)據(jù)從大到小進(jìn)行排序，我們用的是 sort_values 這個方法進(jìn)行操作:

sort_values 將結(jié)果排序

注意哦睦裳，這里是先把前面的內(nèi)容用圓括號擴起來造锅，代表這里的優(yōu)先級更高，然后再使用 sort_values廉邑。后面需要設(shè)置參數(shù) =False哥蔚，因為此處是默認(rèn)從小到大排列的。

所以這兩種方法使用下來蛛蒙，能看出方法1是簡單一點的肺素，有默認(rèn)排序功能，方法2還需要語句來設(shè)定宇驾。啊倍靡，我這種懶人！

作業(yè)8-1：

查看Embarked(登船碼頭)人數(shù)分布的百分比

第八課的這篇文章我碼到現(xiàn)在课舍，都是在用以前的知識點來進(jìn)行操作的塌西。下一篇文章將會有新的知識點 “ 缺失值處理：pandas中的fillna()方法 ” 和 “ 數(shù)據(jù)透視表：pandas中的pivot_table函數(shù) ”

老師在GitHub 預(yù)告的，我這兩天繼續(xù)更新ｓ菸病捡需！