之前寫(xiě)過(guò)一篇 一個(gè)框架解決幾乎所有機(jī)器學(xué)習(xí)問(wèn)題 但是沒(méi)有具體的例子和代碼，今天看到一個(gè)不錯(cuò)的 kaggle 上的 code Exploratory Tutorial - Titanic 來(lái)解析一下，源碼可以直接點(diǎn)這個(gè)鏈接兔辅。
在這篇文章中可以學(xué)到一個(gè)完整的運(yùn)用機(jī)器學(xué)習(xí)解決分析問(wèn)題的過(guò)程抑进，它包括了解決問(wèn)題的一般流程鬓催，描述性統(tǒng)計(jì)的常用方法酝蜒，數(shù)據(jù)清洗的常用方法咙俩，如何由給定的普通變量啟發(fā)式思考其他影響因素弦悉，sklearn 建立模型的一般流程窒典，以及很火的 ensemble learning 怎么用。
下面進(jìn)入正題：
在 Titanic: Machine Learning from Disaster 這個(gè)問(wèn)題中稽莉，要解決的是根據(jù)所提供的 age瀑志，sex 等因素的數(shù)據(jù)，判斷哪些乘客更有可能生存下來(lái)，所以這是一個(gè)分類(lèi)問(wèn)題劈猪。
在解決機(jī)器學(xué)習(xí)問(wèn)題時(shí)昧甘，一般包括以下流程：
<h4 id="explore">1. Data Exploration</h4>
這部分先導(dǎo)入常用的 Numpy，Pandas战得，Matplotlib 等包充边，導(dǎo)入訓(xùn)練集和測(cè)試集：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
train = pd.read_csv('../input/train.csv')
test = pd.read_csv('../input/test.csv')
之后，可以用下面的命令先觀察一下數(shù)據(jù)表的結(jié)構(gòu)：
train.tail()
test.head()
train.describe()
接下來(lái)常侦，可以觀察各個(gè)變量的分布情況：
各個(gè)變量在測(cè)試集和訓(xùn)練集的分布差不多一致痛黎。
然后看一下各個(gè)變量對(duì)分類(lèi)標(biāo)簽的影響：
例如，性別的影響刮吧，通過(guò)可視化可以發(fā)現(xiàn)湖饱，生還的乘客中女性多于男性.
或者 Pclass 的影響。
<h4 id="clean">2. Data Cleaning</h4>
這個(gè)部分杀捻，可以統(tǒng)計(jì)一下各個(gè)變量的缺失值情況：
train.isnull().sum()
#test.isnull().sum()
PassengerId 0
Survived 0
Pclass 0
Name 0
Sex 0
Age 177
SibSp 0
Parch 0
Ticket 0
Fare 0
Cabin 687
Embarked 2
dtype: int64
然后對(duì)缺失部分進(jìn)行處理井厌，如果是連續(xù)變量，可以采用預(yù)測(cè)模型致讥，例如 Age仅仆，如果是離散的變量，可以找到類(lèi)似的數(shù)據(jù)群體垢袱，然后取最多的墓拜，或者最多群體的平均值。
eg请契，Embarked 這兩個(gè)缺失值咳榜，可以看 Pclass 1 and Fare 80 時(shí)，最多的情況是 Embarked＝C爽锥。
<h4 id="feature">3. Feature Engineering</h4>
之前有過(guò)一篇 特征工程怎么做 只是介紹了一些概念涌韩，這個(gè)例子就是比較具有啟發(fā)性，看看怎么通過(guò)給定的幾個(gè)變量氯夷，去拓展成更有影響力的 feature臣樱，如何結(jié)合實(shí)際情況聯(lián)想新的因素，并轉(zhuǎn)化成數(shù)字的形式表達(dá)出來(lái)腮考。
下面是數(shù)據(jù)中的原始變量雇毫，看看由它們可以聯(lián)想到什么因素。
pclass Passenger Class
(1 = 1st; 2 = 2nd; 3 = 3rd)
name Name
sex Sex
age Age
sibsp Number of Siblings/Spouses Aboard
parch Number of Parents/Children Aboard
ticket Ticket Number
fare Passenger Fare
cabin Cabin
embarked Port of Embarkation
(C = Cherbourg; Q = Queenstown; S = Southampton)
除了性別踩蔚，年齡等明顯的因素棚放，社會(huì)地位等也可能影響著誰(shuí)會(huì)優(yōu)先乘坐救生艇，或被救助而生存下來(lái)寂纪。例如席吴，
- Name 里可以抓取到這樣的字眼，來(lái)反映出乘客的職場(chǎng)地位： ['Capt', 'Col', 'Major', 'Dr', 'Officer', 'Rev']捞蛋。
- Cabin 里的 [a-zA-Z] 也許可以反映出社會(huì)地位孝冒。
- Cabin 里的 [0-9] 可能代表船艙的地理位置。
- SibSp 可以算出乘客中同一家庭成員人數(shù)的大小拟杉。
title[title.isin(['Capt', 'Col', 'Major', 'Dr', 'Officer', 'Rev'])] = 'Officer'
deck = full[~full.Cabin.isnull()].Cabin.map( lambda x : re.compile("([a-zA-Z]+)").search(x).group())
checker = re.compile("([0-9]+)")
full['Group_num'] = full.Parch + full.SibSp + 1
在這個(gè)環(huán)節(jié)中庄涡，還有必要把類(lèi)別數(shù)據(jù)變換成 dummy variable 的形式，也就是變換成向量格式搬设，屬于第幾類(lèi)就在第幾個(gè)位置上為 1穴店，其余位置為 0.
連續(xù)數(shù)據(jù)做一下歸一化，即把大范圍變化的數(shù)據(jù)范圍縮小至 0～1 或者 －1～1 之間拿穴。
然后把不相關(guān)的變量 drop 掉泣洞。
train = pd.get_dummies(train, columns=['Embarked', 'Pclass', 'Title', 'Group_size'])
full['NorFare'] = pd.Series(scaler.fit_transform(full.Fare.reshape(-1,1)).reshape(-1), index=full.index)
full.drop(labels=['PassengerId', 'Name', 'Cabin', 'Survived', 'Ticket', 'Fare'], axis=1, inplace=True)
<h4 id="model">4. Model Building</h4>
首先就是把數(shù)據(jù)分為訓(xùn)練集和測(cè)試集，用到 train_test_split默色，
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
因?yàn)楹竺鏁?huì)用到很多模型球凰，所以可以把 cross validation 和 fit 的部分寫(xiě)入一個(gè)函數(shù)，這樣每次把分類(lèi)器投入到函數(shù)中訓(xùn)練腿宰，最后返回訓(xùn)練好的模型即可呕诉。
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import make_scorer
from sklearn.metrics import accuracy_score
scoring = make_scorer(accuracy_score, greater_is_better=True)
def get_model(estimator, parameters, X_train, y_train, scoring):
model = GridSearchCV(estimator, param_grid=parameters, scoring=scoring)
model.fit(X_train, y_train)
return model.best_estimator_
以一個(gè) KNN 為例，來(lái)看一下建立 訓(xùn)練 并用模型預(yù)測(cè)的過(guò)程吃度，
- 從
sklearn導(dǎo)入分類(lèi)器模型后甩挫，定義一個(gè) KNN， - 定義合適的參數(shù)集
parameters椿每， - 然后用
get_model去訓(xùn)練 KNN 模型伊者， - 接下來(lái)用訓(xùn)練好的模型去預(yù)測(cè)測(cè)試集的數(shù)據(jù)，并得到
accuracy_score间护， - 然后畫(huà)出
learning_curve删壮。
from sklearn.neighbors import KNeighborsClassifier
KNN = KNeighborsClassifier(weights='uniform')
parameters = {'n_neighbors':[3,4,5], 'p':[1,2]}
clf_knn = get_model(KNN, parameters, X_train, y_train, scoring)
print (accuracy_score(y_test, clf_knn.predict(X_test)))
plot_learning_curve(clf_knn, 'KNN', X, y, cv=4);
采用上面的方式，嘗試多種模型兑牡，并打印出它們的 accuracy_score：
KNN央碟， 0.816143497758
Random Forest， 0.829596412556
只選擇比較重要的幾個(gè)特征后的 Random Forest均函， 0.834080717489
Logistic Regression亿虽， 0.811659192825
SVC， 0.838565022422
XGBoost苞也， 0.820627802691
<h4 id="ensemble">5. Ensemble</h4>
接下來(lái)把前面訓(xùn)練好的幾個(gè)分類(lèi)器用 VotingClassifier 集成起來(lái)再 fit 訓(xùn)練一下洛勉，打印 accuracy_score 并畫(huà)出 learning_curve。
from sklearn.ensemble import VotingClassifier
clf_vc = VotingClassifier(estimators=[('xgb1', clf_xgb1), ('lg1', clf_lg1), ('svc', clf_svc),
('rfc1', clf_rfc1),('rfc2', clf_rfc2), ('knn', clf_knn)],
voting='hard', weights=[4,1,1,1,1,2])
clf_vc = clf_vc.fit(X_train, y_train)
print (accuracy_score(y_test, clf_vc.predict(X_test)))
plot_learning_curve(clf_vc, 'Ensemble', X, y, cv=4);
ensemble, 0.825112107623
<h4 id="pred">6. Prediction</h4>
用最后訓(xùn)練好的 model 去預(yù)測(cè)給出的測(cè)試集文件如迟，并把數(shù)據(jù)按照指定格式做好收毫，存進(jìn) csv 提交即可攻走。
def submission(model, fname, X):
ans = pd.DataFrame(columns=['PassengerId', 'Survived'])
ans.PassengerId = PassengerId
ans.Survived = pd.Series(model.predict(X), index=ans.index)
ans.to_csv(fname, index=False)
我是 不會(huì)停的蝸牛 Alice
85后全職主婦
喜歡人工智能，行動(dòng)派
創(chuàng)造力此再，思考力昔搂，學(xué)習(xí)力提升修煉進(jìn)行中
歡迎您的喜歡，關(guān)注和評(píng)論输拇！
