Kaggle | （一）入門指南

一蓖谢、Kaggle是什么？

Kaggle成立于2010年柄慰，是一個進(jìn)行數(shù)據(jù)發(fā)掘和預(yù)測競賽的在線平臺。從公司的角度來講沃暗，可以提供一些數(shù)據(jù)，進(jìn)而提出一個實(shí)際需要解決的問題何恶；從參賽者的角度來講孽锥，他們將組隊參與項目，針對其中一個問題提出解決方案细层，最終由公司選出的最佳方案可以獲得5K-10K美金的獎金惜辑。

除此之外，Kaggle官方每年還會舉辦一次大規(guī)模的競賽疫赎，獎金高達(dá)一百萬美金盛撑，吸引了廣大的數(shù)據(jù)科學(xué)愛好者參與其中。從某種角度來講捧搞，可以把它理解為一個眾包平臺抵卫，類似國內(nèi)的豬八戒。但是不同于傳統(tǒng)的低層次勞動力需求胎撇，Kaggle一直致力于解決業(yè)界難題介粘，因此也創(chuàng)造了一種全新的勞動力市場——不再以學(xué)歷和工作經(jīng)驗(yàn)作為唯一的人才評判標(biāo)準(zhǔn)，而是著眼于個人技能晚树，為頂尖人才和公司之間搭建了一座橋梁姻采。

輸入https://www.kaggle.com/即可進(jìn)入Kaggle主頁，網(wǎng)站有這么幾個版塊：
1爵憎、競賽competitions
2慨亲、數(shù)據(jù)datasets
3、代碼kernels
4宝鼓、討論區(qū) Discussion
5刑棵、在線課程學(xué)習(xí)learn

image

二、Kaggle的競賽模式是什么樣的愚铡？

Kaggle上的競賽有各種分類铐望，例如獎金極高競爭激烈的的 “Featured”，相對平民化的 “Research”等等。但整體的項目模式是一樣的正蛙，就是通過出題方給予的訓(xùn)練集建立模型，再利用測試集算出結(jié)果用來評比营曼。同時乒验，每個進(jìn)行中的競賽項目都會顯示剩余時間、參與的隊伍數(shù)量以及獎金金額蒂阱，并且會實(shí)時更新選手排位锻全。在截止日期之前，所有隊伍都可以自由加入競賽录煤，或者對已經(jīng)提交的方案進(jìn)行完善鳄厌，因此排名也會不斷變動，不到最后一刻誰都不知道花落誰家妈踊。
由于這類問題并沒有標(biāo)準(zhǔn)答案了嚎，只有無限逼近最優(yōu)解，所以這樣的模式可以激勵參與者提出更好的方案廊营，甚至推動整個行業(yè)的發(fā)展歪泳。

Kaggle競賽分類

從參賽者的角度看，競賽種類有：推薦比賽Featured露筒、人才征募Recruitment伶氢、研究型Research癣防、游樂場Playground劣砍、入門比賽Getting Started刑枝、課業(yè)比賽In Class迅腔。

image

推薦比賽Featured：瞄準(zhǔn)商業(yè)問題帶有獎金的公開競賽。如果有幸贏得比賽沧烈，不但可以獲得獎金掠兄，模型也可能會被競賽贊助商應(yīng)用到商業(yè)實(shí)踐中呢。
人才征募Recruitment：贊助企業(yè)尋求數(shù)據(jù)科學(xué)家、算法設(shè)計人才的渠道蚂夕。只允許個人參賽，不接受團(tuán)隊報名婿牍。
研究型Research競賽通常是機(jī)器學(xué)習(xí)前沿技術(shù)或者公益性質(zhì)的題目侈贷。競賽獎勵可能是現(xiàn)金，也有一部分以會議邀請等脂、發(fā)表論文的形式獎勵搏屑。
游樂場Playground：題目以有趣為主解幼，比如貓狗照片分類的問題。現(xiàn)在這個分類下的題目不算多暑中，但是熱度很高灵莲。
入門比賽Getting Started：給萌新們一個試水的機(jī)會，沒有獎金汽摹，但有非常多的前輩經(jīng)驗(yàn)可供學(xué)習(xí)。很久以前Kaggle這個欄目名稱是101的時候拉庶，比賽題目還很多嗜憔，但是現(xiàn)在只保留經(jīng)典的入門競賽：手寫數(shù)字識別、沉船事故幸存估計砍的、臉部識別痹筛。
課業(yè)比賽In Class：是學(xué)校教授機(jī)器學(xué)習(xí)的老師留作業(yè)的地方床佳，這里的競賽有些會向public開放參賽砌们，也有些僅僅是學(xué)校內(nèi)部教學(xué)使用。

Kaggle競賽的排名機(jī)制

在比賽結(jié)束之前，參賽者每天最多可以提交5次測試集的預(yù)測結(jié)果饼问。每一次提交結(jié)果都會獲得最新的臨時排名成績影兽，直至比賽結(jié)束獲得最終排名莱革。在比賽過程中峻堰，Kaggle將參賽者每次提交的結(jié)果取出25%-33%，并依照準(zhǔn)確率進(jìn)行臨時排名闹击。在比賽結(jié)束時赏半，參賽者可以指定幾個已經(jīng)提交的結(jié)果贺归，Kaggle從中去除之前用于臨時排名的部分，用剩余數(shù)據(jù)的準(zhǔn)確率綜合得到最終排名除破。所以牧氮，比賽過程中用于最終排名的那部分?jǐn)?shù)據(jù)，參賽者是始終得不到關(guān)于準(zhǔn)確率的反饋的瑰枫。這樣一定程度避免參賽模型的過擬合踱葛，保證評選出兼顧準(zhǔn)確率和泛化能力的模型丹莲。

三、數(shù)據(jù)Datasets版塊和代碼Kernels板塊介紹

數(shù)據(jù)Datasets版塊

每一個競賽題目都有一個數(shù)據(jù)入口尸诽，描述數(shù)據(jù)相關(guān)的信息甥材，與主頁上的Datasets選擇一個數(shù)據(jù)其實(shí)指向同一個地方。在這里可以下載到提交結(jié)果的示范性含、測試集洲赵、訓(xùn)練集。Kaggle的數(shù)據(jù)以CSV格式最常見商蕴，提交的結(jié)果也要求是CSV格式叠萍。

image

代碼Kernels板塊

這是Kaggle最棒的功能！在這里可看到其他參賽者自愿公開的模型代碼绪商，是學(xué)習(xí)和交流的最佳所在苛谷！取名為kernels意味支持線上調(diào)試和運(yùn)行代碼，目前支持Python格郁、R腹殿。對那些暫時缺少硬件資源的參賽者，相當(dāng)于Kaggle提供了一個“云計算”平臺例书，可以作為一個備選的計算資源锣尉。

四、如何上手Kaggle决采？

想要真正參與Kaggle自沧，參賽者最好具有統(tǒng)計、計算機(jī)或數(shù)學(xué)相關(guān)背景织狐，有一定的coding技能暂幼，對機(jī)器學(xué)習(xí)和深度學(xué)習(xí)有基本的了解，Kaggle任務(wù)雖然不限制編程語言移迫，但絕大多數(shù)隊伍會選用Python和R旺嬉，所以至少熟悉其中一種。

如果從未獨(dú)立做過一個項目厨埋，最好從練習(xí)賽開始熟悉邪媳。因?yàn)楦傎惸Ｊ街械娜蝿?wù)是公司懸賞發(fā)布的實(shí)際案例，并沒有標(biāo)準(zhǔn)的答案荡陷；而練習(xí)賽不僅項目難度低雨效，而且是有官方給出的參考方案的，大家可以用來對比改善自己的測試結(jié)果废赞，從中進(jìn)行提高徽龟。所以建議感興趣的同學(xué)先去獨(dú)立做一下101和playground的訓(xùn)練賽。

1. Titanic（泰坦尼克之災(zāi)）
中文教程：邏輯回歸應(yīng)用之Kaggle泰坦尼克之災(zāi)
英文教程：An Interactive Data Science Tutorial

2. House Prices: Advanced Regression Techniques（房價預(yù)測）
中文教程：Kaggle競賽 — 2017年房價預(yù)測
英文教程：How to get to TOP 25% with Simple Model using sklearn

3. Digital Recognition（數(shù)字識別）
中文教程：大數(shù)據(jù)競賽平臺—Kaggle 入門
英文教程：Interactive Intro to Dimensionality Reduction

比賽流程

image

五唉地、入門Kaggle可參考的資料

Kaggle 入門指南
 分分鐘帶你殺入Kaggle Top 1%
Kaggle 首戰(zhàn)拿銀總結(jié) | 入門指導(dǎo) (長文极颓、干貨）
Kaggle Titanic 生存預(yù)測 -- 詳細(xì)流程吐血梳理
 Kaggle入門
 Kaggle 比賽整理匯總
 Kaggle Titanic 生存預(yù)測(Top1.4%)完整代碼分享

</article>

12人點(diǎn)贊

機(jī)器學(xué)習(xí)