“我要做大數(shù)據(jù)桶雀!”
隨著大數(shù)據(jù)領(lǐng)域的火爆,數(shù)據(jù)科學領(lǐng)域的招聘信息越來越多唬复,范圍也越來越廣矗积,然而面對參差不齊的招聘信息,你真的知道大數(shù)據(jù)到底做什么的么敞咧?“你希望具體從事的大數(shù)據(jù)工作或方向是什么棘捣?”
對于,大數(shù)據(jù)領(lǐng)域生態(tài)休建,包涵很多不同打的崗位乍恐,也賦予不同崗位不同的技能、要求和發(fā)展方向测砂。為了和大家介紹的清楚茵烈,通過一個數(shù)據(jù)課題case流程來解釋不同崗位的職責。
大數(shù)據(jù)課題流程有4個基本環(huán)節(jié)砌些,分別是業(yè)務理解呜投、數(shù)據(jù)準備、數(shù)據(jù)挖掘存璃、分析應用仑荐。在這個流程里有四個層次:需求層、數(shù)據(jù)層纵东、模型分析層與輸出層粘招,同時對應四個職能領(lǐng)域:
業(yè)務理解(業(yè)務數(shù)據(jù)分析師,業(yè)務戰(zhàn)略規(guī)劃師):業(yè)務側(cè)之眼篮迎,負責業(yè)務規(guī)劃與戰(zhàn)略規(guī)劃男图,幫助企業(yè)在業(yè)務層突破示姿、創(chuàng)新甜橱,實現(xiàn)價值
DBA:承擔整個公司數(shù)據(jù)倉儲、數(shù)據(jù)庫的搭建與服務栈戳,保證數(shù)據(jù)安全岂傲、穩(wěn)定
大數(shù)據(jù)挖掘:負責關(guān)鍵模型應用與研究工作
大數(shù)據(jù)分析應用:既是外部需求的接入者,也是解決方案的輸出者子檀,很多時候也會承擔全盤統(tǒng)籌的角色
研發(fā)層:完整的流程還需增加職能镊掖,承擔整個運營系統(tǒng)的構(gòu)建與維護乃戈、數(shù)據(jù)準備、平臺與工具開發(fā)
這樣一張完整的職能架構(gòu)變出來了亩进,下面通過信息圖區(qū)分每個職位的角色介紹症虑、必備技能。
1.業(yè)務數(shù)據(jù)分析師
角色/任務:改進業(yè)務流程的業(yè)務和IT之間的中介
必備語言:SQL
技能和特長:
基本工具(例如微軟Office)
數(shù)據(jù)可視化工具(e.g.Tableau)
自覺聽和講故事
商業(yè)智能的理解
數(shù)據(jù)建模
2.數(shù)據(jù)庫管理員
角色/任務:確保數(shù)據(jù)庫是提供給所有相關(guān)用戶归薛,正在正確執(zhí)行谍憔,并且安全運行
必備語言:SQL,Java,Ruby on Rails,XML,C#,Python
技能和特長:
備份恢復
數(shù)據(jù)建模和設計
分布式計算(Hadoop的)
數(shù)據(jù)庫系統(tǒng)(SQL和基于NO SQL)
數(shù)據(jù)安全
ERP業(yè)務知識
3.數(shù)據(jù)科學家
角色/任務:清洗,管理和組織(大)數(shù)據(jù)主籍,利用算法和模型提高數(shù)據(jù)處理效率习贫、挖掘數(shù)據(jù)價值、實現(xiàn)從數(shù)據(jù)到知識的轉(zhuǎn)換千元。
必備語言:R,SAS,Python,Matlab,SQL,HivePig,Spark
技能和特長:
分布式計算
預測模型
故事講述和可視化
數(shù)學\統(tǒng)計苫昌,機器學習
4.數(shù)據(jù)架構(gòu)師
角色/任務:創(chuàng)建數(shù)據(jù)管理系統(tǒng)進行整合,集中幸海,保護和維護數(shù)據(jù)源
必備語言:SQL,XML,HIVE,PIG,SPARK
技能和特長:
數(shù)據(jù)倉庫解決方案
深入了解數(shù)據(jù)庫體系結(jié)構(gòu)
提取thansformation和加載(ETL)祟身,電子表格和BI工具
數(shù)據(jù)建模
系統(tǒng)開發(fā)
5.數(shù)據(jù)工程師
角色/任務:開發(fā),建設涕烧,測試和維護架構(gòu)(如數(shù)據(jù)庫月而,以及較大規(guī)模的處理系統(tǒng))
必備語言:SQL,Hive,Pig,R,Mtlab,SAS,SPSS,Python,Java,Ruby,C++,Perl
技能和特長:
數(shù)據(jù)庫系統(tǒng)(SQL和基于NO SQL)
數(shù)理統(tǒng)計功底,統(tǒng)計學
數(shù)據(jù)建模ETL工具
數(shù)據(jù)API
數(shù)據(jù)倉庫解決方案
6.統(tǒng)計學家
角色/任務:收集议纯,分析和解釋父款,定性和定量的數(shù)據(jù)統(tǒng)計理論和方法
必備語言:R,SAS,SPSS,Mtlab,Stata,Python,Perl,Hive,Pig,Spark,SQL
技能和特長:
統(tǒng)計理論方法
數(shù)據(jù)挖掘機器學習
分布式計算(Hadoop的)
數(shù)據(jù)庫系統(tǒng)(SQL和基于NO SQL)
云工具
7.數(shù)據(jù)產(chǎn)品經(jīng)理
角色/任務:管理團隊分析師和數(shù)據(jù)科學家,與團隊解決課題瞻凤。一個重視數(shù)據(jù)的大公司的數(shù)據(jù)產(chǎn)品基本會分為平臺線和業(yè)務挖掘線憨攒。在這種組織結(jié)構(gòu)下,平臺線提供基礎(chǔ)平臺和通用的數(shù)據(jù)工具阀参,包括數(shù)倉存儲和計算平臺肝集,數(shù)據(jù)采集SDK,自定義報表工具蛛壳,郵件發(fā)送管理工具杏瞻,數(shù)據(jù)監(jiān)控平臺,平臺通用數(shù)據(jù)字典等等衙荐。而在業(yè)務線上捞挥,則是提供更加貼近業(yè)務的分析框架和數(shù)據(jù)應用。一般會有以下流程:確定本部門的指標體系和分析思路忧吟,分析模型砌函,建立數(shù)據(jù)倉庫和可視化報表平臺,依賴業(yè)務線工具做好數(shù)據(jù)監(jiān)控,郵件發(fā)送讹俊,以及面向各子部門做專門的數(shù)據(jù)應用垦沉,如面向銷售部門的城市儀表盤,面向用戶產(chǎn)品的流量分析工具等等仍劈。
必備語言:SQL,R,SAS,Python,Matlab,Java
技能和特長:
數(shù)據(jù)庫系統(tǒng)(SQL和基于NO SQL)
領(lǐng)導項目管理
人際溝通
數(shù)據(jù)挖掘預測建模數(shù)據(jù)建模
8.數(shù)據(jù)分析師
角色/任務:收集厕倍,處理和執(zhí)行統(tǒng)計數(shù)據(jù)分析
必備語言:R, Python, HTML,Javscript,C/C++,SQL
技能和特長:
電子表格工具(例如Excel)中
數(shù)據(jù)庫系統(tǒng)(SQL和基于NO SQL)
通信可視化
數(shù)學,統(tǒng)計贩疙,機器學習
入職大數(shù)據(jù)領(lǐng)域绑青,弄清楚是做什么產(chǎn)品,做什么項目屋群,將要用到什么技術(shù)闸婴,什么語言,然后才能有針對性的去進行相關(guān)學習和培訓
對于大數(shù)據(jù)運營體系和系統(tǒng)底層架構(gòu)芍躏,包含了采集層邪乍、存儲層、計算層和應用層对竣,對于每一層所需的編程語言和工具都有所側(cè)重
理論上計算機專業(yè)庇楞、信息專業(yè)、數(shù)學專業(yè)否纬、管理專業(yè)或者其他專業(yè)背景的都可以嘗試這個領(lǐng)域吕晌。前期是做數(shù)據(jù)的基礎(chǔ)監(jiān)測和總結(jié)工作,如周期性的報告或特定專題報告临燃;中期參與業(yè)務溝通睛驳、梳理需求,組織建模解決問題膜廊;后期為企業(yè)內(nèi)部提供戰(zhàn)略意見乏沸,帶領(lǐng)團隊提供可落地的解決方案,解決大數(shù)據(jù)課題爪瓜,落地數(shù)據(jù)方案蹬跃。
最后,會Python無論數(shù)據(jù)采集(爬蟲)铆铆、數(shù)據(jù)建模挖掘蝶缀、數(shù)據(jù)分析應用(展示)均能攻克。