????繼續(xù)介紹大數(shù)據(jù)系列崗位的要求,今天是“最熱門”的崗位大數(shù)據(jù)開發(fā)工程師士鸥,之所以說熱門主要是基于2個原因,一是因為很多應(yīng)屆生或者想轉(zhuǎn)入大數(shù)據(jù)行業(yè)的同學(xué)谆级,都是期望從事“大數(shù)據(jù)開發(fā)”這一定位不是很清晰的崗位烤礁;二是因為至少有3個崗位可以稱為“大數(shù)據(jù)開發(fā)”,所以這里的“最熱門”需要詳細分析肥照。老套路先從幾個大廠的崗位要求說起脚仔。
今日頭條
1、本科以上學(xué)歷舆绎,軟件工程/計算機/通信/數(shù)學(xué)等相關(guān)專業(yè)鲤脏;
2、熟悉Hive SQL語言吕朵,熟悉shell, python等至少一種腳本語言猎醇;
3、有hadoop努溃、spark硫嘶、flink等至少一種大數(shù)據(jù)平臺的使用經(jīng)驗;
4茅坛、理解能力強音半,善于溝通,有責(zé)任心和團隊精神贡蓖;
5曹鸠、有數(shù)據(jù)倉庫建設(shè)、商業(yè)數(shù)據(jù)分析斥铺、增長項目經(jīng)驗者優(yōu)先彻桃。
有贊
1、java/scala至少熟練使用一種
2晾蜘、具備扎實的計算機理論基礎(chǔ), 對數(shù)據(jù)結(jié)構(gòu)及算法有較強的功底
3邻眷、熟悉至少一種實時計算引擎 Storm, Spark Streaming, Flink, 對hadoop生態(tài)其他組件有一定了解,比如 HBase剔交, hadoop, Hive, Druid等
4肆饶、有大規(guī)模集群應(yīng)用開發(fā)經(jīng)驗優(yōu)先
5、有BAT工作經(jīng)驗優(yōu)先
6岖常、具備良好工作習(xí)慣和團隊協(xié)作精神
華為
1驯镊、計算機或相關(guān)專業(yè)本科及以上學(xué)歷,對數(shù)據(jù)處理、數(shù)據(jù)建模板惑、數(shù)據(jù)分析等有深刻認識和實戰(zhàn)經(jīng)驗橄镜;
2、熟悉Hadoop/Spark/Hive/HBase等大數(shù)據(jù)工具冯乘,主導(dǎo)過大型數(shù)據(jù)平臺建設(shè)者優(yōu)先洽胶;
3、精通SQL裆馒,熟悉常用的關(guān)系型數(shù)據(jù)庫姊氓、非關(guān)系性數(shù)據(jù)庫和數(shù)據(jù)倉庫,具有SQL性能優(yōu)化經(jīng)驗领追;
4他膳、了解微服務(wù)開發(fā)理念响逢、實現(xiàn)技術(shù)绒窑,熟悉常見設(shè)計模式,熟練掌握SSH開發(fā)框架舔亭,熟練進行Java些膨、Python代碼編寫,熟悉多線程編程钦铺;
5订雾、思維敏捷,對新技術(shù)敏感矛洞,有較強的鉆研學(xué)習(xí)能力洼哎;
螞蟻金服
1、三年以上工作經(jīng)驗沼本,有大型互聯(lián)網(wǎng)行業(yè)從業(yè)經(jīng)驗
2噩峦、有Hadoop/Hive/Spark/Storm/Zookeeper 等相關(guān)開發(fā)經(jīng)驗或從事分布式相關(guān)系統(tǒng)的開發(fā)工作
3、熟悉Linux/Unix系統(tǒng)和豐富的Java開發(fā)經(jīng)驗
4抽兆、具有強烈的責(zé)任心识补,求知欲望強
小影
1、本科及以上學(xué)歷辫红,計算機相關(guān)專業(yè)
2凭涂、3年以上企業(yè)級數(shù)據(jù)倉庫開發(fā)經(jīng)驗
3、熟悉數(shù)據(jù)倉庫理論贴妻,具備復(fù)雜業(yè)務(wù)需求梳理能力
4切油、熟練SQL開發(fā),精通Mysql等關(guān)系型數(shù)據(jù)庫中的一種或幾種
5名惩、熟練掌握Hadoop及Map-Reduce應(yīng)用開發(fā)澎胡,熟練掌握HBase、Hive、Storm滤馍、spark等大數(shù)據(jù)開發(fā)工具中一種或幾種
6岛琼、熟悉Linux系統(tǒng),具備shell巢株、python等腳本開發(fā)能力者優(yōu)先
7槐瑞、學(xué)習(xí)能力強,喜歡研究開源新技術(shù)阁苞,有團隊觀念困檩,具備獨立解決問題的能力
能力三核模型分析
綜合結(jié)果如下
知識
1、本科及以上學(xué)歷(3)
2那槽、計算機相關(guān)專業(yè)(4)
硬技能
1悼沿、熟練掌握hadoop、Hbase骚灸、Hive糟趾、Storm、Spark Streaming甚牲、flink等大數(shù)據(jù)開發(fā)工具中一種或幾種(5)
2义郑、熟悉shell、python丈钙、scala非驮、java等至少一種開發(fā)語言(5)
3、熟悉linux/unix系統(tǒng)(2)
4雏赦、有數(shù)據(jù)倉庫建設(shè)劫笙、數(shù)據(jù)處理、數(shù)據(jù)建模星岗、數(shù)據(jù)分析相關(guān)經(jīng)驗(2)
5填大、精通sql,熟悉常用的關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫(1)
才干or 軟技能
1伍茄、良好的團隊精神(3)
2栋盹、較強的學(xué)習(xí)能力和欲望(3)
3、強烈的責(zé)任心(2)
4敷矫、獨立解決問題能力(1)
分析
????從上面硬技能來看例获,同時具備1,2曹仗,3項不是很難榨汤,這個都是程序開發(fā)的范疇,但是要和4怎茫,5兩個條件同時具備這個就非常難了收壕,這是明顯的兩個職位妓灌。所以需要先看一下工作職責(zé)和內(nèi)容
崗位職責(zé)
1、負責(zé)數(shù)據(jù)倉庫建設(shè)蜜宪、ETL開發(fā)虫埂、數(shù)據(jù)分析(3)
2、負責(zé)數(shù)據(jù)指標統(tǒng)計(2)
3圃验、負責(zé)大數(shù)據(jù)實時計算平臺及業(yè)務(wù)開發(fā)(1)
4掉伏、負責(zé)大數(shù)據(jù)平臺建設(shè)及維護(2)
????通過上面4項總結(jié)后的崗位職責(zé)可以看出,1澳窑、2兩項職責(zé)是針對數(shù)據(jù)倉庫崗位要求斧散,也就是前面系列文章大數(shù)據(jù)崗位要求之數(shù)據(jù)倉庫所介紹內(nèi)容;第3項崗位職責(zé)主要是對應(yīng)第一項hadoop生態(tài)體系硬技能要求的摊聋,主要是在實時計算及二次開發(fā)方面鸡捐;第4項崗位要求是大數(shù)據(jù)平臺工具的開發(fā),一般包括開發(fā)平臺麻裁、調(diào)度系統(tǒng)箍镜、元數(shù)據(jù)平臺等工具,主要對應(yīng)java等語言開發(fā)能力要求悲立。
個人經(jīng)驗
????通過上述分析可以知道數(shù)據(jù)倉庫開發(fā)鹿寨、實時計算開發(fā)、大數(shù)據(jù)平臺開發(fā)一般都會被稱作大數(shù)據(jù)開發(fā)薪夕,其實這是3個崗位,各自要求也不盡相同赫悄。希望對應(yīng)屆生同學(xué)或者想轉(zhuǎn)入大數(shù)據(jù)行業(yè)的同學(xué)有所幫助原献。
????延伸一下hadoop生態(tài)體系太龐大了,包括但不限于hdfs埂淮、hive姑隅、hbase、storm倔撞、spark讲仰、flink、kafka痪蝇、flume等鄙陡,所以作為一個優(yōu)秀的大數(shù)據(jù)開發(fā),尤其是大數(shù)據(jù)運維同學(xué)的學(xué)習(xí)能力的要求是非常高的躏啰。在非大數(shù)據(jù)同學(xué)看來這些都是大數(shù)據(jù)同學(xué)應(yīng)該掌握的趁矾,并且在一般公司招聘時也不會每個系統(tǒng)招一個人,也都是綜合要求给僵,這樣大神或者架構(gòu)師市面上還是有的毫捣,只是太少了,所以大數(shù)據(jù)開發(fā)的薪酬待遇高也是有道理的。
系列文章
大數(shù)據(jù)崗位要求之數(shù)據(jù)測試
大數(shù)據(jù)崗位要求之數(shù)據(jù)挖掘
大數(shù)據(jù)崗位要求之數(shù)據(jù)倉庫
大數(shù)據(jù)崗位要求之數(shù)據(jù)產(chǎn)品經(jīng)理
大數(shù)據(jù)崗位要求之數(shù)據(jù)分析師
大數(shù)據(jù)崗位介紹-引子(能力三核模型)