大數(shù)據(jù)崗位要求之大數(shù)據(jù)開發(fā)工程師

????繼續(xù)介紹大數(shù)據(jù)系列崗位的要求,今天是“最熱門”的崗位大數(shù)據(jù)開發(fā)工程師士鸥,之所以說熱門主要是基于2個原因,一是因為很多應(yīng)屆生或者想轉(zhuǎn)入大數(shù)據(jù)行業(yè)的同學(xué)谆级,都是期望從事“大數(shù)據(jù)開發(fā)”這一定位不是很清晰的崗位烤礁;二是因為至少有3個崗位可以稱為“大數(shù)據(jù)開發(fā)”,所以這里的“最熱門”需要詳細分析肥照。老套路先從幾個大廠的崗位要求說起脚仔。

今日頭條

1、本科以上學(xué)歷舆绎,軟件工程/計算機/通信/數(shù)學(xué)等相關(guān)專業(yè)鲤脏;
2、熟悉Hive SQL語言吕朵,熟悉shell, python等至少一種腳本語言猎醇;
3、有hadoop努溃、spark硫嘶、flink等至少一種大數(shù)據(jù)平臺的使用經(jīng)驗;
4茅坛、理解能力強音半,善于溝通,有責(zé)任心和團隊精神贡蓖;
5曹鸠、有數(shù)據(jù)倉庫建設(shè)、商業(yè)數(shù)據(jù)分析斥铺、增長項目經(jīng)驗者優(yōu)先彻桃。

有贊

1、java/scala至少熟練使用一種
2晾蜘、具備扎實的計算機理論基礎(chǔ), 對數(shù)據(jù)結(jié)構(gòu)及算法有較強的功底
3邻眷、熟悉至少一種實時計算引擎 Storm, Spark Streaming, Flink, 對hadoop生態(tài)其他組件有一定了解,比如 HBase剔交, hadoop, Hive, Druid等
4肆饶、有大規(guī)模集群應(yīng)用開發(fā)經(jīng)驗優(yōu)先
5、有BAT工作經(jīng)驗優(yōu)先
6岖常、具備良好工作習(xí)慣和團隊協(xié)作精神

華為

1驯镊、計算機或相關(guān)專業(yè)本科及以上學(xué)歷,對數(shù)據(jù)處理、數(shù)據(jù)建模板惑、數(shù)據(jù)分析等有深刻認識和實戰(zhàn)經(jīng)驗橄镜;
2、熟悉Hadoop/Spark/Hive/HBase等大數(shù)據(jù)工具冯乘,主導(dǎo)過大型數(shù)據(jù)平臺建設(shè)者優(yōu)先洽胶;
3、精通SQL裆馒,熟悉常用的關(guān)系型數(shù)據(jù)庫姊氓、非關(guān)系性數(shù)據(jù)庫和數(shù)據(jù)倉庫,具有SQL性能優(yōu)化經(jīng)驗领追;
4他膳、了解微服務(wù)開發(fā)理念响逢、實現(xiàn)技術(shù)绒窑,熟悉常見設(shè)計模式,熟練掌握SSH開發(fā)框架舔亭,熟練進行Java些膨、Python代碼編寫,熟悉多線程編程钦铺;
5订雾、思維敏捷,對新技術(shù)敏感矛洞,有較強的鉆研學(xué)習(xí)能力洼哎;

螞蟻金服

1、三年以上工作經(jīng)驗沼本,有大型互聯(lián)網(wǎng)行業(yè)從業(yè)經(jīng)驗
2噩峦、有Hadoop/Hive/Spark/Storm/Zookeeper 等相關(guān)開發(fā)經(jīng)驗或從事分布式相關(guān)系統(tǒng)的開發(fā)工作
3、熟悉Linux/Unix系統(tǒng)和豐富的Java開發(fā)經(jīng)驗
4抽兆、具有強烈的責(zé)任心识补,求知欲望強

小影

1、本科及以上學(xué)歷辫红,計算機相關(guān)專業(yè)
2凭涂、3年以上企業(yè)級數(shù)據(jù)倉庫開發(fā)經(jīng)驗
3、熟悉數(shù)據(jù)倉庫理論贴妻,具備復(fù)雜業(yè)務(wù)需求梳理能力
4切油、熟練SQL開發(fā),精通Mysql等關(guān)系型數(shù)據(jù)庫中的一種或幾種
5名惩、熟練掌握Hadoop及Map-Reduce應(yīng)用開發(fā)澎胡,熟練掌握HBase、Hive、Storm滤馍、spark等大數(shù)據(jù)開發(fā)工具中一種或幾種
6岛琼、熟悉Linux系統(tǒng),具備shell巢株、python等腳本開發(fā)能力者優(yōu)先
7槐瑞、學(xué)習(xí)能力強,喜歡研究開源新技術(shù)阁苞,有團隊觀念困檩,具備獨立解決問題的能力

能力三核模型分析

大數(shù)據(jù)開發(fā)工程師.png

綜合結(jié)果如下

知識

1、本科及以上學(xué)歷(3)
2那槽、計算機相關(guān)專業(yè)(4)

硬技能

1悼沿、熟練掌握hadoop、Hbase骚灸、Hive糟趾、Storm、Spark Streaming甚牲、flink等大數(shù)據(jù)開發(fā)工具中一種或幾種(5)
2义郑、熟悉shell、python丈钙、scala非驮、java等至少一種開發(fā)語言(5)
3、熟悉linux/unix系統(tǒng)(2)
4雏赦、有數(shù)據(jù)倉庫建設(shè)劫笙、數(shù)據(jù)處理、數(shù)據(jù)建模星岗、數(shù)據(jù)分析相關(guān)經(jīng)驗(2)
5填大、精通sql,熟悉常用的關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫(1)

才干or 軟技能

1伍茄、良好的團隊精神(3)
2栋盹、較強的學(xué)習(xí)能力和欲望(3)
3、強烈的責(zé)任心(2)
4敷矫、獨立解決問題能力(1)

分析

????從上面硬技能來看例获,同時具備1,2曹仗,3項不是很難榨汤,這個都是程序開發(fā)的范疇,但是要和4怎茫,5兩個條件同時具備這個就非常難了收壕,這是明顯的兩個職位妓灌。所以需要先看一下工作職責(zé)和內(nèi)容

崗位職責(zé)

1、負責(zé)數(shù)據(jù)倉庫建設(shè)蜜宪、ETL開發(fā)虫埂、數(shù)據(jù)分析(3)
2、負責(zé)數(shù)據(jù)指標統(tǒng)計(2)
3圃验、負責(zé)大數(shù)據(jù)實時計算平臺及業(yè)務(wù)開發(fā)(1)
4掉伏、負責(zé)大數(shù)據(jù)平臺建設(shè)及維護(2)
????通過上面4項總結(jié)后的崗位職責(zé)可以看出,1澳窑、2兩項職責(zé)是針對數(shù)據(jù)倉庫崗位要求斧散,也就是前面系列文章大數(shù)據(jù)崗位要求之數(shù)據(jù)倉庫所介紹內(nèi)容;第3項崗位職責(zé)主要是對應(yīng)第一項hadoop生態(tài)體系硬技能要求的摊聋,主要是在實時計算及二次開發(fā)方面鸡捐;第4項崗位要求是大數(shù)據(jù)平臺工具的開發(fā),一般包括開發(fā)平臺麻裁、調(diào)度系統(tǒng)箍镜、元數(shù)據(jù)平臺等工具,主要對應(yīng)java等語言開發(fā)能力要求悲立。

個人經(jīng)驗

????通過上述分析可以知道數(shù)據(jù)倉庫開發(fā)鹿寨、實時計算開發(fā)、大數(shù)據(jù)平臺開發(fā)一般都會被稱作大數(shù)據(jù)開發(fā)薪夕,其實這是3個崗位,各自要求也不盡相同赫悄。希望對應(yīng)屆生同學(xué)或者想轉(zhuǎn)入大數(shù)據(jù)行業(yè)的同學(xué)有所幫助原献。
????延伸一下hadoop生態(tài)體系太龐大了,包括但不限于hdfs埂淮、hive姑隅、hbase、storm倔撞、spark讲仰、flink、kafka痪蝇、flume等鄙陡,所以作為一個優(yōu)秀的大數(shù)據(jù)開發(fā),尤其是大數(shù)據(jù)運維同學(xué)的學(xué)習(xí)能力的要求是非常高的躏啰。在非大數(shù)據(jù)同學(xué)看來這些都是大數(shù)據(jù)同學(xué)應(yīng)該掌握的趁矾,并且在一般公司招聘時也不會每個系統(tǒng)招一個人,也都是綜合要求给僵,這樣大神或者架構(gòu)師市面上還是有的毫捣,只是太少了,所以大數(shù)據(jù)開發(fā)的薪酬待遇高也是有道理的。

系列文章

大數(shù)據(jù)崗位要求之數(shù)據(jù)測試
大數(shù)據(jù)崗位要求之數(shù)據(jù)挖掘
大數(shù)據(jù)崗位要求之數(shù)據(jù)倉庫
大數(shù)據(jù)崗位要求之數(shù)據(jù)產(chǎn)品經(jīng)理
大數(shù)據(jù)崗位要求之數(shù)據(jù)分析師
大數(shù)據(jù)崗位介紹-引子(能力三核模型)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末蔓同,一起剝皮案震驚了整個濱河市饶辙,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌斑粱,老刑警劉巖畸悬,帶你破解...
    沈念sama閱讀 218,204評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異珊佣,居然都是意外死亡蹋宦,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,091評論 3 395
  • 文/潘曉璐 我一進店門咒锻,熙熙樓的掌柜王于貴愁眉苦臉地迎上來冷冗,“玉大人,你說我怎么就攤上這事惑艇≥镎蓿” “怎么了?”我有些...
    開封第一講書人閱讀 164,548評論 0 354
  • 文/不壞的土叔 我叫張陵滨巴,是天一觀的道長思灌。 經(jīng)常有香客問我,道長恭取,這世上最難降的妖魔是什么泰偿? 我笑而不...
    開封第一講書人閱讀 58,657評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮蜈垮,結(jié)果婚禮上耗跛,老公的妹妹穿的比我還像新娘。我一直安慰自己攒发,他們只是感情好调塌,可當我...
    茶點故事閱讀 67,689評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著惠猿,像睡著了一般羔砾。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上偶妖,一...
    開封第一講書人閱讀 51,554評論 1 305
  • 那天姜凄,我揣著相機與錄音,去河邊找鬼餐屎。 笑死檀葛,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的腹缩。 我是一名探鬼主播屿聋,決...
    沈念sama閱讀 40,302評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼空扎,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了润讥?” 一聲冷哼從身側(cè)響起转锈,我...
    開封第一講書人閱讀 39,216評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎楚殿,沒想到半個月后撮慨,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,661評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡脆粥,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,851評論 3 336
  • 正文 我和宋清朗相戀三年砌溺,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片变隔。...
    茶點故事閱讀 39,977評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡规伐,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出匣缘,到底是詐尸還是另有隱情猖闪,我是刑警寧澤,帶...
    沈念sama閱讀 35,697評論 5 347
  • 正文 年R本政府宣布肌厨,位于F島的核電站培慌,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏柑爸。R本人自食惡果不足惜吵护,卻給世界環(huán)境...
    茶點故事閱讀 41,306評論 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望竖配。 院中可真熱鬧何址,春花似錦、人聲如沸进胯。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,898評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽胁镐。三九已至,卻和暖如春诸衔,著一層夾襖步出監(jiān)牢的瞬間盯漂,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,019評論 1 270
  • 我被黑心中介騙來泰國打工笨农, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留就缆,地道東北人。 一個月前我還...
    沈念sama閱讀 48,138評論 3 370
  • 正文 我出身青樓谒亦,卻偏偏與公主長得像竭宰,于是被迫代替她去往敵國和親空郊。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,927評論 2 355

推薦閱讀更多精彩內(nèi)容