現(xiàn)在由于人工智能的大熱筑舅,這方面的人才稀缺庄岖,薪資水平不用說,行業(yè)中的NO.1心剥,所以各路人馬紛紛集結(jié)互聯(lián)網(wǎng)行業(yè)背桐,有轉(zhuǎn)行的,有轉(zhuǎn)崗的畦娄。對于初學(xué)者在學(xué)習(xí)這方面肯定有許多疑問,是什么疑問呢杖刷,我在這里一 一給你解答驳癌。
一、首先要搞清楚一個概念表窘,什么是大數(shù)據(jù)甜滨。
大數(shù)據(jù)又稱巨量資料,就是數(shù)據(jù)量大昂验、來源廣昭娩、種類繁多(日志、視頻呛梆、音頻)磕诊,大到PB級別,現(xiàn)階段的框架就是為了解決PB級別的數(shù)據(jù)滞磺。
專業(yè)的來講:大數(shù)據(jù)(big data,mega data)莱褒,或稱巨量資料,指的是需要新處理模式才能具有更強(qiáng)的決策力阅茶、洞察力和流程優(yōu)化能力的海量谅海、高增長率和多樣化的信息資產(chǎn)。 在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑撞蜂,而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點:Volume(大量)蝌诡、Velocity(高速)、Variety(多樣)顽照、Value(價值密度)闽寡、Veracity(真實性)爷狈。
二裳擎、學(xué)習(xí)大數(shù)據(jù)需要什么語言基礎(chǔ)?
首先羡微,學(xué)習(xí)大數(shù)據(jù)是需要有java惶我,python和R語言的基礎(chǔ)。
1)Java學(xué)習(xí)到什么樣的程度才可以學(xué)習(xí)大數(shù)據(jù)呢盯蝴?java需要學(xué)會javaSE即可听怕。javaweb,javaee對于大數(shù)據(jù)用不到闽烙。學(xué)會了javase就可以看懂hadoop框架声搁。
2)python是最容易學(xué)習(xí)的,難易程度:python < java < Scala 摊溶。python不是比java更直觀好理解么充石,因為會了Python 還是要學(xué)習(xí)java的霞玄,你學(xué)會了java拉岁,再來學(xué)習(xí)python會很簡單的坷剧,一周的時間就可以學(xué)會python惫企。
3)R語言也可以學(xué)習(xí)陵叽,但是不推薦,因為java用的人最多(http://www.199it.com/archives/721259.html)偏序,大數(shù)據(jù)的第一個框架Hadoop胖替,底層全是Java寫的。就算學(xué)會了R還是看不懂handoop端朵。
java在大數(shù)據(jù)中的作用是構(gòu)成大數(shù)據(jù)的語言燃箭,大數(shù)據(jù)的第一個框架Hadoop,底層全是Java寫的 碗硬,所以推薦首選學(xué)習(xí)java瓢颅。再給你們舉例說明下它們的分工和作用,java注重業(yè)務(wù)翰意,大數(shù)據(jù)注重數(shù)據(jù)信柿,前端是臉(頁面顯示),java是胳膊(業(yè)務(wù))进鸠,大數(shù)據(jù)是直男大腦形病,人工智能霞幅,深度學(xué)習(xí)是有情商的大腦量瓜。
例:
你:我渴了
直男大腦:呵呵,多喝水扔傅!
情商大腦:我這里有橙汁烫饼,礦泉水,綠茶邢享,你喜歡哪個淡诗?不過看你平時喜歡喝飲料韩容,要不要來一杯橙汁唐瀑。
三、職業(yè)發(fā)展方向
學(xué)會了大數(shù)據(jù)请梢,不需要從java做起力穗,可以直接做大數(shù)據(jù)開發(fā)工程師等積累了幾年的經(jīng)驗, 就可以做算法工程師了够坐⊙旅妫看看學(xué)會了大數(shù)據(jù)可以從事哪些崗位:
大數(shù)據(jù)開發(fā)工程師
數(shù)據(jù)分析師
hadoop開發(fā)工程師
spark開發(fā)工程師
數(shù)據(jù)倉庫開發(fā)工程師
數(shù)據(jù)清洗工程師(ETL)
大數(shù)據(jù)架構(gòu)師
算法工程
四、優(yōu)勢
大數(shù)據(jù)受國家大力支持大量的資源都投資在這方面庶香,大數(shù)據(jù)中心在貴州落坐赶掖,人工智能和云計算都基于大數(shù)據(jù)感猛,需要大批大數(shù)據(jù)人才唱遭。
五、大數(shù)據(jù)人才薪資待遇
一般的一線城市大數(shù)據(jù)相關(guān)崗位平均月薪在12-15K 北京平均17K拷泽,大數(shù)據(jù)算法工程師司致,年薪在30萬—50萬左右聋迎。
六、學(xué)習(xí)大數(shù)據(jù)有學(xué)歷/專業(yè) 有要求嗎
高中也找到工作霉晕,但是大專以上學(xué)歷更好,雖然是本科學(xué)歷拄轻,但大學(xué)四年中也沒有學(xué)習(xí)到實際的操作技能伟葫,學(xué)習(xí)到的東西在工作中用不到,只是在理解某些東西容易些筏养。
七、大數(shù)據(jù)抓取數(shù)據(jù)手段有哪些辉浦?
爬蟲盏浙、Flume
八荔茬、學(xué)大數(shù)據(jù)用會java的那些框架嗎
SSHSSMSpringBootSpringCloud 這些框架在大數(shù)據(jù)中不會用到,對于學(xué)習(xí)技術(shù)的人來說慕蔚,當(dāng)然懂得這些技術(shù)會更好。
九灌闺、學(xué)習(xí)路線
javaSE + linux + Hadoop生態(tài)圈 + Strom + Spark + 算法
正常來講學(xué)習(xí)大數(shù)據(jù)之前都要做到以下幾點:
1.學(xué)習(xí)基礎(chǔ)的編程語言(java,python)
2.掌握入門編程基礎(chǔ)(linux操作,數(shù)據(jù)庫操作桂对、git操作)
3.學(xué)習(xí)大數(shù)據(jù)里面的各種框架(hadoop、hive逾柿、hbase宅此、spark)
這是正常學(xué)習(xí)大數(shù)據(jù)必須要做到的三個步驟,如果有了java基礎(chǔ)再去學(xué)習(xí)基本上已經(jīng)成功了一半弱匪,起碼不用為了基礎(chǔ)語言的學(xué)習(xí)而惱火了璧亮。 真正的大數(shù)據(jù)的學(xué)習(xí)不能僅僅停留在理論的層面上,比如現(xiàn)在經(jīng)常用到的spark框架目前支持兩種語言的開發(fā)java或者Scala财搁,現(xiàn)在python語言也能支持了。大數(shù)據(jù)的方向的切入是全方位的,基礎(chǔ)語言的學(xué)習(xí)只是很小的一個方面搭儒,編程落實到最后到編程思想,有了指導(dǎo)思想學(xué)習(xí)起來就能方便很多馁菜。
以上是我總結(jié)了幾點想朝大數(shù)據(jù)這方面發(fā)展學(xué)習(xí)的學(xué)員遇到的一些問題铃岔,如果你覺得有用,可以多多關(guān)注智嚷,當(dāng)然在學(xué)習(xí)的過程中還會遇到更多的問題纺且,歡迎與我交流,我的QQ :3348563420 我會一 一幫大家解答猜嘱。