第一節(jié):為什么要學(xué)習(xí)大數(shù)據(jù)
1疾掰、目的:為了很好的工作
2、對比:Java開發(fā)和大數(shù)據(jù)開發(fā)
第二節(jié):什么是大數(shù)據(jù)
舉例:
1.商品推薦: 問題:(1)大量訂單如何存儲(chǔ)听皿?(2)大量訂單如何計(jì)算熟呛?
2.天氣預(yù)報(bào): 問題:(1)大量天氣數(shù)據(jù)如何存儲(chǔ)(2)大量天氣數(shù)據(jù)如何計(jì)算
什么是大數(shù)據(jù),本質(zhì)
(1)數(shù)據(jù)的存儲(chǔ):分布式文件系統(tǒng)(分布式存儲(chǔ))
(2)數(shù)據(jù)的計(jì)算:分布式計(jì)算
第三節(jié):Java和大數(shù)據(jù)的關(guān)系尉姨?
1庵朝、hadoop:基于Java語言開發(fā)
2、spark:基于scala語言又厉,scala基于Java語言
第四節(jié):學(xué)習(xí)大數(shù)據(jù)需要的基礎(chǔ)和路線
1九府、學(xué)習(xí)大數(shù)據(jù)需要的基礎(chǔ):Java基礎(chǔ)(javase)---》類繼承、i/o覆致、反射侄旬、泛型。煌妈。儡羔。。
???????????????????????????????????????? Linux基礎(chǔ)(linux的操作)--》創(chuàng)建文件目錄璧诵、vi編輯器等
2笔链、學(xué)習(xí)路線:
(1)Java基礎(chǔ)和linux基礎(chǔ)
(2)hadoop的學(xué)習(xí):體系結(jié)構(gòu),原理腮猖,編程
?????????????????????? (*)第一階段:HDFS、Mapreduce赞枕、HBase(Nosql數(shù)據(jù)庫)
?????????????????????? (*)第二階段:數(shù)據(jù)分析引擎--》Hive澈缺、pig
???????????????????????????????? 數(shù)據(jù)采集引擎--》sqoop、flume
?????????????????????? (*)第三階段:HUE:Web管理工具
??????????????????????????????? ZooKeeper:實(shí)現(xiàn)Hadoop的HA
???????????????????????????????? Oozie:工作流引擎
(3)Spark的學(xué)習(xí)
???????????????????? (*)第一階段:Scala編程語言
???????????????????? (*)第二階段:Spark Core----->基于內(nèi)存炕婶,數(shù)據(jù)計(jì)算
????????????????????? (*)第三階段:spark sql------》類似于Oracle中的sql語句
????????????????????? (*)第四階段:spark Streaming------》進(jìn)行實(shí)時(shí)計(jì)算(流式計(jì)算):比如自來水廠
(4)Apache Storm:類似于Spark streaming
????? ? ? ? ? ? ? ? (*)NoSQL:Redis基于內(nèi)存的數(shù)據(jù)庫