大數(shù)據(jù)好學(xué)嗎巷嚣？大數(shù)據(jù)要學(xué)什么喘先？需要學(xué)習(xí)哪些技術(shù)？相信這是很多學(xué)習(xí)大數(shù)據(jù)的朋友最關(guān)心的問題廷粒！科多大數(shù)據(jù)這篇文檔主要針對(duì)零基礎(chǔ)大數(shù)據(jù)工程師產(chǎn)品每個(gè)階段進(jìn)行通俗易懂簡(jiǎn)易介紹窘拯，方便想學(xué)習(xí)大數(shù)據(jù)了解我們！

第一階段：靜態(tài)網(wǎng)頁(yè)基礎(chǔ)（HTML+CSS）

1.難易程度：一顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：48課時(shí)

3.主要技術(shù)包括：html常用標(biāo)簽评雌、CSS常見布局树枫、樣式、定位等景东、靜態(tài)頁(yè)面的設(shè)計(jì)制作方式等

4.描述如下：

從技術(shù)層面來說，該階段使用的技術(shù)代碼很簡(jiǎn)單奔誓、易于學(xué)習(xí)斤吐、方便理解。從

后期課程層來說厨喂，因?yàn)槲覀冎攸c(diǎn)是大數(shù)據(jù)和措，但前期需要鍛煉編程技術(shù)與思維。經(jīng)

過我們多年開發(fā)和授課的項(xiàng)目經(jīng)理分析蜕煌，滿足這兩點(diǎn)派阱，目前市場(chǎng)上最好理解和掌

握的技術(shù)是J2EE，但J2EE又離不開頁(yè)面技術(shù)斜纪。所以第一階段我們的重點(diǎn)是頁(yè)面

技術(shù)贫母。采用市場(chǎng)上主流的HTMl+CSS。

一盒刚、第二階段：JavaSE+JavaWeb

1.難易程度：兩顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：264課時(shí)

3.主要技術(shù)包括：java基礎(chǔ)語(yǔ)法腺劣、java面向?qū)ο螅悺?duì)象因块、封裝橘原、繼承、多態(tài)涡上、

抽象類趾断、接口、常見類吩愧、內(nèi)部類芋酌、常見修飾符等）、異常耻警、集合隔嫡、文件甸怕、IO、

MYSQL（基本SQL語(yǔ)句操作腮恩、多表查詢梢杭、子查詢、存儲(chǔ)過程秸滴、事務(wù)武契、分布式事務(wù)）

JDBC、線程荡含、反射咒唆、Socket編程、枚舉释液、泛型全释、設(shè)計(jì)模式

4.描述如下：

稱為Java基礎(chǔ)，由淺入深的技術(shù)點(diǎn)误债、真實(shí)商業(yè)項(xiàng)目模塊分析浸船、多種存儲(chǔ)方式的設(shè)計(jì)

與實(shí)現(xiàn)。該階段是前四個(gè)階段最最重要的階段寝蹈，因?yàn)楹竺嫠须A段的都要基于此階段李命，也是學(xué)習(xí)大數(shù)據(jù)緊密度最高的階段。本階段將第一次接觸團(tuán)隊(duì)開發(fā)箫老、產(chǎn)出具有前后臺(tái)（第一階段技術(shù)+第二階段的技術(shù)綜合應(yīng)用）的真實(shí)項(xiàng)目封字。

二、第三階段：前端框架

1.難易程序：兩星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：64課時(shí)

3.主要技術(shù)包括：JavaScript耍鬓、Jquery阔籽、注解反射一起使用，XML以及XML解析界斜、解析dom4j仿耽、jxab、jdk8.0新特性各薇、SVN项贺、Maven、easyui

4.描述如下：

前兩個(gè)階段的基礎(chǔ)上化靜為動(dòng)峭判，可以實(shí)現(xiàn)讓我們網(wǎng)頁(yè)內(nèi)容更加的豐富开缎，當(dāng)然如果從

市場(chǎng)人員層面來說，有專業(yè)的前端設(shè)計(jì)人員林螃，我們?cè)O(shè)計(jì)本階段的目標(biāo)在于前端的技

術(shù)可以更直觀的鍛煉人的思維和設(shè)計(jì)能力奕删。同時(shí)我們也將第二階段的高級(jí)特性融入

到本階段。使學(xué)習(xí)者更上一層樓疗认。

三完残、第四階段：企業(yè)級(jí)開發(fā)框架

1.難易程序：三顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：176課時(shí)

3.主要技術(shù)包括：Hibernate伏钠、Spring、SpringMVC谨设、log4j slf4j 整合熟掂、myBatis、struts2扎拣、Shiro赴肚、redis、流程引擎activity二蓝， 爬蟲技術(shù)nutch,lucene誉券，webService CXF、Tomcat集群和熱備 刊愚、MySQL讀寫分離

4.描述如下：

如果將整個(gè)JAVA課程比作一個(gè)糕點(diǎn)店踊跟，那前面三個(gè)階段可以做出一個(gè)武大郎燒餅

（因?yàn)槭羌兪止?太麻煩），而學(xué)習(xí)框架是可以開一個(gè)星巴克（高科技設(shè)備-省時(shí)省力）鸥诽。

從J2EE開發(fā)工程師的任職要求來說琴锭，該階段所用到的技術(shù)是必須掌握，而我們所

授的課程是高于市場(chǎng)（市場(chǎng)上主流三大框架衙传，我們進(jìn)行七大框架技術(shù)傳授）、而且

有真實(shí)的商業(yè)項(xiàng)目驅(qū)動(dòng)厕九。需求文檔蓖捶、概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)扁远、源碼測(cè)試俊鱼、部署、安裝

手冊(cè)等都會(huì)進(jìn)行講解畅买。

四并闲、第五階段： 初識(shí)大數(shù)據(jù)

1.難易程度：三顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：80課時(shí)

3.主要技術(shù)包括：大數(shù)據(jù)前篇（什么是大數(shù)據(jù)，應(yīng)用場(chǎng)景谷羞，如何學(xué)習(xí)大數(shù)據(jù)庫(kù)帝火，虛擬機(jī)概念和安裝等）酪耳、Linux常見命令（文件管理综芥、系統(tǒng)管理狞尔、磁盤管理）拟蜻、Linux Shell編程（SHELL變量死姚、循環(huán)控制瓷翻、應(yīng)用）帅腌、Hadoop入門（Hadoop組成室琢、單機(jī)版環(huán)境蹂季、目錄結(jié)構(gòu)冕广、HDFS界面疏日、MR界面、簡(jiǎn)單的SHELL撒汉、java訪問hadoop）沟优、HDFS（簡(jiǎn)介、SHELL神凑、IDEA開發(fā)工具使用净神、全分布式集群搭建）、MapReduce應(yīng)用（中間計(jì)算過程溉委、Java操作MapReduce鹃唯、程序運(yùn)行、日志監(jiān)控）瓣喊、Hadoop高級(jí)應(yīng)用（YARN框架介紹坡慌、配置項(xiàng)與優(yōu)化、CDH簡(jiǎn)介藻三、環(huán)境搭建）洪橘、擴(kuò)展（MAP 端優(yōu)化，COMBINER 使用方法見棵帽，TOP K,SQOOP導(dǎo)出熄求，其它虛擬機(jī)VM的快照，權(quán)限管理命令逗概，AWK 與 SED命令）

4.描述如下：

該階段設(shè)計(jì)是為了讓新人能夠?qū)Υ髷?shù)據(jù)有一個(gè)相對(duì)的大概念怎么相對(duì)呢弟晚？在前

置課程JAVA的學(xué)習(xí)過后能夠理解程序在單機(jī)的電腦上是如何運(yùn)行的。現(xiàn)在逾苫，大

數(shù)據(jù)呢卿城？大數(shù)據(jù)是將程序運(yùn)行在大規(guī)模機(jī)器的集群中處理。大數(shù)據(jù)當(dāng)然是要處理

數(shù)據(jù)铅搓，所以同樣瑟押，數(shù)據(jù)的存儲(chǔ)從單機(jī)存儲(chǔ)變?yōu)槎鄼C(jī)器大規(guī)模的集群存儲(chǔ)。

（你問我什么是集群星掰？好多望，我有一大鍋飯，我一個(gè)人可以吃完蹋偏，但是要很久便斥，現(xiàn)在我

叫大家一起吃。一個(gè)人的時(shí)候叫人威始，人多了呢枢纠？ 是不是叫人群啊！）

那么大數(shù)據(jù)可以初略的分為： 大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理

所以在這個(gè)階段中呢晋渺，我們課程設(shè)計(jì)了大數(shù)據(jù)的標(biāo)準(zhǔn)：HADOOP

吶镰绎，大數(shù)據(jù)的運(yùn)行呢并不是在咋們經(jīng)常使用的WINDOWS 7或者W10上面，而是

現(xiàn)在使用最廣泛的系統(tǒng)：LINUX木西。

五畴栖、第六階段：大數(shù)據(jù)數(shù)據(jù)庫(kù)

1.難易程度：四顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：88課時(shí)

3.主要技術(shù)包括：Hive入門（Hive簡(jiǎn)介、Hive使用場(chǎng)景八千、環(huán)境搭建吗讶、架構(gòu)說明、工作機(jī)制）恋捆、Hive Shell編程（建表照皆、查詢語(yǔ)句、分區(qū)與分桶沸停、索引管理和視圖）膜毁、Hive高級(jí)應(yīng)用（DISTINCT實(shí)現(xiàn)、groupby愤钾、join瘟滨、sql轉(zhuǎn)化原理、java編程能颁、配置和優(yōu)化）杂瘸、hbase入門、Hbase SHELL編程（DDL伙菊、DML胧沫、Java操作建表、查詢占业、壓縮、過濾器）纯赎、細(xì)說Hbase模塊（REGION谦疾、HREGION SERVER、HMASTER犬金、ZOOKEEPER簡(jiǎn)介念恍、ZOOKEEPER配置、Hbase與Zookeeper集成）晚顷、HBASE高級(jí)特性（讀寫流程峰伙、數(shù)據(jù)模型、模式設(shè)計(jì)讀寫熱點(diǎn)该默、優(yōu)化與配置）

4.描述如下：

該階段設(shè)計(jì)是為了讓大家在理解大數(shù)據(jù)如何處理大規(guī)模的數(shù)據(jù)的同時(shí)瞳氓。簡(jiǎn)化咋們的

編寫程序時(shí)間，同時(shí)提高讀取速度栓袖。

怎么簡(jiǎn)化呢匣摘？在第一階段中店诗，如果需要進(jìn)行復(fù)雜的業(yè)務(wù)關(guān)聯(lián)與數(shù)據(jù)挖掘，自行編寫

MR程序是非常繁雜的音榜。所以在這一階段中我們引入了HIVE庞瘸，大數(shù)據(jù)中的數(shù)據(jù)倉(cāng)

庫(kù)。這里有一個(gè)關(guān)鍵字赠叼，數(shù)據(jù)倉(cāng)庫(kù)擦囊。我知道你要問我，所以我先說嘴办，數(shù)據(jù)倉(cāng)庫(kù)呢用

來做數(shù)據(jù)挖掘分析的瞬场，通常是一個(gè)超大的數(shù)據(jù)中心，存儲(chǔ)這些數(shù)據(jù)的呢户辞，一般為

ORACLE,DB2,等大型數(shù)據(jù)庫(kù)泌类，這些數(shù)據(jù)庫(kù)通常用作實(shí)時(shí)的在線業(yè)務(wù)。

總之底燎，要基于數(shù)據(jù)倉(cāng)庫(kù)分析數(shù)據(jù)呢速度是相對(duì)較慢的刃榨。但是方便在于只要熟悉SQL，

學(xué)習(xí)起來相對(duì)簡(jiǎn)單双仍，而HIVE呢就是這樣一種工具枢希，基于大數(shù)據(jù)的SQL查詢工具

吶，這一階段呢還包括HBASE朱沃，它為大數(shù)據(jù)里面的數(shù)據(jù)庫(kù)苞轿。

納悶了，不是學(xué)了一種叫做HIVE的數(shù)據(jù)"倉(cāng)庫(kù)"了么逗物？HIVE是基于MR的所以

查詢起來相當(dāng)慢搬卒，HBASE呢基于大數(shù)據(jù)可以做到實(shí)時(shí)的數(shù)據(jù)查詢。一個(gè)主分析翎卓，

另一個(gè)主查詢

六契邀、 第七階段：實(shí)時(shí)數(shù)據(jù)采集

1.難易程序：四顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：96課時(shí)

3.主要技術(shù)包括：Flume日志采集，KAFKA入門（消息隊(duì)列失暴、應(yīng)用場(chǎng)景坯门、集群搭建）、KAFKA詳解（分區(qū)逗扒、主題古戴、接受者、發(fā)送者矩肩、與ZOOKEEPER集成现恼、Shell開發(fā)、Shell調(diào)試）、KAFKA高級(jí)使用（java開發(fā)述暂、主要配置痹升、優(yōu)化項(xiàng)目）、數(shù)據(jù)可視化（圖形與圖表介紹畦韭、CHARTS工具分類疼蛾、柱狀圖與餅圖、3D圖與地圖）艺配、STORM入門（設(shè)計(jì)思想察郁、應(yīng)用場(chǎng)景、處理過程转唉、集群安裝）皮钠、STROM開發(fā)（STROM MVN開發(fā)、編寫STORM本地程序）赠法、STORM進(jìn)階（java開發(fā)麦轰、主要配置、優(yōu)化項(xiàng)目）砖织、KAFKA異步發(fā)送與批量發(fā)送時(shí)效款侵，KAFKA全局消息有序，STORM多并發(fā)優(yōu)化

4.描述如下：

前面的階段數(shù)據(jù)來源是基于已經(jīng)存在的大規(guī)模數(shù)據(jù)集來做的侧纯，數(shù)據(jù)處理與分析過后

的結(jié)果是存在一定延時(shí)的新锈，通常處理的數(shù)據(jù)為前一天的數(shù)據(jù)。

舉例場(chǎng)景：網(wǎng)站防盜鏈眶熬，客戶賬戶異常妹笆，實(shí)時(shí)征信，遇到這些場(chǎng)景基于前一天的數(shù)

據(jù)分析出來過后呢娜氏？是否太晚了拳缠。所以在本階段中我們引入了實(shí)時(shí)的數(shù)據(jù)采集與分

析。主要包括了：FLUME實(shí)時(shí)數(shù)據(jù)采集贸弥，采集的來源支持非常廣泛脊凰，KAFKA數(shù)據(jù)

數(shù)據(jù)接收與發(fā)送，STORM實(shí)時(shí)數(shù)據(jù)處理茂腥，數(shù)據(jù)處理秒級(jí)別

七、第八階段：SPARK數(shù)據(jù)分析

1.難易程序：五顆星

2.課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：88課時(shí)

3.主要技術(shù)包括：SCALA入門（數(shù)據(jù)類型切省、運(yùn)算符最岗、控制語(yǔ)句、基礎(chǔ)函數(shù)）朝捆、SCALA進(jìn)階（數(shù)據(jù)結(jié)構(gòu)般渡、類、對(duì)象、特質(zhì)驯用、模式匹配脸秽、正則表達(dá)式）、SCALA高級(jí)使用（高階函數(shù)蝴乔、科里函數(shù)记餐、偏函數(shù)、尾迭代薇正、自帶高階函數(shù)等）片酝、SPARK入門（環(huán)境搭建、基礎(chǔ)結(jié)構(gòu)挖腰、運(yùn)行模式）雕沿、Spark數(shù)據(jù)集與編程模型、SPARK SQL猴仑、SPARK 進(jìn)階（DATA FRAME审轮、DATASET、SPARK STREAMING原理辽俗、SPARK STREAMING支持源疾渣、集成KAFKA與SOCKET、編程模型）榆苞、SPARK高級(jí)編程（Spark-GraphX稳衬、Spark-Mllib機(jī)器學(xué)習(xí)）、SPARK高級(jí)應(yīng)用（系統(tǒng)架構(gòu)坐漏、主要配置和性能優(yōu)化薄疚、故障與階段恢復(fù)）、SPARK ?ML KMEANS算法赊琳，SCALA 隱式轉(zhuǎn)化高級(jí)特性

4.描述如下：

同樣先說前面的階段街夭，主要是第一階段。HADOOP呢在分析速度上基于MR的大規(guī)模數(shù)據(jù)集相對(duì)來說還是挺慢的躏筏，包括機(jī)器學(xué)習(xí)板丽，人工智能等。而且不適合做迭代計(jì)算趁尼。SPARK呢在分析上是作為MR的替代產(chǎn)品埃碱，怎么替代呢？ 先說他們的運(yùn)行機(jī)制酥泞，HADOOP基于磁盤存儲(chǔ)分析砚殿，而SPARK基于內(nèi)存分析。我這么說你可能不懂芝囤，再形象一點(diǎn)似炎，就像你要坐火車從北京到上海辛萍，MR就是綠皮火車，而SPARK是高鐵或者磁懸浮羡藐。而SPARK呢是基于SCALA語(yǔ)言開發(fā)的贩毕，當(dāng)然對(duì)SCALA支持最好，所以課程中先學(xué)習(xí)SCALA開發(fā)語(yǔ)言仆嗦。什么辉阶？又要學(xué)另外一種開發(fā)語(yǔ)言？不不不Ｅ菲　＞υ濉！我只說一句話：SCALA是基于JAVA做的邢隧。

科多大數(shù)據(jù)在課程的設(shè)計(jì)方面店印，市面上的職位要求技術(shù)，基本全覆蓋倒慧。而且并不是單純的為了覆蓋職位要求按摘，而是本身課程從前到后就是一個(gè)完整的大數(shù)據(jù)項(xiàng)目流程，一環(huán)扣一環(huán)纫谅。

比如從歷史數(shù)據(jù)的存儲(chǔ)炫贤，分析（HADOOP,HIVE,HBASE），到實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)（FLUME,KAFKA）付秕，分析（STORM,SPARK）兰珍，這些在真實(shí)的項(xiàng)目中都是相互依賴存在的。