大數(shù)據(jù)發(fā)展如火如荼练链，近年來(lái)，許多小伙伴都加入了大數(shù)據(jù)學(xué)習(xí)的大軍奴拦，是自學(xué)還是參加專業(yè)的大數(shù)據(jù)培訓(xùn)媒鼓，成了大家談?wù)摰脑掝}，但重點(diǎn)是错妖，不管是自學(xué)大數(shù)據(jù)技術(shù)還是參加大數(shù)據(jù)培訓(xùn)绿鸣，都要有一個(gè)好的學(xué)習(xí)方法和科學(xué)的大數(shù)據(jù)學(xué)習(xí)課程，我今天就把成都科多大數(shù)據(jù)公司的培訓(xùn)課程分享給大家暂氯，希望對(duì)學(xué)習(xí)大數(shù)據(jù)技術(shù)的小伙伴能有所幫助
PS：第一階段至第四階段潮模，是補(bǔ)充java基礎(chǔ)，無(wú)java基礎(chǔ)的小伙伴痴施，可以按此學(xué)習(xí)路線學(xué)習(xí)擎厢，有java基礎(chǔ)的小伙伴究流，可自行跳轉(zhuǎn)到第五階段開(kāi)始
第一階段：靜態(tài)網(wǎng)頁(yè)基礎(chǔ)（HTML+CSS）
難易程度：一顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：48課時(shí)
主要技術(shù)包括：html常用標(biāo)簽、CSS常見(jiàn)布局动遭、樣式梯嗽、定位等、靜態(tài)頁(yè)面的設(shè)計(jì)制作方式等
描述如下：
??????????????????????? ????? 從技術(shù)層面來(lái)說(shuō)沽损，該階段使用的技術(shù)代碼很簡(jiǎn)單灯节、易于學(xué)習(xí)、方便理解绵估。從
后期課程層來(lái)說(shuō)炎疆，因?yàn)槲覀冎攸c(diǎn)是大數(shù)據(jù)，但前期需要鍛煉編程技術(shù)與思維国裳。經(jīng)
過(guò)我們多年開(kāi)發(fā)和授課的項(xiàng)目經(jīng)理分析形入，滿足這兩點(diǎn)，目前市場(chǎng)上最好理解和掌
握的技術(shù)是J2EE缝左，但J2EE又離不開(kāi)頁(yè)面技術(shù)亿遂。所以第一階段我們的重點(diǎn)是頁(yè)面
技術(shù)。采用市場(chǎng)上主流的HTMl+CSS渺杉。
第二階段：JavaSE+JavaWeb
難易程度：兩顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：264課時(shí)
主要技術(shù)包括：java基礎(chǔ)語(yǔ)法蛇数、java面向?qū)ο螅悺?duì)象是越、封裝耳舅、繼承、多態(tài)倚评、
抽象類浦徊、接口、常見(jiàn)類天梧、內(nèi)部類盔性、常見(jiàn)修飾符等） 、異常呢岗、集合冕香、文件、IO敷燎、
MYSQL(基本SQL語(yǔ)句操作暂筝、多表查詢、子查詢硬贯、存儲(chǔ)過(guò)程焕襟、事務(wù)、分布式事務(wù))
JDBC饭豹、線程鸵赖、反射务漩、Socket編程、枚舉它褪、泛型饵骨、設(shè)計(jì)模式
描述如下：
??????????? ? 稱為Java基礎(chǔ)，由淺入深的技術(shù)點(diǎn)茫打、真實(shí)商業(yè)項(xiàng)目模塊分析居触、多種存儲(chǔ)方式的設(shè)計(jì)
與實(shí)現(xiàn)。該階段是前四個(gè)階段最最重要的階段老赤，因?yàn)楹竺嫠须A段的都要基于此階段轮洋，也是學(xué)習(xí)大數(shù)據(jù)緊密度最高的階段。本階段將第一次接觸團(tuán)隊(duì)開(kāi)發(fā)抬旺、產(chǎn)出具有前后臺(tái)（第一階段技術(shù)+第二階段的技術(shù)綜合應(yīng)用）的真實(shí)項(xiàng)目弊予。
第三階段：前端框架
難易程序：兩星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：64課時(shí)
主要技術(shù)包括：JavaScript、Jquery开财、注解反射一起使用汉柒，XML以及XML解析、解析dom4j责鳍、jxab碾褂、jdk8.0新特性、SVN薇搁、Maven斋扰、easyui
描述如下：
前兩個(gè)階段的基礎(chǔ)上化靜為動(dòng)，可以實(shí)現(xiàn)讓我們網(wǎng)頁(yè)內(nèi)容更加的豐富啃洋，當(dāng)然如果從
市場(chǎng)人員層面來(lái)說(shuō)，有專業(yè)的前端設(shè)計(jì)人員屎鳍，我們?cè)O(shè)計(jì)本階段的目標(biāo)在于前端的技
術(shù)可以更直觀的鍛煉人的思維和設(shè)計(jì)能力宏娄。同時(shí)我們也將第二階段的高級(jí)特性融入
到本階段。使學(xué)習(xí)者更上一層樓逮壁。
第四階段：企業(yè)級(jí)開(kāi)發(fā)框架
難易程序：三顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：176課時(shí)
主要技術(shù)包括：Hibernate孵坚、Spring、SpringMVC窥淆、log4j slf4j 整合卖宠、myBatis、struts2忧饭、Shiro 扛伍、redis、流程引擎activity词裤，爬蟲技術(shù)nutch,lucene刺洒，webService CXF鳖宾、Tomcat集群和熱備 、MySQL讀寫分離
描述如下：
如果將整個(gè)JAVA課程比作一個(gè)糕點(diǎn)店逆航，那前面三個(gè)階段可以做出一個(gè)武大郎燒餅
(因?yàn)槭羌兪止?太麻煩）鼎文，而學(xué)習(xí)框架是可以開(kāi)一個(gè)星巴克（高科技設(shè)備-省時(shí)省力）。
??????????????????????? 從J2EE開(kāi)發(fā)工程師的任職要求來(lái)說(shuō)因俐，該階段所用到的技術(shù)是必須掌握拇惋，而我們所
授的課程是高于市場(chǎng)（市場(chǎng)上主流三大框架，我們進(jìn)行七大框架技術(shù)傳授）抹剩、而且
有真實(shí)的商業(yè)項(xiàng)目驅(qū)動(dòng)撑帖。需求文檔、概要設(shè)計(jì)吧兔、詳細(xì)設(shè)計(jì)磷仰、源碼測(cè)試、部署境蔼、安裝
手冊(cè)等都會(huì)進(jìn)行講解灶平。
第五階段： 初識(shí)大數(shù)據(jù)
難易程度：三顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：80課時(shí)
主要技術(shù)包括：大數(shù)據(jù)前篇（什么是大數(shù)據(jù)，應(yīng)用場(chǎng)景箍土，如何學(xué)習(xí)大數(shù)據(jù)庫(kù)逢享，虛擬機(jī)概念和安裝等）、Linux常見(jiàn)命令(文件管理吴藻、系統(tǒng)管理瞒爬、磁盤管理)、Linux Shell編程（SHELL變量沟堡、循環(huán)控制侧但、應(yīng)用）、Hadoop入門（Hadoop組成航罗、單機(jī)版環(huán)境禀横、目錄結(jié)構(gòu)、HDFS界面粥血、MR界面柏锄、簡(jiǎn)單的SHELL、java訪問(wèn)hadoop）复亏、HDFS(簡(jiǎn)介趾娃、SHELL、IDEA開(kāi)發(fā)工具使用缔御、全分布式集群搭建)抬闷、MapReduce應(yīng)用(中間計(jì)算過(guò)程、Java操作MapReduce刹淌、程序運(yùn)行饶氏、日志監(jiān)控)讥耗、Hadoop高級(jí)應(yīng)用(YARN框架介紹、配置項(xiàng)與優(yōu)化疹启、CDH簡(jiǎn)介古程、環(huán)境搭建)、擴(kuò)展(MAP 端優(yōu)化喊崖，COMBINER 使用方法見(jiàn),TOP K,SQOOP導(dǎo)出,其它虛擬機(jī)VM的快照,權(quán)限管理命令,AWK 與 SED命令)
描述如下：
該階段設(shè)計(jì)是為了讓新人能夠?qū)Υ髷?shù)據(jù)有一個(gè)相對(duì)的大概念怎么相對(duì)呢挣磨？在前
置課程JAVA的學(xué)習(xí)過(guò)后能夠理解程序在單機(jī)的電腦上是如何運(yùn)行的。現(xiàn)在荤懂，大
數(shù)據(jù)呢茁裙？大數(shù)據(jù)是將程序運(yùn)行在大規(guī)模機(jī)器的集群中處理。大數(shù)據(jù)當(dāng)然是要處理
數(shù)據(jù)节仿，所以同樣晤锥，數(shù)據(jù)的存儲(chǔ)從單機(jī)存儲(chǔ)變?yōu)槎鄼C(jī)器大規(guī)模的集群存儲(chǔ)。
（你問(wèn)我什么是集群廊宪？好矾瘾，我有一大鍋飯，我一個(gè)人可以吃完箭启，但是要很久壕翩，現(xiàn)在我
叫大家一起吃。一個(gè)人的時(shí)候叫人傅寡，人多了呢放妈？ 是不是叫人群啊＜霾佟）
?????? 那么大數(shù)據(jù)可以初略的分為： 大數(shù)據(jù)存儲(chǔ)和大數(shù)據(jù)處理
所以在這個(gè)階段中呢芜抒，我們課程設(shè)計(jì)了大數(shù)據(jù)的標(biāo)準(zhǔn)：HADOOP
吶，大數(shù)據(jù)的運(yùn)行呢并不是在咋們經(jīng)常使用的WINDOWS 7或者W10上面托启，而是
現(xiàn)在使用最廣泛的系統(tǒng)：LINUX挽绩。
第六階段：大數(shù)據(jù)數(shù)據(jù)庫(kù)
難易程度：四顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：88課時(shí)
主要技術(shù)包括：Hive入門（Hive簡(jiǎn)介、Hive使用場(chǎng)景驾中、環(huán)境搭建、架構(gòu)說(shuō)明模聋、工作機(jī)制）肩民、Hive Shell編程（建表、查詢語(yǔ)句链方、分區(qū)與分桶持痰、索引管理和視圖）、Hive高級(jí)應(yīng)用(DISTINCT實(shí)現(xiàn)祟蚀、groupby工窍、join割卖、sql轉(zhuǎn)化原理、java編程患雏、配置和優(yōu)化)鹏溯、hbase入門、Hbase
SHELL編程(DDL淹仑、DML丙挽、Java操作建表、查詢匀借、壓縮颜阐、過(guò)濾器)、細(xì)說(shuō)Hbase模塊（REGION吓肋、HREGION
SERVER凳怨、HMASTER、ZOOKEEPER簡(jiǎn)介是鬼、ZOOKEEPER配置肤舞、Hbase與Zookeeper集成）、HBASE高級(jí)特性(讀寫流程屑咳、數(shù)據(jù)模型萨赁、模式設(shè)計(jì)讀寫熱點(diǎn)、優(yōu)化與配置)
描述如下：
該階段設(shè)計(jì)是為了讓大家在理解大數(shù)據(jù)如何處理大規(guī)模的數(shù)據(jù)的同時(shí)兆龙。簡(jiǎn)化咋們的
編寫程序時(shí)間杖爽，同時(shí)提高讀取速度。
怎么簡(jiǎn)化呢紫皇？在第一階段中慰安，如果需要進(jìn)行復(fù)雜的業(yè)務(wù)關(guān)聯(lián)與數(shù)據(jù)挖掘，自行編寫
MR程序是非常繁雜的聪铺。所以在這一階段中我們引入了HIVE化焕，大數(shù)據(jù)中的數(shù)據(jù)倉(cāng)
庫(kù)拇涤。這里有一個(gè)關(guān)鍵字矢门，數(shù)據(jù)倉(cāng)庫(kù)。我知道你要問(wèn)我墨坚，所以我先說(shuō)键兜，數(shù)據(jù)倉(cāng)庫(kù)呢用
來(lái)做數(shù)據(jù)挖掘分析的凤类，通常是一個(gè)超大的數(shù)據(jù)中心，存儲(chǔ)這些數(shù)據(jù)的呢普气，一般為
ORACLE,DB2,等大型數(shù)據(jù)庫(kù)谜疤，這些數(shù)據(jù)庫(kù)通常用作實(shí)時(shí)的在線業(yè)務(wù)。
總之，要基于數(shù)據(jù)倉(cāng)庫(kù)分析數(shù)據(jù)呢速度是相對(duì)較慢的夷磕。但是方便在于只要熟悉SQL履肃，
學(xué)習(xí)起來(lái)相對(duì)簡(jiǎn)單，而HIVE呢就是這樣一種工具坐桩，基于大數(shù)據(jù)的SQL查詢工具
吶尺棋，這一階段呢還包括HBASE，它為大數(shù)據(jù)里面的數(shù)據(jù)庫(kù)撕攒。
納悶了陡鹃，不是學(xué)了一種叫做HIVE的數(shù)據(jù)“倉(cāng)庫(kù)”了么？HIVE是基于MR的所以
查詢起來(lái)相當(dāng)慢抖坪，HBASE呢基于大數(shù)據(jù)可以做到實(shí)時(shí)的數(shù)據(jù)查詢萍鲸。一個(gè)主分析，
另一個(gè)主查詢
第七階段：實(shí)時(shí)數(shù)據(jù)采集
難易程序：四顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：96課時(shí)
主要技術(shù)包括：Flume日志采集擦俐，KAFKA入門（消息隊(duì)列脊阴、應(yīng)用場(chǎng)景、集群搭建）蚯瞧、KAFKA詳解（分區(qū)嘿期、主題、接受者埋合、發(fā)送者备徐、與ZOOKEEPER集成、Shell開(kāi)發(fā)甚颂、Shell調(diào)試）蜜猾、KAFKA高級(jí)使用（java開(kāi)發(fā)、主要配置振诬、優(yōu)化項(xiàng)目）蹭睡、數(shù)據(jù)可視化（圖形與圖表介紹、CHARTS工具分類赶么、柱狀圖與餅圖肩豁、3D圖與地圖）、STORM入門（設(shè)計(jì)思想辫呻、應(yīng)用場(chǎng)景清钥、處理過(guò)程、集群安裝）放闺、STROM開(kāi)發(fā)（STROM MVN開(kāi)發(fā)循捺、編寫STORM本地程序）、STORM進(jìn)階（java開(kāi)發(fā)雄人、主要配置、優(yōu)化項(xiàng)目）、KAFKA異步發(fā)送與批量發(fā)送時(shí)效础钠，KAFKA全局消息有序恰力，STORM多并發(fā)優(yōu)化
描述如下：
前面的階段數(shù)據(jù)來(lái)源是基于已經(jīng)存在的大規(guī)模數(shù)據(jù)集來(lái)做的，數(shù)據(jù)處理與分析過(guò)后
的結(jié)果是存在一定延時(shí)的旗吁，通常處理的數(shù)據(jù)為前一天的數(shù)據(jù)踩萎。
舉例場(chǎng)景：網(wǎng)站防盜鏈，客戶賬戶異常很钓，實(shí)時(shí)征信香府，遇到這些場(chǎng)景基于前一天的數(shù)
據(jù)分析出來(lái)過(guò)后呢？是否太晚了码倦。所以在本階段中我們引入了實(shí)時(shí)的數(shù)據(jù)采集與分
析企孩。主要包括了：FLUME實(shí)時(shí)數(shù)據(jù)采集，采集的來(lái)源支持非常廣泛袁稽，KAFKA數(shù)據(jù)
數(shù)據(jù)接收與發(fā)送勿璃，STORM實(shí)時(shí)數(shù)據(jù)處理，數(shù)據(jù)處理秒級(jí)別
第八階段：SPARK數(shù)據(jù)分析
難易程序：五顆星
課時(shí)量（技術(shù)知識(shí)點(diǎn)+階段項(xiàng)目任務(wù)+綜合能力）：88課時(shí)
主要技術(shù)包括：SCALA入門(數(shù)據(jù)類型推汽、運(yùn)算符补疑、控制語(yǔ)句、基礎(chǔ)函數(shù))歹撒、SCALA進(jìn)階(數(shù)據(jù)結(jié)構(gòu)莲组、類、對(duì)象暖夭、特質(zhì)锹杈、模式匹配、正則表達(dá)式)鳞尔、SCALA高級(jí)使用（高階函數(shù)嬉橙、科里函數(shù)、偏函數(shù)寥假、尾迭代市框、自帶高階函數(shù)等）、SPARK入門(環(huán)境搭建糕韧、基礎(chǔ)結(jié)構(gòu)枫振、運(yùn)行模式)、Spark數(shù)據(jù)集與編程模型萤彩、SPARK
SQL粪滤、SPARK 進(jìn)階（DATA FRAME、DATASET雀扶、SPARK STREAMING原理杖小、SPARK STREAMING支持源肆汹、集成KAFKA與SOCKET、編程模型）予权、SPARK高級(jí)編程（Spark-GraphX昂勉、Spark-Mllib機(jī)器學(xué)習(xí)）、SPARK高級(jí)應(yīng)用（系統(tǒng)架構(gòu)扫腺、主要配置和性能優(yōu)化岗照、故障與階段恢復(fù)）、SPARK? ML KMEANS算法笆环，SCALA 隱式轉(zhuǎn)化高級(jí)特性
描述如下：
同樣先說(shuō)前面的階段攒至，主要是第一階段。HADOOP呢在分析速度上基于MR的大規(guī)模數(shù)據(jù)集相對(duì)來(lái)說(shuō)還是挺慢的躁劣，包括機(jī)器學(xué)習(xí)迫吐，人工智能等。而且不適合做迭代計(jì)算习绢。SPARK呢在分析上是作為MR的替代產(chǎn)品渠抹，怎么替代呢？ 先說(shuō)他們的運(yùn)行機(jī)制闪萄，HADOOP基于磁盤存儲(chǔ)分析梧却，而SPARK基于內(nèi)存分析。我這么說(shuō)你可能不懂败去，再形象一點(diǎn)放航，就像你要坐火車從北京到上海，MR就是綠皮火車圆裕，而SPARK是高鐵或者磁懸浮广鳍。而SPARK呢是基于SCALA語(yǔ)言開(kāi)發(fā)的，當(dāng)然對(duì)SCALA支持最好吓妆，所以課程中先學(xué)習(xí)SCALA開(kāi)發(fā)語(yǔ)言赊时。什么？又要學(xué)另外一種開(kāi)發(fā)語(yǔ)言行拢？不不不Ｗ婷搿！舟奠！我只說(shuō)一句話：SCALA是基于JAVA做的竭缝。
總結(jié)：在課程的設(shè)計(jì)方面，市面上的職位要求技術(shù)沼瘫，基本全覆蓋抬纸。而且并不是單純的為了覆蓋職位要求，而是本身課程從前到后就是一個(gè)完整的大數(shù)據(jù)項(xiàng)目流程耿戚，一環(huán)扣一環(huán)湿故。
比如從歷史數(shù)據(jù)的存儲(chǔ)阿趁，分析（HADOOP,HIVE,HBASE），到實(shí)時(shí)的數(shù)據(jù)存儲(chǔ)（FLUME,KAFKA）晓锻，分析（STORM,SPARK）歌焦，這些在真實(shí)的項(xiàng)目中都是相互依賴存在的。
