課程大綱
第一章：案例需求分析與設計
1. 全套課程內容概述
2. 案例需求分析
3. 系統架構設計
4. 系統數據流程設計
5. 集群資源規(guī)劃設計
第二章：linux環(huán)境準備與設置
1. Linux系統常規(guī)設置
2. 克隆虛擬機并進行相關的配置
3. 對集群中的機器進行基本配置
第三章：Hadoop2.X分布式集群部署
1. Hadoop2.X版本下載及安裝
2. Hadoop2.X分布式集群配置
3. 分發(fā)到其他各個機器節(jié)點
4. HDFS啟動集群運行測試
5. YARN集群運行MapReduce程序測試
6. 配置集群中主節(jié)點到各個機器的SSH無密鑰登錄
第四章：Zookeeper分布式集群部署
1. Zookeeper版本下載及安裝
2. 分布式集群配置及參數介紹
3. Zookeeper服務啟動及測試
第五章：Hadoop2.X HA架構與部署
1. HDFS-HA架構原理介紹
2. HDFS-HA 詳細配置
3. HDFS-HA 服務啟動及自動故障轉移測試
4. YARN-HA架構原理介紹
5. YARN-HA 詳細配置
6. YARN-HA 服務啟動及自動故障轉移測試?
第六章：HBase分布式集群部署與設計
1. 下載HBase版本并安裝
2. 分布式集群的相關配置
3. 啟動依賴于Zookeeper和HDFS的兩個服務
4. 通過shell測試數據庫
5. 日志信息存儲需求分析及表的創(chuàng)建
第七章：Kafka分布式集群部署
1. 下載Kafka版本并安裝
2. Kafka集群配置
3. 啟動Kafka依賴于Zookeeper的服務并進行測試
第八章：Flume數據采集準備
1. Flume節(jié)點服務設計
2. Flume版本下載安裝
3. Flume agent-1采集節(jié)點服務配置
4. Flume agent-2采集節(jié)點服務配置
第九章：Flume+HBase+Kafka集成與開發(fā)
1. 下載Flume源碼并導入Idea開發(fā)工具
2. 根據業(yè)務需求做采集入庫的程序設計
3. 自定義SinkHBase程序開發(fā)
4. idea程序打包并部署
5. 官方Flume與HBase集成的參數介紹
6. Flume agent-3聚合節(jié)點與HBase集成的配置
7. 官方Flume與Kafka集成的參數介紹
8. Flume agent-3聚合節(jié)點與Kafka集成的配置
第十章：數據采集/存儲/分發(fā)完整流程測試
1. idea工具開發(fā)數據生成模擬程序
2. 編寫啟動Flume服務程序的shell腳本
3. 啟動Flume采集相關的所有服務
4. 編寫腳本并啟動Flume agent三臺采集節(jié)點服務
5. 編寫Kafka consumer執(zhí)行腳本并運行
6. java開發(fā)業(yè)務數據生成模擬器
7. 運行模擬程序并通過HBase shell檢查數據
第十一章：MySQL安裝
1. 配置linux本地鏡像源
2. linux聯網安裝mysql數據庫
3. myql設置用戶連接權限
4. 分析業(yè)務需求并設計表結構
5. 創(chuàng)建數據庫和與業(yè)務相關的表
第十二章：Hive與HBase集成進行數據分析
1.Hive 概述
2.Hive 架構設計
3.Hive 應用場景
4.Hive 安裝部署
5.Hive與MySQL集成
6.Hive 服務啟動與測試
7.根據業(yè)務創(chuàng)建表結構
8.Hive與HBase集成進行數據離線分析
第十三章：Cloudera HUE大數據可視化分析
1.Hue概述
2.Hue安裝部署
3.Hue基本配置與服務啟動
4.Hue與HDFS集成
5.Hue與YARN集成
6.Hue與Hive集成
7.Hue與MySQL集成
8.Hue與HBase整合
9.對采集的數據進行可視化分析
10.Hue使用的經驗總結
第十四章：Spark2.X環(huán)境準備、編譯部署及運行
1.Spark 概述
2.Spark 生態(tài)系統介紹
3.Spark2.X學習注意事項
4.Spark2.2源碼下載及編譯
5.Scala安裝及環(huán)境變量設置
6.Spark2.2本地模式運行測試
7.Spark服務WEB監(jiān)控頁面
第十五章：基于IDEA環(huán)境下的Spark2.X程序開發(fā)
1.Windows開發(fā)環(huán)境配置與安裝
2.IDEA Maven工程創(chuàng)建與配置
3.開發(fā)Spark Application程序并進行本地測試
4.打Jar包并提交spark-submit運行
第十六章：Spark2.X集群運行模式
1.Spark幾種運行模式介紹
2.Spark Standalone集群模式配置與運行
3.Spark on YARN集群模式配置與運行
第十七章：Spark2.X分布式彈性數據集
1.三大彈性分布式數據集介紹
2.Spark RDD概述與創(chuàng)建方式
3.Spark RDD五大特性
4.Spark RDD操作方式及使用
5.DataFrame創(chuàng)建方式及功能使用
6.DataSet創(chuàng)建方式及功能
7.數據集之前的對比與轉換
第十八章：Spark SQL快速離線數據分析
1.Spark SQL概述及特點
2.Spark SQL服務架構
3.Spark SQL與Hive集成（spark-shell）
4.Spark SQL與Hive集成（spark-sql）
5.Spark SQL之ThirftServer和beeline使用
6.Spark SQL與MySQL集成
7.Spark SQL與HBase集成
第十九章：Spark Streaming實時數據分析
1.Spark Streaming功能介紹
2.NC服務安裝并運行SparkStreaming
3.Spark Streaming服務架構及工作原理
4.Spark Streaming編程模型
5.Spark Streaming讀取Socket流數據
6.Spark Streaming結果數據保存到外部數據庫
7.SparkStreaming與Kafka集成進行數據處理
第二十章：Structrued Streaming業(yè)務數據實時分析
1.Structured Streaming 概述及架構
2.Structured Streaming 編程模型
3.實時數據處理業(yè)務分析
4.Stuctured Streaming 與Kafka集成（一）
5.Stuctured Streaming 與Kafka集成（二）
6.Stuctured Streaming 與MySQL集成
7.基于結構化流完成業(yè)務數據實時分析（一）
8.基于結構化流完成業(yè)務數據實時分析（二）
9.基于結構化流完成業(yè)務數據實時分析（三）
第二十一章：大數據Web可視化分析系統開發(fā)
1.基于業(yè)務需求的WEB系統設計
2.下載Tomcat并創(chuàng)建Web工程
3.Web系統數據處理服務層開發(fā)
4.基于WebSocket協議的數據推送服務開發(fā)
5.基于Echart框架的頁面展示層開發(fā)（一）
6.基于Echart框架的頁面展示層開發(fā)（二）
7.工程編譯并打包發(fā)布
8.啟動各個服務并展示最終項目運行效果
下載地址：http://feixueteam.net/thread-2265-1-1.html
