1肮之、本文目的
筆者在項目跟進的過程中遇到了需要EMR開發(fā)環(huán)境部署的方案碱蒙，并了解到阿里云和AWS也已經(jīng)提供了完備的EMR開發(fā)環(huán)境则拷，不過看了一下具體價格江场，發(fā)現(xiàn)EMR開發(fā)環(huán)境的價格快趕上云服務器價格的一半了澎办，可謂非常暴利嘲碱。考慮到成本節(jié)約和自身的學習欲望局蚀，我將在之后的框架中搭建起一個完備的EMR研發(fā)框架麦锯，并在最大程度上保留API和程序調(diào)試的自由性，并把自己在開發(fā)部署過程中遇到的坑坑洼洼和大家分琅绅。項目環(huán)境為CentOS7.0扶欣。
2、項目架構(gòu)介紹
① 框架+軟件介紹
② 端口分配
③ 環(huán)境變量
3千扶、文章目錄
0.基礎(chǔ)軟件配置(Java/Python/MySQL)
1.HUE容器配置
2.Zeppelin容器配置
3.Jupyter/notebook容器配置
4.Pig+Ant配置
5.Zookeeper配置
6.Yarn安裝配置
7.Hadoop基礎(chǔ)
7++.難點:Hadoop配置文件
8.Hive安裝配置
8++.Hive配置文件
9.HBase配置
10.Spark安裝配置
11.Phoenix安裝配置
12.Impala/Kylin安裝配置
13.Storm安裝配置
14.整體可用性測試
4料祠、總結(jié)
在部署整個大數(shù)據(jù)開發(fā)環(huán)境的過程中遇到了非常多的坑和困難，筆者會在之后的文章中進行整理县貌。通過這次部署术陶，對于Hadoop和Spark兩個大數(shù)據(jù)體系的認識有了更加深刻的認識。
