版本要求：我的版本是centos7操作系統(tǒng)急黎，Hadoop-2.5.2扎狱，jdk1.8，scala2.11.8勃教，spark2.1.0
搭建hadoop-2.5.2完全分布式集群
http://www.reibang.com/p/8a6a9a4fec4a
安裝jdk1.8和scala2.11.8
所有節(jié)點(diǎn)都要安裝淤击，且安裝在同一目錄下
http://www.reibang.com/p/f035a836dda5
搭建yarn模式的完全分布式集群
在root用戶下搭建
- 解壓安裝
~]# mkdir bigdata
~]# cd /home/xxx/bigdatazips 我的包路徑
[root@master bigdatazips]# tar -zxvf spark-2.1.0-bin-without-hadoop.tgz -C /root/bigdata
~]# cd /root/bigdata
[root@master bigdata]# mv spark-2.1.0-bin-without-hadoop/ spark
- 配置環(huán)境變量
[root@master bigdata]# vim /etc/profile
vim編輯器中輸入
export SPARK_HOME=/root/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
保存退出，輸入命令
[root@master spark]# source /etc/profile
使立刻生效
- Spark配置
-- 配置slaves文件
[root@master ~]# cd /root/bigdata/spark
[root@master spark]# ls
bin data jars licenses python README.md sbin
conf examples LICENSE NOTICE R RELEASE yarn
[root@master spark]# cd conf
[root@master conf]# ls
docker.properties.template slaves.template
fairscheduler.xml.template spark-defaults.conf.template
log4j.properties.template spark-env.sh.template
metrics.properties.template
[root@master conf]# cp slaves.template slaves
[root@master conf]# vim slaves
打開(kāi)的文件中刪除最后以行的localhost故源，寫(xiě)入
slave0
slave1
-- 配置spark-env.sh文件
export SPARK_DIST_CLASSPATH=$(/root/bigdata/hadoop/bin/hadoop classpath)
export HADOOP_CONF_DIR=/root/bigdata/hadoop/etc/hadoop
export SPARK_MASTER_IP=master
SPARK_DIST_CLASSPATH配置的是hadoop的bin目錄
HADOOP_CONF_DIR配置的使hadoop的配置文件目錄
SPARK_MASTER_IP配置的使master節(jié)點(diǎn)的ip
--將在master節(jié)點(diǎn)上配置好的spark復(fù)制到各個(gè)slave節(jié)點(diǎn)上
scp -r spark root@slave0:/root/bigdata/spark
scp -r spark root@slave1:/root/bigdata/spark
- 啟動(dòng)集群
-- 啟動(dòng)Hadoop集群
任意目錄下運(yùn)行命令
start-all.sh
-- 啟動(dòng)spark的master節(jié)點(diǎn)
任意目錄下運(yùn)行命令
start-master.sh
-- 啟動(dòng)spark的slaves節(jié)點(diǎn)
任意目錄下運(yùn)行命令
master-slaves.sh
-- 查看集群信息
master主機(jī)訪問(wèn)網(wǎng)址：http://master:8080
image.png
