hadoop 安裝
http://www.reibang.com/p/efde93dd42f9
Spark部署
復(fù)用下之前創(chuàng)建的docker 畢竟java什么的環(huán)境都做好了?
docker run -d --privileged -ti --name spk-master -h spk-master?-p 18080:8080 -p 18081:8081 ?-p 17077:7077 --net hadoop --ip 172.20.0.10 ubuntu/hadoop /bin/bash
啟動容器之后 進(jìn)入中進(jìn)行操作
docker exec -it 6c640b4d0b67 /bin/bash
下載Spark
http://spark.apache.org/downloads.html
https://www.apache.org/dyn/closer.lua/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz
進(jìn)入下載頁面
復(fù)制下載鏈接 在spk-master 中wget下載
wget?https://mirror.bit.edu.cn/apache/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz
解壓
?tar zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/
cd spark-3.0.0-bin-hadoop3.2/conf/ 進(jìn)入spark的配置文件目錄
cp spark-env.sh.template spark-env.sh 從模版中復(fù)制一份配置 并編輯
加入設(shè)置信息
export PYSPARK_PYTHON=/usr/bin/python3?
export SPARK_MASTER_HOST=spk-master
export HADOOP_CONF_DIR=/opt/hadoop-3.2.1/etc/hadoop/
輸入 cp slaves.template? slaves 從模版創(chuàng)建一個節(jié)點配置文件
編輯輸入
spk-master
新開一個窗口 進(jìn)入已創(chuàng)建的hadoop?
編輯 vim ~/.bashrc?
在hosts設(shè)置的位置加入?
172.20.0.10? ? spk-master
輸入source ~/.bashrc? 生效下
將bashrc配置與hadoop配置分發(fā)到spark mastaer
scp?~/.bashrc root@spk-master:~/.bashrc? ?
scp -r /opt/hadoop-3.2.1/etc/hadoop/ root@spk-master:/opt/hadoop-3.2.1/etc/
如果spk-master ssh 沒啟動 啟動下在分發(fā)
spk-master docker 中 輸入vim ~/.bashrc
注釋掉hadoop的環(huán)境變量
插入
export SPARK_HOME=/opt/spark-3.0.0-bin-hadoop3.2
export PATH=$PATH:/opt/spark-3.0.0-bin-hadoop3.2/bin:/opt/spark-3.0.0-bin-hadoop3.2/sbin
source ~/.bashrc? 生效
./start-all.sh 啟動spark
