一.系統(tǒng)環(huán)境安裝
- JDK下載欢瞪、安裝
JDK下載地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
image.png
- 上傳文件到Linux系統(tǒng)(Centos7.0)
a.yum install -y lrzsz 執(zhí)行命令,然后通過rz來上傳
b.SSHSecureShellClient，Xshell等工具進行上傳
c.tar -zxvf jdk-8u11-linux-x64.tar.gz -C /application
- 配置JDK環(huán)境變量
export JAVA_HOME=/application/jdk1.8.0_11
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
-
驗證是否安裝成功(javac java)
image.png
image
二.SSH免密登陸/虛擬機到本機映射
1.執(zhí)行命令 yum install openssh-server 安裝 openssh-server
2.設(shè)置本機密碼登陸:
# ssh-keygen -t rsa (一直Enter)
# cd /root/.ssh
# cp id_rsa.pub authorized_keys
3.設(shè)置其他機器免密登陸:
# ssh-copy-id -i 目標主機名
/******************************************/
1.vim/vi /etc/hosts(參考)
192.168.10.128 Master
192.168.1.129 firstFollow
192.168.10.130 secondFollow
二.Spark集群配置
1.省略上傳解壓Spark步驟 (spark-2.1.1-bin-hadoop2.7.tgz
2.配置spark,Scala環(huán)境變量
3.修改配置文件
# cd cd /application/spark-2.1.1-bin-hadoop2.7/conf/ 進入spark的conf目錄下
# mv spark-env.sh.template spark-env.sh
# vim spark-env.sh
4.修改默認slaves.template配置
# mv slaves.template slaves
# vim slaves (添加剩余主機的機名)
5.啟動和驗證Spark(所有機器都操作完成后執(zhí)行)
A:啟動:cd /application/spark-2.1.1-bin-hadoop2.7/sbin ./start-all.sh
B:驗證: 訪問 [http://192.168.10.128:8080/](http://192.168.10.128:8080/)
image.png
