前提條件：
1.虛擬機3臺【master, node1, node2 】
2.安裝好JDK
3.安裝好Hadoop
spark 集群搭建步驟
1.安裝Scala
==============================================
到官網(wǎng)下載Hadoop 對應版本的Scala 我的是Hadoop2.2.0的版本 對應的Scala 如圖
解壓 tar? -zxvf ***************
在癣籽、/etc/profile 文件添加路徑 然后source /etc/profile
2骂蓖。安裝spark
下載Hadoop 所對應的版本
我的是Hadoop 2.2.0 所以安裝的是spark2.0.0的
解壓 tar? -zxvf ***************
在、/etc/profile 文件添加路徑 然后source /etc/profile
修改spark/conf的文件
在slaves 文件添加你的數(shù)據(jù)節(jié)點 node1 node2
在spark-env.sh 添加以下
分發(fā)到每個數(shù)據(jù)節(jié)點上
scp -r /home/app/spark/ slave1:/home/app/spark
修改每個節(jié)點的/etc/profile文件 在后source? /etc/profile
之后在每個節(jié)點執(zhí)行 spark-shell 測試一下是否安裝成功
然后用web 訪問spark集群 在地址欄輸入 http://master:4040 [master 是主節(jié)點的主機名寝衫，也可以是你主節(jié)點的ip 只要你修改hostname 為master 也是可以的
看圖吧 騷年們
ps 要想查看集群spark 先在主節(jié)點執(zhí)行spark-shell 知道嗎 先執(zhí)行spark-shell
