spark集群安裝
安裝環(huán)境：linux centos6.x
注意：此處直接使用spark是可以不需要安裝hadoop的
1、修改hosts文件（集群節(jié)點(diǎn)都要修改躲履，這里是3臺），修改地址為/etc/hosts
????172.16.101.60? namenode
????172.16.101.74? datanode1
????172.16.101.75? datanode2
2吕嘀、關(guān)閉防火墻(集群節(jié)點(diǎn)都要修改雀瓢，這里是3臺)
????以上2個步驟完成后重啟linux機(jī)器。
3抵乓、配置linux ssh免密碼登錄
在所有節(jié)點(diǎn)執(zhí)行此操作：
????ssh-keygen -t rsa （注意在接下來的命令行交互中，直接按回車跳過輸入密碼）
分別在所有節(jié)點(diǎn)操作：以下命令將本節(jié)點(diǎn)的公鑰 id_rsa.pub 文件的內(nèi)容追加到遠(yuǎn)程主機(jī)的 authorized_keys 文件中（默認(rèn)位于 ~/.ssh/）
????ssh-copy-id root@namenode
????ssh-copy-id root@datanode1
????ssh-copy-id root@datanode1
在每個節(jié)點(diǎn)上測試無密碼 ssh 登錄到
????ssh namenode
????ssh datanode1
????ssh datanode1
4靶衍、安裝scala以及配置scala環(huán)境變量（集群節(jié)點(diǎn)都需要安裝）
????下載地址：http://www.scala-lang.org/download/
? ? 注意:scala的下載頁面在最下面灾炭，拉到頁面到如下圖所示位置
????下載完成之后，直接解壓到linux中的某個文件夾下就行了颅眶，這里隨意放在哪里蜈出。
? ? 配置scala環(huán)境變量：可以不配置。
????到這里scala就安裝完成了涛酗，這里要注意的是spark跟scala的版本匹配問題铡原，在下載spark的時候要注意。
6商叹、安裝JDK以及配置JDK環(huán)境變量（集群節(jié)點(diǎn)都需要安裝）
????下載地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html
????下載完成后解壓到任意目錄：/usr/java/jdk1.8.0_45
? ? 配置jdk環(huán)境變量：
????編輯/etc/profile燕刻，加入如下內(nèi)容：
????????JAVA_HOME=/usr/java/jdk1.8.0_45
????????PATH=$PATH:$JAVA_HOME/bin
????????CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar
????????export PATH JAVA_HOME CLASSPATH （注意這里原本可能存在，直接追加就好了）
7剖笙、下載spark,下載地址：http://spark.apache.org/downloads.html
可以直接下載到windows然后傳到linux環(huán)境安裝卵洗，也可以通過linux的wget命令下載。
注意spark從2.0開始默認(rèn)使用Scala 2.11,如果你用的是Scala 2.10需要自己下載spark源碼編譯枯途。
這里先下載到一臺機(jī)器上：/opt/spark/spark-1.6.0-bin-hadoop2.6（這是我的解壓地址）
原文如下：
7忌怎、修改spark配置文件
不管是1.x還是2.x的版本都是一樣的籍滴。
?conf/spark-evn.sh
export SCALA_HOME=/opt/scala/scala-2.11.11? #scala的安裝地址
export JAVA_HOME=/usr/java/jdk1.8.0_45 ?#jdk安裝地址
export SPARK_WORKER_MEMORY=4096m ?#spark的worker機(jī)器的內(nèi)存，也就是前面下面配置文件slaves配置的2臺工作機(jī)器
export SPARK_MASTER_HOST=172.16.101.60 #master的ip,這里60是master機(jī)器
export SPARK_LOCAL_IP=172.16.101.60? #這個是不需要配置的
conf/slaves
datanode1
datanode2
8榴啸、配置spark環(huán)境變量（集群節(jié)點(diǎn)都需要配置）
編輯/etc/profile孽惰，加入如下內(nèi)容：
SPARK_HOME=/opt/spark/spark-1.6.0-bin-hadoop2.6
PATH=$PATH:$SPARK_HOME/bin
整個環(huán)境變量配置完成之后記得執(zhí)行下如下命令：source /etc/profile (這樣環(huán)境變量才會生效)
9、拷貝spark文件到其他節(jié)點(diǎn)：
因為我這里是在namenode節(jié)點(diǎn)上解壓和修改配置文件的鸥印，所以我需要將修改后spark項目拷貝到節(jié)點(diǎn)datanode1和datanode2勋功，執(zhí)行如下命令：
scp -r /opt/spark/spark-1.6.0-bin-hadoop2.6/ root@datanode1:/opt/spark/spark-1.6.0-bin-hadoop2.6/
scp -r /opt/spark/spark-1.6.0-bin-hadoop2.6/ root@datanode2:/opt/spark/spark-1.6.0-bin-hadoop2.6/
這里注意2個點(diǎn)：1、拷貝前確認(rèn)datanode1和datanode2上要有文件目錄/opt/spark ?2库说、scp加上-r參數(shù)
11狂鞋、啟動集群（在master節(jié)點(diǎn)上操作，這里是在namenode上操作）
cd /opt/spark/spark-1.6.0-bin-hadoop2.6/sbin
./start-all.sh (啟動集群)
./stop-all.sh (停止集群)
啟動完成之后在master上執(zhí)行：jps查看有個master進(jìn)程如下圖：
在其他子節(jié)點(diǎn)上執(zhí)行：jps? 查看到有個wrok進(jìn)程如下圖：
表示啟動成功潜的。
或者直接訪問 http://172.16.101.60:8080（這里注意8080端口可能被占用的問題） 看到如下頁面也表示啟動成功
原創(chuàng)文章骚揍，轉(zhuǎn)載請注明出處！
