五饵撑、Scala 和Spark 安裝
Scala的安裝比較簡單询兴，下載安裝包诡蜓，解壓烫饼，然后配置環(huán)境變量即可使用猎塞。
1. Scala 安裝
下載Scala http://www.scala-lang.org/download/2.11.6.html
為保持統(tǒng)一，我們將安裝的程序都放在/usr目錄下杠纵，在/usr目錄下創(chuàng)建Scala文件夾
sudo mkdir /usr/scala
解壓
tar zxvf scala-2.11.6.tgz
sudo mv scala-2.11.6.tgz /usr/scala/
在/etc/profile中添加scala環(huán)境變量
sudo vim /etc/profile
添加以下內(nèi)容：
export SCALA_HOME=/usr/scala/scala-2.11.6
export PATH=$PATH:$SCALA_HOME/bin
使修改立刻生效：
source /etc/profile
測試Scala是否安裝成功
scala -version // 查看Scala的版本
2. Spark安裝
spark的安裝和hadoop有些相近荠耽，添加環(huán)境變量，修改配置文件比藻。
2.1 spark下載
下載spark：http://www-eu.apache.org/dist/spark/spark-1.6.2/
這里我們下載：spark-1.6.2-bin-hadoop2.6.tgz
我的程序放置路徑為：
解壓：
tar zxvf spark-1.6.2-bin-hadoop2.6.tgz
2.2 添加環(huán)境變量
在/etc/profile中添加spark環(huán)境變量铝量，如下：
export SPARK_HOME=/home/hadoop/package/spark-1.6.2-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
是的修改立刻生效
source /etc/profile
2.3 修改配置文件
配置文件在spark-1.6.2-bin-hadoop2.6/conf 文件夾下，因此進(jìn)入文件配置
2.3.1 修改spark-env.sh
conf文件下只有spark-env.sh.template银亲，因此我們copy一份
cp spark-env.sh.template spark-env.sh
該文件中是一個模板文件里面有沒有配置慢叨，我們再其中添加java，Scala务蝠，hadoop拍谐，spark的環(huán)境變量，以使其能夠正常到運(yùn)行馏段，具體添加內(nèi)容為：
export JAVA_HOME=/usr/java/jdk1.8.0_91
export SCALA_HOME=/usr/scala/scala-2.11.6
export SPARK_MASTER=192.168.56.112
export SPARK_WORKER_MEMORY=1g
export HADOOP_HOME=/home/hadoop/package/hadoop-2.7.2/etc/hadoop
2.3.2 修改slaves
操作步驟同上赠尾，
cp slaves.template slaves
添加以下內(nèi)容：
master
slave1
slave2
至此所有安裝都已完成，剩下的就是用同樣的方法去配置另外的機(jī)器毅弧，由于其他機(jī)器是clone出來的气嫁，所以路徑都一樣，直接將 配置好的spark文件夾和/usr/scala 文件夾和環(huán)境變量文件/etc/profile够坐，copy到其他機(jī)器即可寸宵。
3. 測試spark集群
在master機(jī)器上啟動hadoop
./hadoop-2.7.2/sbin/start-all.sh
啟動spark
./spark-1.6.2-bin-hadoop2.6/sbin/start-all.sh
如果不出問題的話崖面，此時你的spark集群已經(jīng)成功啟動，查看集群情況梯影，
http://192.168.56.112:8080/ // ip換成你自己的master地址
會出現(xiàn)一下界面巫员，
如果你跟著教程走到了這一步，那么恭喜你已經(jīng)進(jìn)入大數(shù)據(jù)開發(fā)的海洋甲棍，我也是一名初學(xué)者简识，以后還會繼續(xù)發(fā)布spark學(xué)習(xí)相關(guān)的文章，還望繼續(xù)支持感猛。
