第一步:下載spark-1.0.2-bin-hadoop2.tgz 湘换,scala-2.10.4.tgz 版本隨意拒逮,由于文件包大于10兆,上傳不了假残,自行下載吧,下載地址:http://spark.apache.org/downloads.html炉擅,http://www.scala-lang.org/download/
下載完后解壓到目錄 如:/exprot/servers 辉懒,命令tar -zxvf spark-1.0.2-bin-hadoop2.tgz
第二步:配置環(huán)境變量,命令vi /etc/profile
1.配置JAVA_HOME 如:export JAVA_HOME=/export/servers/jdk1.7.0_80,jdk請自行下載
2.配置SCALA_HOME 如:export SCALA_HOME=/export/servers/scala-2.10.4
3.配置SPARK_HOME 如:export SPARK_HOME=/export/servers/spark-1.0.2-bin-hadoop2
4.配置PATH ,可以自己新增一個 如:export PATH=$PATH:$SCALA_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin
第三步:配置spark conf文件谍失,首先進入到conf目錄 cd /export/servers/spark-1.0.2-bin-hadoop2/conf,
1.如果該目錄下存在spark-env.sh.template這個文件 眶俩,那么請復(fù)制一份并改名為
spark-env.sh,如果沒有spark-env.sh.template快鱼,自己直接創(chuàng)建一個spark-env.sh
2.如果該目錄下存在slaves.template這個文件颠印,那么請復(fù)制一份并改名為slaves,如果存在slaves抹竹,那就什么不用做
3.配置spark-env.sh
export JAVA_HOME=/export/servers/jdk1.7.0_80
export SCALA_HOME=/export/servers/scala-2.10.4
export SPARK_MASTER_IP=192.168.195.159
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/export/servers/spark-1.0.2-bin-hadoop2/conf
SPARK_WORKER_INSTANCES=2
SPARK_WORKER_CORES=2
4.配置 slaves
192.168.158.94
jdbc:mysql:replication://[master-host]:[port],[slave-host]:[port],.../database?[property=<value>]