spark配置
一. Scala安裝
cd /usr/local/src
wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz
#下載之后解壓
tar -zxvf scala-2.11.7.tgz
#配置環(huán)境變量
vi /etc/profile
#scala
export SCALA_HOME=/usr/local/src/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
#配置生效
source /etc/profile
#檢查版本
scala -version
二. spark安裝
wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.6.tgz
#解壓
tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz
vi conf/spark-env.sh
#----------------------------------------------------------------------------#
export JAVA_HOME=/usr/local/src/jdk1.8
#export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=500m
export SPARK_WORKER_CORES=1
SPARK_MASTER_HOST=sandbox
#定義管理端口
export SPARK_MASTER_IP=sandbox
export SPARK_MASTER_PORT=7077
#定義master域名和端口
#定義master的地址slave節(jié)點(diǎn)使用
#SPARK_LOCAL_IP=sandbox
#定義work節(jié)點(diǎn)的管理端口.work節(jié)點(diǎn)使用
export SPARK_WORKER_WEBUI_PORT=8088
#每個(gè)worker節(jié)點(diǎn)能夠最大分配給exectors的內(nèi)存大小
export SPARK_WORKER_MEMORY=4g
#----------------------------------------------------------------------------#
vi /etc/profile
#Spark
export SPARK_HOME=/usr/local/src/spark-2.3.4-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
source /etc/profile
啟動(dòng)spark服務(wù)：
start-master.sh
// sh sbin/start-master.sh
sh start-master.sh
啟動(dòng)shell
spark-shell
啟動(dòng)單機(jī)
spark-shell --master=local
spark-shell --master spark://sandbox:7077
Scala退出shell窗口
使用命令:q
=======================運(yùn)行模式========================================
本機(jī)模式
./spark-shell --master local
Standalone模式
構(gòu)建一個(gè)由Master+Slave構(gòu)成的Spark集群拴测，Spark運(yùn)行在集群中搔预。
./spark-shell --master spark://172.16.89.69:7777
./spark-shell --master spark://192.168.2.230:7077
Spark on Yarn模式
Spark客戶(hù)端直接連接Yarn娄猫。不需要額外構(gòu)建Spark集群膝昆。
spark-shell --master yarn
spark-shell --master yarn-client
Spark on Mesos模式
Spark客戶(hù)端直接連接Mesos。不需要額外構(gòu)建Spark集群
./spark-shell --master mesos://172.16.89.69:7777
./spark-shell --master mesos://172.16.89.69:7777 --deploy-mode client
./spark-shell --master mesos://172.16.89.69:7777 --deploy-mode cluster
