1.將Spark的安裝包上傳到服務(wù)器,解壓,配置環(huán)境
安裝包地址:鏈接：https://pan.baidu.com/s/1IyGq3uYU2Yyp5KEfhaHKbw
提取碼：6zt9
解壓:
tar -zxcf spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/spark-2.1.0-bin-hadoop2.7
配置環(huán)境:
[root@bigdata111 conf]# cp spark-env.sh.template spark-env.sh
[root@bigdata111 conf]# vi spark-env.sh
將環(huán)境變量,主機(jī)地址,端口等信息添加到spark-env.sh中
export JAVA_HOME=/opt/module/jdk1.8.0_181
export SPARK_MASTER_HOST=bigdata111
export SPART_MASTER_PORT=7077
2.配置主從節(jié)點(diǎn):
[root@bigdata111 conf]# vi slaves
偽分布式,就是將master和worker放在同一臺服務(wù)器上:在slaves中添加:
bigdata111
3.測試
開啟Spark:
[root@bigdata111 spark-2.1.0-bin-hadoop2.7]# sh ./sbin/start-all.sh
jps查看進(jìn)程
[root@bigdata111 spark-2.1.0-bin-hadoop2.7]# jps
67219 Master
67410 Worker
70665 Jps
[root@bigdata111 spark-2.1.0-bin-hadoop2.7]#
然后在瀏覽器中輸入 bigdata111:8080:
image.png
用spark-submit測試spark 自帶的實(shí)例程序:
/opt/module/spark-2.1.0-bin-hadoop2.7/examples/jars中有Spark自帶的實(shí)例程序
蒙特卡洛求PI（圓周率）
./spark-submit --master spark://bigdata111:7077 --class org.apache.spark.examples.SparkPi /opt/module/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 500
解釋:
spark-submit:執(zhí)行spark任務(wù)的工具之一
--master:連接到主節(jié)點(diǎn)
spark://bigdata111:7077: 主節(jié)點(diǎn)的地址
--class org.apache.spark.examples.SparkPi:spark任務(wù)的全類名
/opt/module/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar:jar包的位置
500:參數(shù)
運(yùn)行的結(jié)果:
Pi is roughly 3.1414508628290174
