?單機版的Spark機器上只要安裝JDK亚脆、Scala赊窥、Spark?
jdk?安裝教程見?centos 7安裝jdk8?http://www.reibang.com/p/9a0acb242b36?
1 安裝Spark依賴的Scala
?打開地址：http://www.scala-lang.org/
在Linux服務器的opt目錄下新建一個名為scala的文件夾绞愚，下載scala-2.12.2.tgz包
執(zhí)行命令馋没，進入到該目錄：
cd ? ?/opt/scala
執(zhí)行命令進行解壓縮：
tar ? -xvf ? ?scala-2.12.2
1.2 ?配置環(huán)境變量
?編輯/etc/profile這個文件辟犀，在文件中增加一行配置：
export? ? SCALA_HOME=/opt/scala/scala-2.12.2
在該文件的PATH變量中增加下面的內容：
?${SCALA_HOME}/bin
環(huán)境變量配置完成后械蹋，執(zhí)行下面的命令：
source /etc/profile
1.3 驗證Scala
?執(zhí)行命令：
scala? -version
? ?如圖：
2 下載和解壓縮Spark
2.1下載
打開下載地址：
http://spark.apache.org/downloads.html
在Linux服務器的opt目錄下新建一個名為spark的文件夾出皇，下載?spark-2.4.1-bin-hadoop2.7.tgz壓縮包
下載后得到了大約200M的文件：?spark-2.4.1-bin-hadoop2.7.tgz
2.2解壓
進入到該目錄內，也就是執(zhí)行下面的命令：
cd ? ?/opt/spark
執(zhí)行解壓縮命令：
tar ? -zxvf? ?spark-2.4.1-bin-hadoop2.7.tgz
3 ?Spark相關的配置
? ? ? ?? 說明：因為我們搭建的是基于hadoop集群的Spark集群哗戈，所以每個hadoop節(jié)點上我都安裝了Spark郊艘，都需要按照下面的步驟做配置，啟動的話只需要在Spark集群的Master機器上啟動即可唯咬，我這里是在hserver1上啟動纱注。
3.1 ?配置環(huán)境變量
編輯/etc/profile文件，增加
export? SPARK_HOME=/opt/spark/spark-2.4.1-bin-hadoop2.7
上面的變量添加完成后編輯該文件中的PATH變量胆胰，添加
${SPARK_HOME}/bin
? ? ? 注意：因為$SPARK_HOME/sbin目錄下有一些文件名稱和$HADOOP_HOME/sbin目錄下的文件同名狞贱，為了避免同名文件沖突，這里不在PATH變量里添加$SPARK_HOME/sbin只添加了$SPARK_HOME/bin蜀涨。
編輯完成后瞎嬉，執(zhí)行命令：
source ? ?/etc/profile
3.2 配置conf目錄下的文件
???? ? ? 對/opt/spark/spark-2.4.1-bin-hadoop2.7/conf目錄下的文件進行配置蝎毡。
3.2.1 ?新建spark-env.h文件
? ? ? ??執(zhí)行命令，進入到/opt/spark/spark-2.4.1-bin-hadoop2.7/conf目錄內：
cd ? ?/opt/spark/spark-2.4.1-bin-hadoop2.7/conf
? ? ? ?以spark為我們創(chuàng)建好的模板創(chuàng)建一個spark-env.h文件氧枣，命令是：
cp ? ?spark-env.sh.template?? spark-env.sh
?編輯spark-env.h文件沐兵，在里面加入配置(具體路徑以自己的為準)：
export SCALA_HOME=/opt/scala/scala-2.12.2
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export SPARK_HOME=/opt/spark/spark-2.4.1-bin-hadoop2.7
export SPARK_MASTER_IP=自己的機器名
export SPARK_EXECUTOR_MEMORY=128M
3.2.2 新建slaves文件
執(zhí)行命令，進入到/opt/spark/spark-2.4.1-bin-hadoop2.7/conf目錄內：
cd ? /opt/spark/spark-2.4.1-bin-hadoop2.7/conf
以spark為我們創(chuàng)建好的模板創(chuàng)建一個slaves文件便监，命令是：
cp ? ?slaves.template?? slaves
編輯slaves文件扎谎，里面的內容為：
localhost
4 測試單機模式的Spark
4.1 ?用單機模式運行Spark示例程序
?上面的配置完成后，不需要啟動任何東西茬贵，直接執(zhí)行下面的命令即可簿透。
? 進入到主目錄，也就是執(zhí)行下面的命令：
?cd?/opt/spark/spark-2.4.1-bin-hadoop2.7
執(zhí)行命令運行計算圓周率的Demo程序：
./bin/run-example ? SparkPi ? 10
幾秒后解藻，執(zhí)行完成
如圖：
4.2 ?啟動Spark? Shell命令行窗口
進入到主目錄老充，也就是執(zhí)行下面的命令：
?cd ? ?/opt/spark/spark-2.4.1-bin-hadoop2.7
?執(zhí)行命令，啟動腳本：
./bin/spark-shell
參考：https://blog.csdn.net/pucao_cug/article/details/72353701
