1. 前言
1.1 Spark 簡介
Spark 是快速和通用的大數(shù)據(jù)處理引擎廓潜。Spark的內(nèi)存計算速度是Hadoop MapReduce的100倍钝域。Spark支持Java、Scala、Python续誉、和R開發(fā)哲银，方便我們開發(fā)并行程序扛吞，并且我們還可以通過Scala、Python盘榨、R的Shell命令和Spark交互喻粹。Spark支持SQL、流計算和復(fù)雜分析草巡，提供了Spark SQL守呜、Spark Streaming、MLlib山憨、GraphX等組件查乒。
Spark集群的結(jié)構(gòu)如下圖所示，是個典型的Master/Slaves結(jié)構(gòu)郁竟。
Spark的部署方式包括Standalone玛迄、YARN、Mesos棚亩，在我們學(xué)習(xí)Spark編程的過程中蓖议，往往機器資源有限，于是可以采用偽分布式部署讥蟆。
1.2 Spark 部署依賴
Spark Standalone的運行依賴于JDK勒虾、Scala，本來是不依賴于Hadoop的瘸彤，但Spark自帶的許多演示程序都依賴于Hadoop HDFS修然，因此我們也部署了偽分布式的Hadoop。
本次部署是在centos 7.1上部署的，ip地址是192.168.1.91愕宋，主機名稱是vm91玻靡，已經(jīng)做好了ssh免登錄。Spark各依賴組件的版本分別如下：
- JDK 1.8.0_71
- Scala 2.11.8
- Hadoop 2.6.0
安裝后中贝，設(shè)置各組件的環(huán)境變量如下：
# JDK Eenvironment Variables
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin
export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8
# Scala Eenvironment Variables
export SCALA_HOME=/opt/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
# Hadoop Eenvironment Variables
export HADOOP_HOME=/opt/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=/opt/hadoop-2.6.0/etc/hadoop
2. Spark 部署
2.1 下載和安裝
Spark最新的穩(wěn)定版本是2.0.1囤捻，下載地址是http://spark.apache.org/downloads.html。因為我們使用Hadoop版本是2.6.0.因此下載的時候選擇的是Pre-built for Hadoop 2.6雄妥。
# 下載
wget http://mirrors.cnnic.cn/apache/spark/spark-2.0.1/spark-2.0.1-bin-hadoop2.6.tgz
# 解壓安裝
tar -zxvf spark-2.0.1-bin-hadoop2.6.tgz
配置環(huán)境變量
# vi /etc/profile
輸入以下配置項最蕾，在profile的尾部，并保存退出老厌。
# Spark Eenvironment Variables
export SPARK_HOME=/opt/spark-2.0.1-bin-hadoop2.6
export PATH=$SPARK_HOME/bin:$PATH
使配置生效
source /etc/profile
Spark目錄結(jié)構(gòu)介紹
- bin：提交運行Spark程序的腳本
- conf：配置文件所在的目錄
- data：測試數(shù)據(jù)
- examples：樣例程序和源碼
- jars：jar lib的目錄
- LICENSE：顧名思義瘟则，license文件
- licenses：依賴的第三方組件的licenses
- logs：默認的日志目錄
- NOTICE
- python：Python相關(guān)的腳本、文檔和lib
- R：R語言相關(guān)的文檔枝秤、lib
- README.md：readme文件醋拧，對于初學(xué)者很有用
- RELEASE：發(fā)行版本介紹
- sbin：啟動和停止腳本目錄
- yarn：spark-yarn-shuffer.jar目錄
2.2 配置
Spark的配置文件位于$SPARK_HOME/conf目錄下，需要修改的配置文件包括spark-env.sh淀弹、spark-defaults.conf和slaves丹壕。這三個文件，conf目錄都只有模版文件薇溃，需要我們重命名菌赖。
cd /opt/spark-2.0.1-bin-hadoop2.6/conf
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf
cp slaves.template slaves
spark-env.sh
本次只修改了以下兩個參數(shù)。
# 指定JDK路徑
export JAVA_HOME=/opt/jdk
# 設(shè)置Master的地址
SPARK_MASTER_HOST=vm91
其余參數(shù)均采用了默認配置沐序，包括了Hadoop配置文件的路徑琉用、Worker的內(nèi)存和CPU資源的配置等，各配置項的含義策幼，注釋中都有說明邑时。
spark-defaults.conf
spark-defaults.conf文件用于設(shè)定一些默認的Spark環(huán)境變量，本次設(shè)定了master的地址特姐，和spark shuffer文件的保存路徑晶丘。
spark.master spark://vm91:7077
spark.local.dir /opt/data/spark_shuffle
slaves
slaves文件用于配置集群擁有的Worker。編輯slaves文件唐含，輸入hostname浅浮。
vm91
以上就是Spark偽分布式的安裝配置過程；如果要分布式部署捷枯，只需要在slaves中設(shè)置其余Worker的主機名滚秩，并把本機的spark部署環(huán)境拷貝到其余主機上即可。
2.3 啟動和停止
Spark啟動后铜靶，可以通過jps命令來查看啟動的進程，正常情況下，可以看到1個Master進程和1個Worker進程争剿。
# 啟動
$SPARK_HOME/sbin/start-all.sh
# 停止
$SPARK_HOME/sbin/stop-all.sh
# Web UI地址
http://192.168.1.91:8080
3. Spark 程序運行
3.1 提交Spark程序
使用腳本提交運行Spark程序已艰。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/run-example SparkPi
可以看到屏幕上輸出了Pi的值。
Pi is roughly 3.13959569797849
3.2 Spark-shell
使用如下命令蚕苇，可以進入scala的shell交互式模式哩掺。
[root@vm91 spark-2.0.1-bin-hadoop2.6]# bin/spark-shell
（完）
