Spark的安裝模式一般分為三種:1.偽分布模式:即在一個(gè)節(jié)點(diǎn)上模擬一個(gè)分布式環(huán)境酷师,master和worker共用一個(gè)節(jié)點(diǎn),這種模式一般用于開(kāi)發(fā)和測(cè)試Spark程序宁否;2.全分布模式:即真正的集群模式窒升,master和worker部署在不同的節(jié)點(diǎn)之上,一般至少需要3個(gè)節(jié)點(diǎn)(1個(gè)master和2個(gè)worker)慕匠,這種模式一般用于實(shí)際的生產(chǎn)環(huán)境饱须;3.HA集群模式:即高可用集群模式,一般至少需要4臺(tái)機(jī)器(1個(gè)主master台谊,1個(gè)備master蓉媳,2個(gè)worker),這種模式的優(yōu)點(diǎn)是在主master宕機(jī)之后锅铅,備master會(huì)立即啟動(dòng)擔(dān)任master的職責(zé)酪呻,可以保證集群高效穩(wěn)定的運(yùn)行,這種模式就是實(shí)際生產(chǎn)環(huán)境中多采用的模式盐须。本小節(jié)來(lái)介紹Spark的全分布模式的安裝和配置玩荠。
安裝介質(zhì):
jdk-8u162-linux-x64.tar.gz 提取碼:2bh8
hadoop-2.7.3.tar.gz 提取碼:d4g2
scala-2.12.6.tgz 提取碼:s2ly
spark-2.1.0-bin-hadoop2.7.tgz 提取碼:5kcf
1. 準(zhǔn)備Linux環(huán)境
準(zhǔn)備3臺(tái)Linux主機(jī),按照下面的步驟在每臺(tái)主機(jī)上執(zhí)行一遍,設(shè)置成如下結(jié)果:
master:192.168.179.112
slave1:192.168.179.113
slave2:192.168.179.114
以master節(jié)點(diǎn)為例:
1.1 安裝Linux操作系統(tǒng)
安裝Linux操作系統(tǒng)比較簡(jiǎn)單阶冈,這里不再詳細(xì)闷尿。參考:《Linux從入門(mén)到精通1:使用 VMware Workstation 14 Pro 安裝 CentOS 7 詳細(xì)圖文教程》
1.2 關(guān)閉防火墻
關(guān)閉Selinux:
臨時(shí)關(guān)閉:# setenforce 0
永久關(guān)閉:# vi /etc/selinux/config
修改其中的參數(shù):SELINUX=disabled,按Esc:qw保存退出女坑。關(guān)閉iptables:
安裝服務(wù)(選做):# yum -y install iptables-services
臨時(shí)關(guān)閉:# systemctl stop firewalld.service
永久關(guān)閉:# systemctl disable firewalld.service
1.3 設(shè)置靜態(tài)IP
編輯網(wǎng)卡配置文件:
# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改參數(shù):BOOTPROTO=static
追加參數(shù):
ONBOOT=yes
IPADDR=192.168.179.112
NETMASK=255.255.255.0
GATEWAY=192.168.254.2
DNS1=8.8.8.8
DNS2=119.29.29.29
重啟網(wǎng)絡(luò)服務(wù):
# systemctl restart network.service
查看配置的IP地址:
# ip add 或者 # ifconfig -a
測(cè)試IP是否可用:
# curl www.baidu.com 或者 # ping www.baidu.com
1.4 設(shè)置主機(jī)名
方式1:[root@localhost ~]# hostnamectl set-hostname master
方式2:編輯配置文件:[root@localhost ~]# vi /etc/hostname填具,
清空內(nèi)容后寫(xiě)入:master
重新打開(kāi)終端會(huì)顯示新的主機(jī)名:[root@master ~]#
1.5 主機(jī)名和IP的映射關(guān)系
編輯hosts配置文件:# vi /etc/hosts,追加3行:
192.168.179.112 master
192.168.179.113 slave1
192.168.179.114 slave2
測(cè)試主機(jī)名是否可用:
# ping master
# ping slave1
# ping slave2
1.6 配置3臺(tái)主機(jī)兩兩之間的免密碼登錄
(1)使用ssh-keygen工具生成秘鑰對(duì):
# ssh-keygen -t rsa
私鑰:Your identification has been saved in /root/.ssh/id_rsa.
公鑰:Your public key has been saved in /root/.ssh/id_rsa.pub.
(2)將生成的公鑰發(fā)給三臺(tái)主機(jī):master匆骗、slave1劳景、slave2:
# ssh-copy-id -i /root/.ssh/id_rsa.pub root@master
# ssh-copy-id -i /root/.ssh/id_rsa.pub root@slave1
# ssh-copy-id -i /root/.ssh/id_rsa.pub root@slave2
(3)測(cè)試秘鑰認(rèn)證是否成功:
# ssh root@master
# ssh root@slave1
# ssh root@slave2
直接回車(chē)即可登錄,不用輸入密碼碉就,說(shuō)明免密碼登錄配置成功盟广。
1.7. 同步3臺(tái)主機(jī)的時(shí)間(選做)
由于各個(gè)主機(jī)上的時(shí)間可能不一致,會(huì)導(dǎo)致執(zhí)行Spark程序出現(xiàn)異常铝噩,因此需要同步各個(gè)主機(jī)的時(shí)間衡蚂。在實(shí)際生成環(huán)境中,一般使用時(shí)間服務(wù)器來(lái)同步時(shí)間骏庸,但是搭建時(shí)間服務(wù)器相對(duì)較為復(fù)雜毛甲。這里介紹一種簡(jiǎn)單的方法來(lái)快速同步每臺(tái)主機(jī)主機(jī)的時(shí)間。我們知道具被,使用date命令可以設(shè)置主機(jī)的時(shí)間玻募,因此這里使用putty的插件MTPuTTY來(lái)同時(shí)向每一臺(tái)主機(jī)發(fā)送date命令,以到達(dá)同步時(shí)間的目的一姿。
(1)使用MTPuTTY工具連接三臺(tái)主機(jī)七咧,點(diǎn)擊MTPuTTY工具的Tools菜單下的“Send script…”子菜單,打開(kāi)發(fā)送腳本工具窗口叮叹。
(2)輸入命令:date -s 2018-05-28艾栋,然后回車(chē)(注意:一定要回車(chē),否則只發(fā)送不執(zhí)行)蛉顽,在下面服務(wù)器列表中選擇要同步的主機(jī)蝗砾,然后點(diǎn)擊“Send script”,即可將時(shí)間同步為2018-05-28 00:00:00携冤。
2. 安裝JDK
2.1 上傳JDK安裝包
使用winscp工具將JDK安裝包jdk-8u144-linux-x64.tar.gz上傳到/root/tools/目錄中悼粮,該目錄是事先創(chuàng)建的。
# ls /root/tools/
jdk-8u144-linux-x64.tar.gz
2.2 解壓JDK安裝包
進(jìn)入/root/tools/目錄曾棕,將jdk安裝包解壓到/root/training/目錄中扣猫,該目錄也是事先創(chuàng)建的。
# cd /root/tools/
# pwd
/root/tools
# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/training/
2.3 配置Java環(huán)境變量
# cd /root/trainings/jdk1.8.0_144/
# pwd
/root/trainings/jdk1.8.0_144
# vi /root/.bash_profile
在文件末尾追加如下內(nèi)容:
JAVA_HOME=/root/training/jdk1.8.0_144
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
按Esc:wq保存退出翘地,使用source命令使配置文件立即生效:
# source /root/.bash_profile
2.4 測(cè)試JDK是否安裝成功
# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
3. 安裝Hadoop全分布模式
以下步驟在master節(jié)點(diǎn)上執(zhí)行:
3.1 上傳Hadoop安裝包
使用winscp工具將Hadoop安裝包hadoop-2.7.3.tar.gz上傳到master節(jié)點(diǎn)的/root/tools/目錄中申尤,該目錄是事先創(chuàng)建的癌幕。
# ls /root/tools/
hadoop-2.7.3.tar.gz
3.2 解壓Hadoop安裝包
進(jìn)入/root/tools/目錄,將hadoop安裝包解壓到/root/training/目錄中瀑凝,該目錄也是事先創(chuàng)建的序芦。
# cd /root/tools/
# tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/
3.3 配置Hadoop環(huán)境變量(3臺(tái)主機(jī)上都做一遍)
# cd /root/training/hadoop-2.7.3/
# pwd
/root/trainings/hadoop-2.7.3
# vim /root/.bash_profile
在文件末尾追加如下內(nèi)容:
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出,使用source命令使配置文件立即生效:
[root@master hadoop-2.6.1]# source /root/.bash_profile
3.4 配置Hadoop全分布模式的參數(shù)
進(jìn)入Hadoop配置文件目錄:
# pwd
/root/training/hadoop-2.7.3/etc/hadoop
(1) 配置hadoop-env.sh文件:
# echo $JAVA_HOME
/root/training/jdk1.8.0_144
# vim hadoop-env.sh
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/root/training/jdk1.8.0_144
(2) 配置hdfs-site.xml文件:
# vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(3) 配置core-site.xml文件:
# mkdir /root/training/hadoop-2.7.3/tmp
# vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.179.112:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
</configuration>
(4) 配置mapred-site.xml文件:
將模板文件mapred-site.xml.template拷貝一份重命名為mapred-site.xml然后編輯:
# cp mapred-site.xml.template mapred-site.xml
# vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5) 配置yarn-site.xml文件:
# vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
(6) 配置slaves文件:
# vim slaves
slave1
slave2
3.5 對(duì)NameNode進(jìn)行格式化
# hdfs namenode -format
出現(xiàn)下面的日志說(shuō)明格式化成功:
18/05/28 00:26:54 INFO common.Storage: Storage directory
/root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.
3.6 分發(fā)安裝包給從節(jié)點(diǎn)
將master上配置好的Hadoop安裝目錄分別復(fù)制給兩個(gè)從節(jié)點(diǎn)slave1和slave2粤咪,并驗(yàn)證是否成功。
[root@master hadoop]# cd /root/training
[root@master training]# ls
hadoop-2.7.3 jdk1.8.0_144
[root@master training]# scp -r hadoop-2.7.3/ root@slave1:/root/training/
[root@master training]# scp -r hadoop-2.7.3/ root@slave2:/root/training/
[root@slave1 ~]# cd /root/training/
[root@slave1 training]# ls
hadoop-2.7.3 jdk1.8.0_144
[root@slave2 ~]# cd /root/training/
[root@slave2 training]# ls
hadoop-2.7.3 jdk1.8.0_144
3.7 在master上啟動(dòng)Hadoop全分布模式:
[root@master ~]# start-all.sh
第一次啟動(dòng)需要輸入yes繼續(xù)渴杆。
Are you sure you want to continue connecting (yes/no)? yes
啟動(dòng)成功后寥枝,使用jps命令查看各個(gè)節(jié)點(diǎn)上開(kāi)啟的進(jìn)程:
[root@master ~]# jps
2960 NameNode
3141 SecondaryNameNode
3286 ResourceManager
3551 Jps
[root@slave1 ~]# jps
2850 NodeManager
2950 Jps
2744 DataNode
[root@slave2 ~]# jps
2738 DataNode
2952 Jps
2844 NodeManager
使用命令行查看HDFS的狀態(tài):
[root@master ~]# hdfs dfsadmin -report
使用瀏覽器查看HDFS的狀態(tài):
http://192.168.179.112:50070
使用瀏覽器查看YARN的狀態(tài):
http://192.168.179.112:8088
3.8 測(cè)試WordCount程序
(1) 在HDFS上創(chuàng)建輸入目錄/input:
[root@master ~]# hdfs dfs -mkdir /input
(2) 將本地?cái)?shù)據(jù)文件data.txt上傳至該目錄:
[root@master ~]# hdfs dfs -put /root/data.txt /input
[root@master ~]# hdfs dfs -ls /input
Found 1 items
-rw-r--r-- 2 root supergroup 60 2018-05-28 00:47 /input/data.txt
[root@master ~]# hdfs dfs -cat /input/data.txt
I love Beijing
I love China
Beijing is the capital of China
(3) 進(jìn)入到Hadoop的示例程序目錄:
[root@master ~]# cd /root/training/hadoop-2.7.3/share/hadoop/mapreduce
(4) 執(zhí)行示例程序中的Wordcount程序,以HDFS上的/input/data.txt作為輸入數(shù)據(jù)磁奖,輸出結(jié)果存放到HDFS上的/out/wc目錄下:
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar \
wordcount /input/data.txt /output/wc
(5) 查看進(jìn)度和結(jié)果:
可以通過(guò)終端打印出來(lái)的日志信息知道執(zhí)行進(jìn)度:
18/05/28 00:49:04 INFO mapreduce.Job: map 0% reduce 0%
18/05/28 00:49:16 INFO mapreduce.Job: map 100% reduce 0%
18/05/28 00:49:25 INFO mapreduce.Job: map 100% reduce 100%
18/05/28 00:49:25 INFO mapreduce.Job: Job job_1527439126686_0001 completed successfully
執(zhí)行結(jié)束后可以在HDFS上的/out/wc目錄下查看是否有_SUCCESS標(biāo)志文件來(lái)判斷是否執(zhí)行成功囊拜。
[root@master mapreduce]# hdfs dfs -ls /output/wc
Found 2 items
-rw-r--r-- 2 root supergroup 0 2018-05-28 00:49 /output/wc/_SUCCESS
-rw-r--r-- 2 root supergroup 55 2018-05-28 00:49 /output/wc/part-r-00000
如果執(zhí)行成功,可以在輸出目錄下看到_SUCCESS標(biāo)志文件比搭,且可以在part-r-00000文件中查看到wordcount程序的結(jié)果:
[root@master mapreduce]# hdfs dfs -cat /output/wc/part-r-00000
Beijing 2
China 2
I 2
capital 1
is 1
love 2
of 1
the 1
4. 安裝Scala
由于Scala只是一個(gè)應(yīng)用軟件冠跷,只需要安裝在master節(jié)點(diǎn)即可。
4.1 上傳Scala安裝包
使用winscp工具將Scala安裝包上傳到master節(jié)點(diǎn)的/root/tools目錄下:
# cd /root/tools/
# ls
scala-2.12.6.tgz
4.2 解壓Scala安裝包
進(jìn)入/root/tools目錄身诺,將Scala安裝包解壓到安裝目錄/root/training/:
# tar -zxvf scala-2.12.6.tgz -C /root/training/
4.3 配置Scala環(huán)境變量(三臺(tái)機(jī)器都做一遍)
將Scala的家目錄加入到環(huán)境變量PATH中:
# cd /root/training/scala-2.12.6/
# pwd
/root/training/scala-2.12.6
# vim /root/.bash_profile
SCALA_HOME=/root/training/scala-2.12.6
export SCALA_HOME
PATH=$SCALA_HOME/bin:$PATH
export PATH
使環(huán)境變量生效:
# source /root/.bash_profile
4.4 將Scala安裝包分發(fā)給從節(jié)點(diǎn)
# cd /root/training
# scp -r scala-2.12.6 root@slave1:/root/training
# scp -r scala-2.12.6 root@slave1:/root/training
4.5 驗(yàn)證Scala是否安裝成功(三臺(tái)機(jī)器都驗(yàn)證)
輸入scala命令蜜托,如下進(jìn)入scala環(huán)境,則證明scala安裝成功:
# scala
Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144).
Type in expressions for evaluation. Or try :help.scala>
5. 安裝Spark
我們先在master節(jié)點(diǎn)上配置好參數(shù)霉赡,再分發(fā)給兩個(gè)從節(jié)點(diǎn)slave1和slave2橄务。
5.1 上傳Spark安裝包
使用winscp工具將Spark安裝包上傳到master節(jié)點(diǎn)的/root/tools目錄下:
# ls /root/tools/
spark-2.1.0-bin-hadoop2.7.tgz
5.2 解壓Spark安裝包
進(jìn)入/root/tools目錄,將Spark安裝包解壓到安裝目錄/root/training/下:
# tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/training/
5.3 配置Spark環(huán)境變量(三臺(tái)機(jī)器都做一遍)
# cd /root/training/spark-2.1.0-bin-hadoop2.7/
# pwd
/root/training/hadoop-2.7.3/
# vim /root/.bash_profile
注意:由于Spark的命令腳本和Hadoop的命令腳本有沖突(比如都有start-all.sh和stop-all.sh等)穴亏,
所以這里需要注釋掉Hadoop的環(huán)境變量蜂挪,添加Spark的環(huán)境變量:
#HADOOP_HOME=/root/training/hadoop-2.7.3
#export HADOOP_HOME
#PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#export PATH
SPARK_HOME=/root/training/spark-2.1.0-bin-hadoop2.7
export SPARK_HOME
PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出,使用source命令使配置文件立即生效:
# source /root/.bash_profile
5.4 配置Spark參數(shù)
進(jìn)入Spark的配置文件目錄下:
# cd /root/training/spark-2.1.0-bin-hadoop2.7/conf/
(1) 配置spark-env.sh文件:
# cp spark-env.sh.template spark-env.sh
# vim spark-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144
export HADOOP_HOOME=/root/training/hadoop-2.7.3
export HADOOP_CONF_DIR=/root/training/hadoop-2.7.3/etc/hadoop
export SCALA_HOME=/root/training/scala-2.12.6
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G
(2) 配置slaves文件:
# cp slaves.template slaves
# vim slaves
slave1
slave2
5.5 分發(fā)安裝包給從節(jié)點(diǎn)
將master上配置好的Spark安裝目錄分別復(fù)制給兩個(gè)從節(jié)點(diǎn)slave1和slave2嗓化,并驗(yàn)證是否成功棠涮。
[root@master conf]# cd /root/training
[root@master training]# ls
hadoop-2.7.3 jdk1.8.0_144 scala-2.12.6 spark-2.1.0-bin-hadoop2.7
[root@master training]# scp -r spark-2.1.0-bin-hadoop2.7/ root@slave1:/root/training/
[root@master training]# scp -r spark-2.1.0-bin-hadoop2.7/ root@slave2:/root/training/
[root@slave1 ~]# cd /root/training/
[root@slave1 training]# ls
hadoop-2.7.3 jdk1.8.0_144 spark-2.1.0-bin-hadoop2.7
[root@slave2 ~]# cd /root/training/
[root@slave2 training]# ls
hadoop-2.7.3 jdk1.8.0_144 spark-2.1.0-bin-hadoop2.7
5.6 在master節(jié)點(diǎn)上啟動(dòng)Spark全分布模式
[root@master ~]# start-all.sh
starting org.apache.spark.deploy.master.Master, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out
啟動(dòng)后查看每個(gè)節(jié)點(diǎn)上的進(jìn)程:
[root@master ~]# jps
2960 NameNode
3141 SecondaryNameNode
3286 ResourceManager
4620 Jps
4541 Master
[root@slave1 ~]# jps
2850 NodeManager
3767 Jps
2744 DataNode
3704 Worker
[root@slave2 ~]# jps
2738 DataNode
3490 Jps
2844 NodeManager
3422 Worker
使用瀏覽器監(jiān)控Spark的狀態(tài):
5.7 使用spark-shell
使用spark-shell命令進(jìn)入SparkContext(即Scala環(huán)境):
[root@master ~]# spark-shell
Setting default log level to "WARN".
……
Welcome to
____ __
/ / ___ _____/ /__
\ / _ / _ `/ / '/
// ./_,// //_\ version 2.1.0
/_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.scala>
啟動(dòng)了spark-shell之后,可以使用4040端口訪問(wèn)其Web控制臺(tái)頁(yè)面(注意:如果一臺(tái)機(jī)器上啟動(dòng)了多個(gè)spark-shell刺覆,即運(yùn)行了多個(gè)SparkContext严肪,那么端口會(huì)自動(dòng)連續(xù)遞增,如4041,4042,4043等等):
5.8 停止Spark偽分布模式
[root@master ~]# stop-all.sh
slave2: stopping org.apache.spark.deploy.worker.Worker
slave1: stopping org.apache.spark.deploy.worker.Worker
stopping org.apache.spark.deploy.master.Master
注意:由于我們將Hadoop從環(huán)境變量中注釋掉了隅津,這時(shí)只能手動(dòng)進(jìn)入到Hadoop的sbin目錄停止Hadoop:
[root@master ~]# cd /root/training/hadoop-2.7.3/sbin/
[root@master sbin]# ./stop-all.sh
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [master]
master: stopping namenode
slave2: stopping datanode
slave1: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
stopping yarn daemons
stopping resourcemanager
slave2: stopping nodemanager
slave1: stopping nodemanager
slave1: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
no proxyserver to stop
Spark中常用的端口總結(jié):
- master端口:7077
- master Web端口:8080
- spark-shell 端口:4040