Spark從入門到精通2：Spark偽分布模式的安裝和配置

Spark的安裝模式一般分為三種：1.偽分布模式：即在一個(gè)節(jié)點(diǎn)上模擬一個(gè)分布式環(huán)境，master和worker共用一個(gè)節(jié)點(diǎn)，這種模式一般用于開(kāi)發(fā)和測(cè)試Spark程序捏浊；2.全分布模式：即真正的集群模式海渊，master和worker部署在不同的節(jié)點(diǎn)之上，一般至少需要3個(gè)節(jié)點(diǎn)（1個(gè)master和2個(gè)worker）勤婚，這種模式一般用于實(shí)際的生產(chǎn)環(huán)境摹量；3.HA集群模式：即高可用集群模式，一般至少需要4臺(tái)機(jī)器（1個(gè)主master馒胆，1個(gè)備master缨称，2個(gè)worker），這種模式的優(yōu)點(diǎn)是在主master宕機(jī)之后祝迂，備master會(huì)立即啟動(dòng)擔(dān)任master的職責(zé)睦尽，可以保證集群高效穩(wěn)定的運(yùn)行，這種模式就是實(shí)際生產(chǎn)環(huán)境中多采用的模式型雳。本小節(jié)先來(lái)介紹Spark的偽分布模式的安裝和配置当凡。

安裝介質(zhì)：
jdk-8u162-linux-x64.tar.gz 提取碼：2bh8
hadoop-2.7.3.tar.gz 提取碼：d4g2
scala-2.12.6.tgz 提取碼：s2ly
spark-2.1.0-bin-hadoop2.7.tgz 提取碼：5kcf

1. 準(zhǔn)備Linux環(huán)境

1.1 安裝Linux操作系統(tǒng)

安裝Linux操作系統(tǒng)比較簡(jiǎn)單，這里不再詳細(xì)纠俭。參考：《Linux從入門到精通1：使用 VMware Workstation 14 Pro 安裝 CentOS 7 詳細(xì)圖文教程》

1.2 關(guān)閉防火墻

關(guān)閉Selinux：
臨時(shí)關(guān)閉：# setenforce 0
永久關(guān)閉：# vi /etc/selinux/config沿量，
修改其中的參數(shù)：SELINUX=disabled，按Esc:qw保存退出冤荆。

關(guān)閉iptables：
安裝服務(wù)：# yum -y install iptables-services
臨時(shí)關(guān)閉：# systemctl stop firewalld.service
永久關(guān)閉：# systemctl disable firewalld.service

1.3 設(shè)置靜態(tài)IP

編輯網(wǎng)卡配置文件：# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改參數(shù)：BOOTPROTO=static
追加參數(shù)：
ONBOOT=yes
IPADDR=192.168.179.111
NETMASK=255.255.255.0
GATEWAY=192.168.254.2
DNS1=8.8.8.8
DNS2=119.29.29.29
重啟網(wǎng)絡(luò)服務(wù)：# systemctl restart network.service
查看配置的IP地址：# ip add 或者 # ifconfig -a
測(cè)試IP是否可用：# curl www.baidu.com 或者 # ping www.baidu.com

1.4 設(shè)置主機(jī)名

方式1：[root@localhost ~]# hostnamectl set-hostname spark111
方式2：編輯配置文件：[root@localhost ~]# vi /etc/hostname朴则，
清空內(nèi)容后寫入：spark111
重新打開(kāi)終端會(huì)顯示新的主機(jī)名：[root@spark111 ~]#

1.5 主機(jī)名和IP的映射關(guān)系

編輯hosts配置文件：# vi /etc/hosts
追加一行：192.168.179.111 spark111
測(cè)試主機(jī)名是否可用：# ping spark111

1.6 配置免密碼登錄

（1）使用ssh-keygen工具生成秘鑰對(duì)：

# ssh-keygen -t rsa
私鑰：Your identification has been saved in /root/.ssh/id_rsa.
公鑰：Your public key has been saved in /root/.ssh/id_rsa.pub.

（2）將生成的公鑰發(fā)給自己：

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@spark111

（3）測(cè)試秘鑰認(rèn)證是否成功：

# ssh root@spark111

直接回車即可登錄，不用輸入密碼钓简，說(shuō)明免密碼登錄配置成功乌妒。

2. 安裝JDK

2.1 上傳JDK安裝包

使用winscp工具將JDK安裝包jdk-8u144-linux-x64.tar.gz上傳到/root/tools/目錄中汹想，該目錄是事先創(chuàng)建的。

# ls /root/tools/
jdk-8u144-linux-x64.tar.gz

2.2 解壓JDK安裝包

進(jìn)入/root/tools/目錄撤蚊，將jdk安裝包解壓到/root/training/目錄中古掏，該目錄也是事先創(chuàng)建的。

# cd /root/tools/
# pwd
/root/tools
# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/training/

2.3 配置Java環(huán)境變量

# cd /root/trainings/jdk1.8.0_144/
# pwd
/root/trainings/jdk1.8.0_144
# vi /root/.bash_profile
在文件末尾追加如下內(nèi)容：
JAVA_HOME=/root/training/jdk1.8.0_144
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
按Esc:wq保存退出侦啸，使用source命令使配置文件立即生效：
# source /root/.bash_profile

2.4 測(cè)試JDK是否安裝成功

# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

3. 安裝Hadoop

3.1 上傳Hadoop安裝包

使用winscp工具將Hadoop安裝包hadoop-2.7.3.tar.gz上傳到/root/tools/目錄槽唾。

# ls /root/tools/
hadoop-2.4.1.tar.gz jdk-8u162-linux-x64.tar.gz

3.2 解壓Hadoop安裝包

進(jìn)入/root/tools/目錄，將hadoop安裝包解壓到/root/training/目錄匹中。

# cd /root/tools/
# tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/

3.3 配置Hadoop環(huán)境變量

# cd /root/training/hadoop-2.7.3/
# pwd
/root/training/hadoop-2.7.3
# vim /root/.bash_profile
在文件末尾追加如下內(nèi)容：
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出夏漱，使用source命令使配置文件立即生效：
# source /root/.bash_profile

3.4 配置Hadoop參數(shù)

進(jìn)入Hadoop配置文件目錄：

# cd /root/training/hadoop-2.7.3/etc/hadoop

(1)配置hadoop-env.sh文件：

# vim hadoop-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144

(2)配置hdfs-site.xml文件：

# vim hdfs-site.xml
<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

(3)配置core-site.xml文件：

# mkdir /root/training/hadoop-2.7.3/tmp
# vim core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.179.111:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
</configuration>

(4)配置mapred-site.xml文件：
將模板文件mapred-site.xml.template重命名位mapred-site.xml然后編輯：

# mv mapred-site.xml.template mapred-site.xml
# vim mapred-site.xml
<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5)配置yarn-site.xml文件：

# vim yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.179.111</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.5 對(duì)NameNode進(jìn)行格式化

# hdfs namenode -format

出現(xiàn)下面的日志說(shuō)明格式化成功：
18/05/27 16:13:55 INFO common.Storage: Storage directory
/root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

3.6 啟動(dòng)Hadoop偽分布模式

# start-all.sh

啟動(dòng)成功后，使用jps命令查看開(kāi)啟的進(jìn)程：

# jps
4792 ResourceManager
4474 DataNode
4892 NodeManager
4335 NameNode
4639 SecondaryNameNode
5199 Jps

使用命令行查看HDFS的狀態(tài)：

# hdfs dfsadmin -report

使用瀏覽器查看HDFS的狀態(tài)：

http://192.168.179.111:50070

使用瀏覽器查看YARN的狀態(tài)：

http://192.168.179.111:8088

3.7 測(cè)試WordCount程序

(1)在HDFS上創(chuàng)建輸入目錄/input：

# hdfs dfs -mkdir /input

(2)將本地?cái)?shù)據(jù)文件data.txt上傳至該目錄：

# hdfs dfs -put /root/input/data.txt /input

# hdfs dfs -ls /input
Found 1 items
-rw-r--r-- 1 root supergroup 60 2018-05-27 16:29 /input/data.txt

# hdfs dfs -cat /input/data.txt
I love Beijing
I love China
Beijing is the capital of China

(3)進(jìn)入到Hadoop的示例程序目錄：

# cd /root/training/hadoop-2.7.3/share/hadoop/mapreduce

(4)執(zhí)行示例程序中的Wordcount程序顶捷，以HDFS上的/input/data.txt作為輸入數(shù)據(jù)挂绰，

輸出結(jié)果存放到HDFS上的/out/wc目錄下：

# hadoop jar hadoop-mapreduce-examples-2.7.3.jar \
wordcount /input/data.txt /output/wc

(5)查看進(jìn)度和結(jié)果：

可以通過(guò)終端打印出來(lái)的日志信息知道執(zhí)行進(jìn)度：

18/05/27 16:32:03 INFO mapreduce.Job: map 0% reduce 0%
18/05/27 16:32:11 INFO mapreduce.Job: map 100% reduce 0%
18/05/27 16:32:21 INFO mapreduce.Job: map 100% reduce 100%

執(zhí)行結(jié)束后可以在HDFS上的/out/wc目錄下查看是否有_SUCCESS標(biāo)志文件來(lái)判斷是否執(zhí)行成功。

# hdfs dfs -ls /output/wc
Found 2 items
-rw-r--r-- 1 root supergroup 0 2018-05-27 16:32 /output/wc/_SUCCESS
-rw-r--r-- 1 root supergroup 55 2018-05-27 16:32 /output/wc/part-r-00000

如果執(zhí)行成功服赎，可以在輸出目錄下看到_SUCCESS標(biāo)志文件葵蒂，且可以在part-r-00000文件中查看到wordcount程序的結(jié)果：

# hdfs dfs -cat /output/wc/part-r-00000
Beijing 2
China 2
I 2
capital 1
is 1
love 2
of 1
the 1

3.8 停止Hadoop偽分布模式

# stop-all.sh

4. 安裝Scala

4.1 上傳Scala安裝包

使用winscp工具將Scala安裝包scala-2.12.6.tgz上傳到/root/tools目錄下：

# cd /root/tools/
# ls
scala-2.12.6.tgz

4.2 解壓Scala安裝包

進(jìn)入/root/tools目錄，將Scala安裝包解壓到安裝目錄/root/training/：

# tar -zxvf scala-2.12.6.tgz -C /root/training/

4.3 配置Scala環(huán)境變量

將Scala的家目錄加入到環(huán)境變量PATH中：

# cd /root/training/scala-2.12.6/
# pwd
/root/training/scala-2.12.6
# vim /root/.bash_profile
SCALA_HOME=/root/training/scala-2.12.6
export SCALA_HOME
PATH=$SCALA_HOME/bin:$PATH
export PATH

使環(huán)境變量生效：

# source /root/.bash_profile

4.4 驗(yàn)證Scala是否安裝成功

輸入scala命令重虑，如下進(jìn)入scala環(huán)境践付，則證明scala安裝成功：

# scala
Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144).
Type in expressions for evaluation. Or try :help.

scala>

5. 安裝Spark

5.1 上傳Spark安裝包

使用winscp工具將Spark安裝包spark-2.1.0-bin-hadoop2.7.tgz上傳到/root/tools目錄下：

# ls /root/tools/
spark-2.1.0-bin-hadoop2.7.tgz

5.2 解壓Spark安裝包

進(jìn)入/root/tools目錄，將Spark安裝包解壓到安裝目錄/root/training/下：

# tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/training/

5.3 配置Spark環(huán)境變量

# cd /root/training/spark-2.1.0-bin-hadoop2.7/
# pwd
/root/training/hadoop-2.7.3/
# vim /root/.bash_profile

注意：由于Spark的命令腳本和Hadoop的命令腳本有沖突（比如都有start-all.sh和stop-all.sh等）缺厉，
所以這里需要注釋掉Hadoop的環(huán)境變量永高，添加Spark的環(huán)境變量：

#HADOOP_HOME=/root/training/hadoop-2.7.3
#export HADOOP_HOME
#PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#export PATH
SPARK_HOME=/root/training/spark-2.1.0-bin-hadoop2.7
export SPARK_HOME
PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export PATH

按Esc:wq保存退出，使用source命令使配置文件立即生效：

# source /root/.bash_profile

5.4 配置Spark參數(shù)

進(jìn)入Spark的配置文件目錄下：

# cd /root/training/spark-2.1.0-bin-hadoop2.7/conf/

(1)配置spark-env.sh文件：

# cp spark-env.sh.template spark-env.sh
# vim spark-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144
export HADOOP_HOOME=/root/training/hadoop-2.7.3
export HADOOP_CONF_DIR=/root/training/hadoop-2.7.3/etc/hadoop
export SCALA_HOME=/root/training/scala-2.12.6
export SPARK_MASTER_HOST=spark111
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G

(2)配置slaves文件：

# cp slaves.template slaves
# vim slaves
spark111

5.5 啟動(dòng)Spark偽分布模式

# start-all.sh
starting org.apache.spark.deploy.master.Master, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.master.Master-1-spark111.out
spark111: starting org.apache.spark.deploy.worker.Worker, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.worker.Worker-1-spark111.out

查看進(jìn)程：

# jps
6513 Master
6596 Worker

使用瀏覽器監(jiān)控Spark的狀態(tài)：
image

5.6 使用spark-shell

使用spark-shell命令進(jìn)入SparkContext（即Scala環(huán)境）：

# spark-shell
Setting default log level to "WARN".
……
Welcome to
____ __
/ / ___ _____/ /__
\ / _ / _ `/ / '/
// ./_,// // _\ version 2.1.0
/_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

啟動(dòng)了spark-shell之后提针，可以使用4040端口訪問(wèn)其Web控制臺(tái)頁(yè)面(注意：如果一臺(tái)機(jī)器上啟動(dòng)了多個(gè)spark-shell命爬，即運(yùn)行了多個(gè)SparkContext，那么端口會(huì)自動(dòng)連續(xù)遞增辐脖，如4041,4042,4043等等)：

image

5.7 停止Spark偽分布模式

# stop-all.sh
spark111: stopping org.apache.spark.deploy.worker.Worker
stopping org.apache.spark.deploy.master.Master

Spark中常用的端口總結(jié)：

  • master端口：7077
  • master Web端口：8080
  • spark-shell 端口：4040
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末饲宛，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子嗜价，更是在濱河造成了極大的恐慌艇抠，老刑警劉巖，帶你破解...
    沈念sama閱讀 211,290評(píng)論 6贊 491
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件久锥，死亡現(xiàn)場(chǎng)離奇詭異家淤，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)瑟由，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,107評(píng)論 2贊 385
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門媒鼓，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人错妖，你說(shuō)我怎么就攤上這事绿鸣。” “怎么了暂氯？”我有些...
    開(kāi)封第一講書人閱讀 156,872評(píng)論 0贊 347
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵潮模，是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我痴施，道長(zhǎng)擎厢，這世上最難降的妖魔是什么？ 我笑而不...
    開(kāi)封第一講書人閱讀 56,415評(píng)論 1贊 283
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任辣吃，我火速辦了婚禮动遭，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘神得。我一直安慰自己厘惦，他們只是感情好，可當(dāng)我...
    茶點(diǎn)故事閱讀 65,453評(píng)論 6贊 385
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布哩簿。 她就那樣靜靜地躺著宵蕉，像睡著了一般。 火紅的嫁衣襯著肌膚如雪节榜。 梳的紋絲不亂的頭發(fā)上羡玛，一...
    開(kāi)封第一講書人閱讀 49,784評(píng)論 1贊 290
  • 城市分裂傳說(shuō)
    那天，我揣著相機(jī)與錄音宗苍，去河邊找鬼稼稿。 笑死，一個(gè)胖子當(dāng)著我的面吹牛讳窟，可吹牛的內(nèi)容都是我干的让歼。 我是一名探鬼主播，決...
    沈念sama閱讀 38,927評(píng)論 3贊 406
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼挪钓，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼是越！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起碌上，我...
    開(kāi)封第一講書人閱讀 37,691評(píng)論 0贊 266
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤倚评，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后馏予，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體天梧，經(jīng)...
    沈念sama閱讀 44,137評(píng)論 1贊 303
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,472評(píng)論 2贊 326
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年霞丧，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了呢岗。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,622評(píng)論 1贊 340
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖后豫，靈堂內(nèi)的尸體忽然破棺而出悉尾，到底是詐尸還是另有隱情，我是刑警寧澤挫酿，帶...
    沈念sama閱讀 34,289評(píng)論 4贊 329
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布构眯，位于F島的核電站，受9級(jí)特大地震影響早龟，放射性物質(zhì)發(fā)生泄漏惫霸。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,887評(píng)論 3贊 312
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一葱弟、第九天 我趴在偏房一處隱蔽的房頂上張望壹店。 院中可真熱鬧，春花似錦芝加、人聲如沸硅卢。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,741評(píng)論 0贊 21
  • 一樁弒父案妖混，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)老赤。三九已至，卻和暖如春制市，著一層夾襖步出監(jiān)牢的瞬間抬旺，已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,977評(píng)論 1贊 265
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工祥楣， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留开财，地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,316評(píng)論 2贊 360
  • 代替公主和親
    正文 我出身青樓误褪，卻偏偏與公主長(zhǎng)得像责鳍，于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子兽间，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,490評(píng)論 2贊 348

推薦閱讀更多精彩內(nèi)容