linux spark分布式集群搭建圖文詳解

一.前期準(zhǔn)備

1.1 Win7官網(wǎng)下載spark包

本文使用版本spark-1.6.2-bin-hadoop2.6.tgz

1.2 配置jdk

jdk1.7:linux jdk安裝和配置

scala2.10.6:linux scala安裝和配置

hadoop-2.6.5:hadoop分布式集群搭建

1.3 centos7集群服務(wù)器

主機(jī)名 ? ?系統(tǒng) ? ? ? ? ?IP地址

master ? ?centos7 ? ?192.168.32.128

slave01 ? centos7 ? ?192.168.32.131

slave02 ? centos7 ? ? 192.168.32.132

二.spark完全分布式集群搭建

以下操作只針對master主機(jī)服務(wù)器呢撞,其他主機(jī)服務(wù)器類似布卡。

2.1 上傳spark包至 /opt/software目錄

2.2 解壓和拷貝spark至 /usr/local/spark

cd /opt/software

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz

cp -r spark-1.6.2-bin-hadoop2.6 /usr/local/spark

spark解壓和拷貝

spark解壓和拷貝完成

三.spark完全分布式集群配置

3.1 系統(tǒng)文件profile配置

配置系統(tǒng)環(huán)境變量

vi /etc/profile

系統(tǒng)環(huán)境配置

退出保存链瓦,重啟配置

source /etc/profile

3.2 文件配置

定位:cd /usr/local/spark/conf

默認(rèn):

log4j.properties.template,spark-env.sh.template,slaves.template,spark-defaults.conf.template

復(fù)制:

log4j.properties,spark-env.sh,slaves,spark-defaults.conf

配置文件生成

3.3 修改spark-env.sh文件

vi spark-env.sh

export JAVA_HOME=/usr/local/jdk

export SCALA_HOME=/usr/local/scala

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

export SPARK_MASTER_IP=master

export SPARK_WORKER_MEMORY=1G

export SPARK_EXECUTOR_MEMORY=1G

export SPARK_DRIVER_MEMORY=1G

export SPARK_WORKER_CORES=6

spark-env.sh文件

3.4 修改spark-defaults.conf文件

vi spark-defaults.conf

spark.eventLog.enabled? ? ? ? ? true

spark.eventLog.dir? ? ? ? ? ? ? hdfs://master:9000/historyserverforSpark

spark.executor.extraJavaOptions? -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

spark.yarn.historyServer.address? master:18080

spark.history.fs.logDirectory? ? ? hdfs://master:9000/historyserverforSpark

spark-defaults.conf文件

3.5 修改slaves文件

vi slaves

master

slave01

slave02

slaves文件

3.6 hadoop新建historyserverforSpark目錄

#新建historyserverforSpark目錄

hadoop fs -mkdir /historyserverforSpark

#查看目錄

hadoop fs -ls /

目錄新建和查看

3.7?slave01和slave02服務(wù)器修改

3.7.1 spark文件復(fù)制

復(fù)制master中spark文件到slave01和slave02服務(wù)器的/usr/local目錄

scp -r /usr/local/sparkroot@slave01:/usr/local/spark

scp -r /usr/local/sparkroot@slave012:/usr/local/spark

3.7.2 ?系統(tǒng)環(huán)境profile配置

類似3.1 分別在salve01和slave02配置系統(tǒng)環(huán)境

四.spark集群測試

4.1 測試命令

#啟動

start-all.sh start

#停止

stop-all.sh start

4.2 集群測試

在master服務(wù)器運(yùn)行啟動命令

進(jìn)入/usr/local/spark目錄

4.2.1 啟動各個節(jié)點(diǎn)

sbin/start-all.sh start

啟動節(jié)點(diǎn)

4.2.2 啟動start-history-server

sbin/start-history-server.sh

history啟動

4.2.3 查看節(jié)點(diǎn)狀態(tài)

jps查看節(jié)點(diǎn)進(jìn)程

master進(jìn)程
slave進(jìn)程

4.2.4 web端驗證是否啟動成功

通過web端的18080端口查看是否啟動成功

http://192.168.32.128:18080

驗證啟動

4.2.5 通過spark-submit命令運(yùn)行jar包

bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://192.168.32.128:7077 lib/spark-examples-1.6.2-hadoop2.6.0.jar 10

spark-submit測試


spark應(yīng)用管理
history-server

至此勃蜘,spark完成分布式集群搭建完畢卿操。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市惑艇,隨后出現(xiàn)的幾起案子迫靖,更是在濱河造成了極大的恐慌,老刑警劉巖测秸,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件疤估,死亡現(xiàn)場離奇詭異,居然都是意外死亡霎冯,警方通過查閱死者的電腦和手機(jī)铃拇,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來沈撞,“玉大人慷荔,你說我怎么就攤上這事〔常” “怎么了显晶?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長壹士。 經(jīng)常有香客問我磷雇,道長,這世上最難降的妖魔是什么躏救? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任唯笙,我火速辦了婚禮,結(jié)果婚禮上落剪,老公的妹妹穿的比我還像新娘睁本。我一直安慰自己,他們只是感情好忠怖,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布呢堰。 她就那樣靜靜地躺著,像睡著了一般凡泣。 火紅的嫁衣襯著肌膚如雪枉疼。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天鞋拟,我揣著相機(jī)與錄音骂维,去河邊找鬼。 笑死贺纲,一個胖子當(dāng)著我的面吹牛航闺,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼潦刃,長吁一口氣:“原來是場噩夢啊……” “哼侮措!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起乖杠,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤分扎,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后胧洒,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體畏吓,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年卫漫,在試婚紗的時候發(fā)現(xiàn)自己被綠了菲饼。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡列赎,死狀恐怖巴粪,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情粥谬,我是刑警寧澤,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布辫塌,位于F島的核電站漏策,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏臼氨。R本人自食惡果不足惜掺喻,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望储矩。 院中可真熱鬧感耙,春花似錦、人聲如沸持隧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽屡拨。三九已至只酥,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間呀狼,已是汗流浹背裂允。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留哥艇,地道東北人绝编。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親十饥。 傳聞我的和親對象是個殘疾皇子窟勃,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容

  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1绷跑、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf拳恋,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,748評論 0 14
  • 環(huán)境準(zhǔn)備 服務(wù)器集群 我用的CentOS-6.6版本的4個虛擬機(jī)砸捏,主機(jī)名為hadoop01谬运、hadoop02、ha...
    Flighting拾壹狼閱讀 661評論 0 1
  • 搭建Spark的單機(jī)版集群 一垦藏、創(chuàng)建用戶 useradd spark passwd spark 二梆暖、下載軟件 JD...
    葡小萄家的貓閱讀 1,718評論 0 3
  • 忙一點(diǎn)多好弟灼,閑著閑著级解,就廢掉了! 我現(xiàn)在每天都很閑田绑,閑到不知道要干嘛勤哗,還美其名曰:迷茫。 聽著很搞笑掩驱,都快要大學(xué)畢...
    軒凌閱讀 255評論 0 1
  • 2016 網(wǎng)易校招產(chǎn)品崗筆試題 1芒划、copy to China 的例子舉例,至少 5 個 2欧穴、列舉 O2O 例子民逼,...
    愛攝影的奧派閱讀 311評論 0 0