centos7 搭建hadoop-3.2.1 nameNode HA with QJM & resourceManage HA

部署方案

朋贬、	NN-1	NN-2	DN	ZK	ZKFC	JNN	RS	NM
node01	*				*	*
node02		*	*	*	*	*		*
node03			*	*			*	*
node04			*	*			*	*

環(huán)境準(zhǔn)備

先安裝一臺(tái)虛擬機(jī)
配置靜態(tài)ip
見centos7 配置靜態(tài)ip
修改主機(jī)名
見linux修改 hostname
安裝jdk
見centos7安裝java
關(guān)閉防火墻
見centos7關(guān)閉防火墻
下載hadoop 安裝包
我們這里使用的是hadoop-3.2.1.tar.gz
放到/tmp目錄
解壓到/usr/local/hadoop/目錄下

mkdir /usr/local/hadoop
tar -zxvf /tmp/hadoop-3.2.1.tar.gz -C /usr/local/hadoop

克隆虛擬機(jī)
先保存當(dāng)前虛擬機(jī)的快照
然后右擊該虛擬機(jī)肥缔，點(diǎn)擊管理-->克隆
選擇現(xiàn)有快照乱陡，點(diǎn)擊下一步
選擇創(chuàng)建完整克隆玷过，點(diǎn)擊下一步
虛擬機(jī)名稱他托，輸入node02知残，點(diǎn)擊完成辱志。
開啟此虛擬機(jī)虐急，修改ip和hostname
按照上述步驟箱残，創(chuàng)建node03和node04
配置node01的hosts，添加node2止吁，node03被辑，node04

vi /etc/hosts
添加
192.168.88.201 node01 
192.168.88.202 node02 
192.168.88.203 node03 
192.168.88.204 node04

并將hosts發(fā)送給其他三臺(tái)機(jī)器

scp /etc/hosts node02:/etc/hosts
scp /etc/hosts node03:/etc/hosts
scp /etc/hosts node04:/etc/hosts

輸入用戶名和密碼完成

配置免密登錄
在所有4臺(tái)虛擬機(jī)上執(zhí)行以下操作

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

將node01的id_rsa.pub發(fā)送給其他三臺(tái)機(jī)器

cd /root/.ssh
scp id_rsa.pub node02:`pwd`/node01.pub
scp id_rsa.pub node03:`pwd`/node01.pub
scp id_rsa.pub node04:`pwd`/node01.pub

在其他3太機(jī)器上執(zhí)行

cd /root/.ssh
cat node01.pub >> authorized_keys

在node01上試一下是否可以免密登錄到其他幾臺(tái)機(jī)器上

ssh node02
exit
ssh node03
exit
ssh node04
exit

可以即ok
配置node02免密登錄到其他三臺(tái)機(jī)器，操作同上

開始部署

在node01機(jī)器上敬惦，配置hdfs-site.xml

cd /usr/local/hadoop/hadoop-3.2.1/etc/hadoop
vi hdfs-site.xml

加入以下配置

<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>node01:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>node02:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn1</name>
    <value>node01:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.nn2</name>
    <value>node02:9870</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_dsa</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/var/path/to/journal/node/local/data</value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置core-site.xml
vi core-site.xml
加入以下配置

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/hadoop/ha</value>
  </property>
  <property>
     <name>ha.zookeeper.quorum</name>
     <value>node02:2181,node03:2181,node04:2181</value>
  </property>
</configuration>

編輯hadoop-env.sh中的JAVA_HOME

vi hadoop-env.sh

找到JAVA_HOME,并編輯

export JAVA_HOME=/usr/local/java/jdk1.8.0_251

編輯workes

vi workers

添加以下參數(shù)

node02
node03
node04

分發(fā) hdfs-site.xml 和core-site.xml盼理，hadoop-env.sh，workers 到node02俄删，node03宏怔，node04

scp core-site.xml hdfs-site.xml hadoop-env.sh workers node02:`pwd`
scp core-site.xml hdfs-site.xml hadoop-env.sh workers node03:`pwd`
scp core-site.xml hdfs-site.xml hadoop-env.sh workers node04:`pwd`

在node01上

修改sbin目錄下的幾個(gè)腳本，確保通過(guò)root用戶可以把hadoop啟起來(lái)

cd /usr/local/hadoop/hadoop-3.2.1/sbin

編輯start-dfs.sh和stop-dfs.sh文件畴椰，添加下列參數(shù)：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

編輯start-yarn.sh和stop-yarn.sh文件臊诊，添加下列參數(shù)：

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

把這幾個(gè)文件分發(fā)到其他節(jié)點(diǎn)

scp start-dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh node02:`pwd`
scp start-dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh node03:`pwd`
scp start-dfs.sh stop-dfs.sh start-yarn.sh stop-yarn.sh node04:`pwd`

搭建zookeeper

下載apache-zookeeper-3.6.1-bin.tar.gz，并放到node02的/tmp目錄下
解壓到/usr/local/zookeeper目錄

mkdir /usr/local/zookeeper
tar -zxvf /tmp/apache-zookeeper-3.6.1-bin.tar.gz -C /usr/local/zookeeper

修改配置文件

cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

添加以下配置

#找到dataDir斜脂，并改成以下值
dataDir=/var/zookeeper
#添加以下配置
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888

將zookeeper 分發(fā)到node03抓艳，node04

cd /usr/local
scp -r zookeeper/ node03:`pwd`
scp -r zookeeper/ node04:`pwd`

在node02，node03秽褒，node04上創(chuàng)建對(duì)應(yīng)的目錄

mkdir /var/zookeeper

在node02壶硅，node03，node04的/var/zookeeper創(chuàng)建myid文件
node02 echo 1 > /var/zookeeper/myid
node03 echo 2 > /var/zookeeper/myid
node04 echo 3 > /var/zookeeper/myid
啟動(dòng)zookeeper集群
node02,node03,node04分別執(zhí)行

cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin/
bin/zkServer.sh start

可以執(zhí)行以下命令看一下狀態(tài)

bin/zkServer.sh status

啟動(dòng)journalnode
在node01,node02,node03上分別執(zhí)行

cd /usr/local/hadoop/hadoop-3.2.1/
bin/hdfs --daemon start journalnode

然后jps看一下销斟，JournalNode是否起來(lái)了

格式化文件系統(tǒng)
在node01上執(zhí)行

cd /usr/local/hadoop/hadoop-3.2.1/
bin/hdfs namenode -format

node01啟動(dòng)namenode

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/hadoop-daemon.sh start namenode

node02執(zhí)行bootstrapStandby

cd /usr/local/hadoop/hadoop-3.2.1/
bin/hdfs namenode -bootstrapStandby

在zookeeper上初始化Ha狀態(tài)
在node01上執(zhí)行

cd /usr/local/hadoop/hadoop-3.2.1/
bin/hdfs zkfc -formatZK

啟動(dòng)當(dāng)前hadoop集群

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/start-dfs.sh

jsp看一下庐椒，進(jìn)程是否正確

[root@node01 hadoop-3.2.1]# jps
15816 NameNode
16521 DFSZKFailoverController
16572 Jps
15615 JournalNode

[root@node02 hadoop-3.2.1]# jps
13063 Jps
13033 DFSZKFailoverController
1818 QuorumPeerMain
12763 NameNode
12875 DataNode
12606 JournalNode

[root@node03 hadoop-3.2.1]# jps
10513 Jps
10306 JournalNode
10402 DataNode
1734 QuorumPeerMain

[root@node04 var]# jps
2272 Jps
2209 DataNode
1764 QuorumPeerMain

瀏覽器訪問(wèn)http://node01:9870
關(guān)閉hadoop集群和zookeeper集群
在node01上

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/stop-dfs.sh

在node02,node03,node04上

cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin/
bin/zkServer.sh stop

開啟zookeeper集群和hadoop集群
在node02,node03,node04上

cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin/
bin/zkServer.sh start

在node01上

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/start-dfs.sh

配置高可用資源管理

在node01節(jié)點(diǎn)上

配置mapred-site.xml

cd /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/
vi mapred-site.xml

配置如下

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

配置yarn-site.xml
vi yarn-site.xml
配置如下

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.enabled</name>
      <value>true</value>
    </property>
    <property>
      <name>yarn.resourcemanager.cluster-id</name>
      <value>cluster1</value>
    </property>
    <property>
      <name>yarn.resourcemanager.ha.rm-ids</name>
      <value>rm1,rm2</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm1</name>
      <value>node03</value>
    </property>
    <property>
      <name>yarn.resourcemanager.hostname.rm2</name>
      <value>node04</value>
    </property>
    <property>
      <name>yarn.resourcemanager.webapp.address.rm1</name>
      <value>node03:8088</value>
    </property>
    <property>
      <name>yarn.resourcemanager.webapp.address.rm2</name>
      <value>node04:8088</value>
    </property>
    <property>
      <name>hadoop.zk.address</name>
      <value>node02:2181,node03:2181,node04:2181</value>
    </property>
</configuration>

分發(fā)配置

scp mapred-site.xml yarn-site.xml node02:`pwd`
scp mapred-site.xml yarn-site.xml node03:`pwd`
scp mapred-site.xml yarn-site.xml node04:`pwd`

配置node03，node04之間的免密登錄
node03節(jié)點(diǎn)上

cd /root/.ssh
scp id_rsa.pub node04:`pwd`/node03.pub

node04節(jié)點(diǎn)上

cd /root/.ssh
cat node03.pub >> authorized_keys 
scp id_rsa.pub node03:`pwd`/node04.pub

node03節(jié)點(diǎn)上

cat node04.pub >> authorized_keys 
ssh node04
ssh node03
exit
exit

可以互相免密登錄即可

按照啟動(dòng)順序進(jìn)行啟動(dòng)

在node02,node03,node04上,先啟動(dòng)zookeeper

cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin/
bin/zkServer.sh start

在node01上蚂踊，啟動(dòng)hdfs

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/start-dfs.sh

在node01上啟動(dòng)資源管理

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/start-yarn.sh

瀏覽器訪問(wèn)一下http://node03:8088/
出現(xiàn)Nodes of the cluster的頁(yè)面即可
關(guān)閉hadoop集群和zookeeper集群
在node01上

cd /usr/local/hadoop/hadoop-3.2.1/
sbin/stop-all.sh

在node02,node03,node04上

cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin/
bin/zkServer.sh stop

最后編輯于：2020.06.14 22:24:08

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末约谈，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌棱诱，老刑警劉巖泼橘，帶你破解...
沈念sama閱讀 211,743評(píng)論 6贊 492
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異迈勋，居然都是意外死亡炬灭，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,296評(píng)論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門靡菇，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)重归，“玉大人，你說(shuō)我怎么就攤上這事厦凤”撬保” “怎么了？”我有些...
開封第一講書人閱讀 157,285評(píng)論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵较鼓，是天一觀的道長(zhǎng)椎木。經(jīng)常有香客問(wèn)我，道長(zhǎng)博烂，這世上最難降的妖魔是什么香椎？我笑而不...
開封第一講書人閱讀 56,485評(píng)論 1贊 283
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮脖母，結(jié)果婚禮上士鸥，老公的妹妹穿的比我還像新娘。我一直安慰自己谆级，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 65,581評(píng)論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開白布讼积。她就那樣靜靜地躺著肥照，像睡著了一般。火紅的嫁衣襯著肌膚如雪勤众。梳的紋絲不亂的頭發(fā)上舆绎，一...
開封第一講書人閱讀 49,821評(píng)論 1贊 290
城市分裂傳說(shuō)
那天，我揣著相機(jī)與錄音们颜，去河邊找鬼吕朵。笑死，一個(gè)胖子當(dāng)著我的面吹牛窥突，可吹牛的內(nèi)容都是我干的努溃。我是一名探鬼主播，決...
沈念sama閱讀 38,960評(píng)論 3贊 408
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼阻问，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼梧税！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 37,719評(píng)論 0贊 266
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤第队，失蹤者是張志新（化名）和其女友劉穎哮塞，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體凳谦，經(jīng)...
沈念sama閱讀 44,186評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡忆畅，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,516評(píng)論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了尸执。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片家凯。...
茶點(diǎn)故事閱讀 38,650評(píng)論 1贊 340
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖剔交，靈堂內(nèi)的尸體忽然破棺而出肆饶，到底是詐尸還是另有隱情，我是刑警寧澤岖常，帶...
沈念sama閱讀 34,329評(píng)論 4贊 330
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布驯镊，位于F島的核電站，受9級(jí)特大地震影響竭鞍，放射性物質(zhì)發(fā)生泄漏板惑。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,936評(píng)論 3贊 313
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一偎快、第九天我趴在偏房一處隱蔽的房頂上張望冯乘。院中可真熱鬧，春花似錦晒夹、人聲如沸裆馒。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,757評(píng)論 0贊 21
一樁弒父案丐怯，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)喷好。三九已至，卻和暖如春读跷，著一層夾襖步出監(jiān)牢的瞬間梗搅，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 31,991評(píng)論 1贊 266
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工效览，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留无切，地道東北人。一個(gè)月前我還...
沈念sama閱讀 46,370評(píng)論 2贊 360
代替公主和親
正文我出身青樓丐枉，卻偏偏與公主長(zhǎng)得像哆键，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子矛洞，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,527評(píng)論 2贊 349