HADOOP 高可用環(huán)境搭建

機(jī)器規(guī)劃：

10.241.95.109 master jdk,hadoop namenode,ZKFC,Resourcemanager
10.241.95.107 h107 jdk,hadoop namenode,ZKFC,Resourcemanager,zookeeper,Journalnode,
10.241.95.110 slave1 jdk,hadoop natanode, nodemanager
10.241.95.111 slave2 jdk,hadoop, natanode,nodemanager
10.241.95.105 h105 jdk,hadoop, natanode,nodemanager,zookeeper,Journalnode,
10.241.95.106 h106 jdk, hadoop, natanode,nodemanager,zookeeper,Journalnode

1:設(shè)置服務(wù)器的hostname
目標(biāo)文件：/etc/hosts 對(duì)象： 6臺(tái)機(jī)器通用

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 salve2

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
10.241.95.109 master
10.241.95.110 slave1
10.241.95.111 slave2
10.241.95.105 h105
10.241.95.106 h106
10.241.95.107 h107

2:設(shè)置javahome和hadoophome
目標(biāo)文件：/etc/profile 對(duì)象： 6臺(tái)機(jī)器通用
JAVA_HOME=/usr/java/jdk1.8.0_201
HADOOP_HOME=/opt/app/hadoop-3.1.2
CLASSPATH= $JAVA_HOME/lib PATH=$ PATH: $JAVA_HOME/bin:$ HADOOP_HOME/bin:$HADOOP_HOME/sbin

3：設(shè)置ssh免密碼登陸
執(zhí)行：ssh-keygen 生成密鑰
/root/.ssh/id_rsa.pub中生成的內(nèi)容粘貼到 /root/.ssh/authorized_keys中，然后復(fù)制到每一臺(tái)機(jī)器，6臺(tái)機(jī)器就是6套密鑰

4：hadoop配置文件
對(duì)象：6臺(tái)機(jī)器通用
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-3.1.2/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>h105:2181,h106:2181,h107:2181</value>
</property>
</configuration>

hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.http.address</name>
<value>10.241.95.109:9870</value>
</property>
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>10.241.95.109:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>10.241.95.109:9870</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>10.241.95.107:9000</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>10.241.95.107:9870</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://h105:8485;h106:8485;h107:8485/ns1</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/app/hadoop-3.1.2/journaldata</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/opt/app/hadoop-3.1.2/share/hadoop/mapreduce/, /opt/app/hadoop-3.1.2/share/hadoop/mapreduce/lib/</value>
</property>
<property>
<name>mapreduce.job.reduce.slowstart.completedmaps</name>
<value>0.9</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8192</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>8192</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2046</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>2046</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2046</value>
</property>
</configuration>

yarn-site.xml
<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>10.241.95.109</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>10.241.95.107</value>
</property>
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>h105:2181,h06:2181,h107:2181</value>
</property>
</configuration>

5：設(shè)置從屬文件
對(duì)象：master,h107

works.xml
slave1
slave2
h106
h105

6:格式化HDFS
對(duì)象master：hdfs namenode -format
然后把主節(jié)點(diǎn)的數(shù)據(jù)copy到standby機(jī)器上
格式化后會(huì)在根據(jù)core-site.xml中的hadoop.tmp.dir配置生成個(gè)文件斯碌，這里我配置的是主節(jié)點(diǎn)/home/hadoop/hadoop-3.1.2/tmp娩缰，然后將/home/hadoop/hadoop-3.1.2/tmp拷貝到從節(jié)點(diǎn)的/home/hadoop/hadoop-3.1.2/下甚亭。

7:初始化zk
對(duì)象：master
hdfs zkfc -formatZK

8:啟動(dòng)hadoop
對(duì)象：集群中任意一臺(tái)機(jī)器
start-dfs.sh
start-yarn.sh

至此hadoop高可用集群搭建完畢

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末唯鸭，一起剝皮案震驚了整個(gè)濱河市盼忌，隨后出現(xiàn)的幾起案子再愈，更是在濱河造成了極大的恐慌，老刑警劉巖跌帐，帶你破解...
沈念sama閱讀 210,978評(píng)論 6贊 490
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件首懈，死亡現(xiàn)場離奇詭異，居然都是意外死亡谨敛，警方通過查閱死者的電腦和手機(jī)究履，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 89,954評(píng)論 2贊 384
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來脸狸，“玉大人最仑，你說我怎么就攤上這事〈都祝” “怎么了泥彤？”我有些...
開封第一講書人閱讀 156,623評(píng)論 0贊 345
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長卿啡。經(jīng)常有香客問我吟吝，道長，這世上最難降的妖魔是什么颈娜？我笑而不...
開封第一講書人閱讀 56,324評(píng)論 1贊 282
?港島之戀（遺憾婚禮）
正文為了忘掉前任剑逃，我火速辦了婚禮，結(jié)果婚禮上官辽，老公的妹妹穿的比我還像新娘蛹磺。我一直安慰自己，他們只是感情好野崇，可當(dāng)我...
茶點(diǎn)故事閱讀 65,390評(píng)論 5贊 384
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布称开。她就那樣靜靜地躺著，像睡著了一般乓梨。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上清酥，一...
開封第一講書人閱讀 49,741評(píng)論 1贊 289
城市分裂傳說
那天扶镀，我揣著相機(jī)與錄音，去河邊找鬼焰轻。笑死臭觉，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播蝠筑，決...
沈念sama閱讀 38,892評(píng)論 3贊 405
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼狞膘，長吁一口氣：“原來是場噩夢(mèng)啊……” “哼！你這毒婦竟也來了什乙？” 一聲冷哼從身側(cè)響起挽封，我...
開封第一講書人閱讀 37,655評(píng)論 0贊 266
萬榮殺人案實(shí)錄
序言：老撾萬榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎臣镣，沒想到半個(gè)月后辅愿，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 44,104評(píng)論 1贊 303
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡忆某，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 36,451評(píng)論 2贊 325
?白月光啟示錄
正文我和宋清朗相戀三年点待，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片弃舒。...
茶點(diǎn)故事閱讀 38,569評(píng)論 1贊 340
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡癞埠，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出聋呢，到底是詐尸還是另有隱情苗踪，我是刑警寧澤，帶...
沈念sama閱讀 34,254評(píng)論 4贊 328
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布坝冕，位于F島的核電站徒探，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏喂窟。R本人自食惡果不足惜测暗，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 39,834評(píng)論 3贊 312
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望磨澡。院中可真熱鬧碗啄，春花似錦、人聲如沸稳摄。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,725評(píng)論 0贊 21
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽厦酬。三九已至胆描，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間仗阅，已是汗流浹背昌讲。一陣腳步聲響...
開封第一講書人閱讀 31,950評(píng)論 1贊 264
情欲美人皮
我被黑心中介騙來泰國打工，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留减噪，地道東北人短绸。一個(gè)月前我還...
沈念sama閱讀 46,260評(píng)論 2贊 360
代替公主和親
正文我出身青樓车吹，卻偏偏與公主長得像，于是被迫代替她去往敵國和親醋闭。傳聞我的和親對(duì)象是個(gè)殘疾皇子窄驹，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 43,446評(píng)論 2贊 348

HADOOP 高可用環(huán)境搭建

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 salve2

推薦閱讀更多精彩內(nèi)容