簡(jiǎn)介
在工作中考阱,生產(chǎn)環(huán)境和測(cè)試環(huán)境各搭建了一套Hadoop HA集群且運(yùn)行穩(wěn)定泌射,以下為測(cè)試環(huán)境的詳細(xì)部署流程以及在使用過(guò)程中踩過(guò)的坑和解決方案粘姜。
集群配置
服務(wù)器:五臺(tái)
處理器:Intel(R) Core(TM) i5-6500 CPU @ 3.20GHz
內(nèi)存:16G
磁盤(pán):1T
Hadoop版本:2.7.2
Zookeeper版本:3.4.9
Hbase版本:1.2.4
注意事項(xiàng)
在服務(wù)器上編輯配置文件時(shí),切記要用vi或vim編輯熔酷,不能直接用文本編輯器對(duì)配置文件進(jìn)行修改孤紧,否則可能會(huì)出現(xiàn)配置文件編碼被修改而導(dǎo)致亂碼的問(wèn)題。
集群基礎(chǔ)環(huán)境配置
1拒秘、關(guān)閉防火墻
systemctl stop firewalld //關(guān)閉防火墻
systemctl disable firewalld //禁止開(kāi)機(jī)啟動(dòng)
2号显、配置ntp服務(wù)時(shí)鐘同步
- 在各個(gè)節(jié)點(diǎn)上安裝ntp:
yum -y install ntp
- 在ntp 主節(jié)點(diǎn)上修改配置:
vim /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 stratum 10
restrict 90.0.25.0 mask 255.255.255.0 nomodify notrap
server cn.pool.ntp.org iburst
server 216.229.0.179 iburst
server time.nist.gov iburst
如果是在局域網(wǎng)中可以將以下的幾行注釋掉:
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
- 配置ntp客戶端,使其與主節(jié)點(diǎn)時(shí)間同步躺酒,在所有客戶端執(zhí)行:
vim /etc/ntp.conf
server 90.0.25.1
- 在所有節(jié)點(diǎn)上執(zhí)行:
systemctl start ntpd //啟動(dòng)ntp
systemctl enable ntpd //開(kāi)機(jī)啟動(dòng)
- 檢查ntp同步情況押蚤,在client上執(zhí)行如下語(yǔ)句會(huì)看到同步的主機(jī)IP,執(zhí)行命令:
ntpq -p
這里有兩點(diǎn)需要注意:
- 由于centos7系統(tǒng)上安裝了一個(gè)與NTP相沖突的工具:chrony羹应。使用命令:systemctl is-enabled chronyd來(lái)查看揽碘,得到的結(jié)果是chrony已經(jīng)被設(shè)置為enabled。這就導(dǎo)致利用systemctl enable ntpd設(shè)置NTP開(kāi)機(jī)啟動(dòng)后,重啟服務(wù)器后雳刺,NTP并沒(méi)有啟動(dòng)劫灶。解決辦法:
systemctl disable chronyd
- 如果輸入
ntpq -p
后出現(xiàn)異常:localhost: timed out, nothing received
。
· 原因:服務(wù)器開(kāi)啟了ipv6掖桦,默認(rèn)走ipv6本昏。
· 解決辦法是:關(guān)閉ipv6后重啟網(wǎng)絡(luò)。具體步驟:
????1. 在/etc/sysctl.conf
配置文件中添加:
??????net.ipv6.conf.all.disable_ipv6 = 1
??????net.ipv6.conf.eth1.disable_ipv6 = 1
??????net.ipv6.conf.eth0.disable_ipv6 = 1
????2. 保存退出后枪汪,執(zhí)行:systemctl restart network
3涌穆、SSH免密登錄
- 在各臺(tái)服務(wù)器上執(zhí)行:
ssh-keygen -t rsa
,在/root下會(huì)生成.ssh目錄 - 在每臺(tái)服務(wù)器上將id_rsa.pub拷貝到其他服務(wù)器(包括本機(jī))上料饥,并更名為authorized_keys蒲犬,進(jìn)到/root/.ssh目錄朱监,并執(zhí)行命令:
cat id_rsa.pub | ssh 90.0.25.1 'cat >> /root/.ssh/authorized_keys'
- 更改.ssh權(quán)限:
chmod 700 .ssh
- 更改authorized_keys權(quán)限:
chmod 640 authorized_keys
- 重啟sshd并設(shè)置開(kāi)機(jī)啟動(dòng)
systemctl restart sshd
systemctl enable sshd
- 在每臺(tái)服務(wù)器上通過(guò)
ssh 90.0.25.1
測(cè)試成功
4岸啡、配置hosts文件:vim /etc/hosts
90.0.25.1 hb1
90.0.25.2 hb2
90.0.25.3 hb3
90.0.25.4 hb4
90.0.25.5 hb5
5、安裝jdk
- 首先赫编,將從官網(wǎng)下載的jdk文件(tar.gz)放到/home/下的新建的java文件夾中巡蘸,利用tar命令解壓:
tar –zxvf jdk-8u111-linux-x64.tar.gz
- 配置Java環(huán)境變量:
vim /etc/profile
JAVA_HOME=/home/jdk1.8.0_111
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/dt.jar
export JAVA_HOME JRE_HOME PATH CLASSPATH
- 運(yùn)行
source /etc/profile
使配置生效,并運(yùn)行java –version
進(jìn)行檢驗(yàn)
Zookeeper安裝
安裝配置zookeeper擂送,雖然hbase有自帶的zookeeper悦荒,但沒(méi)有必要讓hbase和zookeeper耦合在一起,所以選擇分開(kāi)部署
- 將zookeeper-3.4.9.tar.gz放到/home目錄下嘹吨,如下命令解壓:
tar –zxvf zookeeper-3.4.9.tar.gz
- 配置zookeeper環(huán)境變量:
vim /etc/profile
export ZOOKEEPER_HOME=/home/zookeeper-3.4.9
export PATH=$ZOOKEEPER_HOME/bin:$PATH
使配置生效:source /etc/profile
- 在zookeeper-3.4.9目錄下新建data目錄:
mkdir data
- 在data中新建myid文件:
vim myid
搬味,在其中填入數(shù)字1
- 由于conf目錄下沒(méi)有zoo.cfg文件,所以復(fù)制zoo_sample.cfg成zoo.cfg:
cp zoo_sample.cfg zoo.cfg
- 編輯zoo.cfg文件蟀拷,添加如下信息碰纬,并在zookeeper-3.4.9目錄下新建目錄logs:
mkdir logs
dataDir=/home/zookeeper-3.4.9/data
dataLogDir=/home/zookeeper-3.4.9/logs
server.1=hb1:2888:3888
server.2=hb2:2888:3888
server.3=hb3:2888:3888
server.4=hb4:2888:3888
server.5=hb5:2888:3888
- 拷貝zookeeper-3.4.9目錄到其他節(jié)點(diǎn)的/home目錄,并分別更改myid的值為
2~5
:
scp -r zookeeper-3.4.9 hb2:/home
scp -r zookeeper-3.4.9 hb3:/home
scp -r zookeeper-3.4.9 hb4:/home
scp -r zookeeper-3.4.9 hb5:/home
- 因?yàn)閦ookeeper負(fù)責(zé)協(xié)調(diào)hbase之間的通信问芬,所以需要在每個(gè)節(jié)點(diǎn)上分別啟動(dòng)zookeeper服務(wù):
cd /home/zookeeper-3.4.9/bin
./zkServer.sh start
Hadoop HA配置
1悦析、將hadoop-2.7.2.tar.gz放在/home目錄下,解壓:
tar –zxvf hadoop-2.7.2.tar.gz
2此衅、配置hadoop環(huán)境變量:vim /etc/profile
#Hadoop環(huán)境變量
export HADOOP_HOME=/home/hadoop-2.7.2-ha/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
使修改生效
source /etc/profile
3强戴、進(jìn)入/home/hadoop-2.7.2-ha/hadoop-2.7.2/etc/hadoop
目錄下修改配置文件
(1) core-site.xml配置:
<configuration>
<!--指定默認(rèn)hdfs集群服務(wù)名是哪個(gè) -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<!-- 指定hadoop臨時(shí)目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop-2.7.2-ha/hadoop-2.7.2/tmp</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hb1:2181,hb2:2181,hb3:2181,hb4:2181,hb5:2181</value>
</property>
<property>
<name>ipc.client.connect.max.retries</name>
<value>20</value>
<description>
Indicates the number of retries a clientwill make to establisha server connection.
</description>
</property>
<property>
<name>ipc.client.connect.retry.interval</name>
<value>5000</value>
<description>
Indicates the number of milliseconds aclient will wait for before retrying to establish a server connection.
</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>262144</value>
</property>
</configuration>
(2) hdfs-site.xml配置:
<configuration>
<!--指定hdfs的nameservice為ns1,需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有兩個(gè)NameNode挡鞍,分別是nn1骑歹,nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>hb1:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>hb1:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>hb2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>hb2:50070</value>
</property>
<!-- 指定NameNode的元數(shù)據(jù)在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hb1:8485;hb2:8485;hb3:8485;hb4:8485;hb5:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盤(pán)存放數(shù)據(jù)的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/home/hadoop-2.7.2-ha/hadoop-2.7.2/journaldata</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop-2.7.2-ha/hadoop-2.7.2/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop-2.7.2-ha/hadoop-2.7.2/data</value>
</property>
<!-- 開(kāi)啟NameNode失敗自動(dòng)切換 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失敗自動(dòng)切換實(shí)現(xiàn)方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機(jī)制方法,多個(gè)機(jī)制用換行分割墨微,即每個(gè)機(jī)制暫用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔離機(jī)制時(shí)需要ssh免登陸 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔離機(jī)制超時(shí)時(shí)間 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<!-- 增加NameNode和DataNode處理線程數(shù) -->
<property>
<name>dfs.namenode.handler.count</name>
<value>50</value>
</property>
<property>
<name>dfs.datanode.handler.count</name>
<value>8</value>
</property>
<property>
<name>dfs.datanode.max.transfer.threads</name>
<value>8192</value>
</property>
<!-- 開(kāi)啟短路讀道媚,DataNode傳遞文件描述符而不是路徑 -->
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/lib/hadoop-hdfs/dn.socket</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
(3) mapred-site.xml配置:
<configuration>
<!-- 指定mr框架為yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- mr轉(zhuǎn)化歷史任務(wù)的rpc通信地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hb2:10020</value>
</property>
<!-- mr轉(zhuǎn)化歷史任務(wù)的http通信地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hb2:19888</value>
</property>
<!-- 會(huì)在hdfs的根目錄下面創(chuàng)建一個(gè)history的文件夾,存放歷史任務(wù)的相關(guān)運(yùn)行情況-->
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/history</value>
</property>
<!-- map和reduce的日志級(jí)別-->
<property>
<name>mapreduce.map.log.level</name>
<value>INFO</value>
</property>
<property>
<name>mapreduce.reduce.log.level</name>
<value>INFO</value>
</property>
</configuration>
(4) yarn-site.xml配置:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 分別指定RM的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hb1</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hb2</value>
</property>
<!-- 指定zk集群地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hb1:2181,hb2:2181,hb3:2181,hb4:2181,hb5:2181</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
(5) hadoop-env.sh配置
export JAVA_HOME=/home/jdk1.8.0_111
export HADOOP_HEAPSIZE=6144
export HADOOP_NAMENODE_INIT_HEAPSIZE=2048
export HADOOP_PID_DIR=/home/hadoop-2.7.2-ha/hadoop-2.7.2/pids
export HADOOP_SECURE_DN_PID_DIR=/home/hadoop-2.7.2-ha/hadoop-2.7.2/pids
(6) mapred-env.sh配置
export HADOOP_MAPRED_PID_DIR=/home/hadoop-2.7.2-ha/hadoop-2.7.2/pids
(7) yarn-env.sh配置
export JAVA_HOME=/home/jdk1.8.0_111
export YARN_PID_DIR=/home/hadoop-2.7.2-ha/hadoop-2.7.2/pids
4、slaves配置
hb1
hb2
hb3
hb4
hb5
5衰琐、在hadoop-2.7.2下創(chuàng)建目錄:mkdir tmp journaldata name data logs pids
也糊,由于配置了短路讀,需要在/var/lib目錄下新建:hadoop-dfs目錄羡宙。
6狸剃、將hadoop-2.7.2-ha目錄拷貝到其他節(jié)點(diǎn)上
scp -r hadoop-2.7.2-ha hb2:/home/
7、初始化集群和啟動(dòng)
(1)分別啟動(dòng)各個(gè)JournalNode
./hadoop-daemon.sh start journalnode
(2)在其中一個(gè)NameNode節(jié)點(diǎn)中初始化NameNode狗热,這里選擇master1上的NameNode
hdfs namenode -format
(3)啟動(dòng)第2步初始化好的NameNode服務(wù)
./hadoop-daemon.sh start namenode
(4)在master2服務(wù)器中運(yùn)行下面命令來(lái)同步master1上的NameNode的元數(shù)據(jù)
hdfs namenode -bootstrapStandby
(5)在其中一個(gè)NameNode節(jié)點(diǎn)中初始化ZKFC的狀態(tài)钞馁,這里選擇master1上的NameNode
hdfs zkfc -formatZK
(6)啟動(dòng)Hadoop的HA集群
./start-dfs.sh
8、查看兩個(gè)NameNode的狀態(tài):一個(gè)active匿刮,一個(gè)standby
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
9僧凰、通過(guò)master:50070
訪問(wèn)Hadoop Web UI
Hbase HA集群配置
進(jìn)入hbase配置文件目錄/home/hbase-1.2.4-ha/hbase-1.2.4/conf
1、hbase-env.sh配置
export JAVA_HOME=/home/jdk1.8.0_111
export HADOOP_HOME=/home/hadoop-2.7.2-ha/hadoop-2.7.2
export HBASE_PID_DIR=/home/hbase-1.2.4-ha/hbase-1.2.4/pids
export HBASE_LOG_DIR=/home/hbase-1.2.4-ha/hbase-1.2.4/logs
export HBASE_MANAGES_ZK=false
因?yàn)槭莏dk1.8熟丸,所以注釋掉下面兩行训措,并配置regionserver內(nèi)存
export HBASE_OPTS="-Xmn2G -Xss256k -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m -XX:ParallelGCThreads=24 -XX:+UseCompressedOops -XX:GCTimeRatio=19 -XX:SoftRefLRUPolicyMSPerMB=0 -XX:SurvivorRatio=2 -XX:MaxTenuringThreshold=1 -XX:+UseFastAccessorMethods -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=70 -XX:+CMSClassUnloadingEnabled -XX:CMSMaxAbortablePrecleanTime=300 -XX:+CMSScavengeBeforeRemark"
export HBASE_REGIONSERVER_OPTS="-Xms8G -Xmx8G $HBASE_OPTS"
export HBASE_MASTER_OPTS="-Xms3G -Xmx3G $HBASE_OPTS"
2、hbase-site.xml配置
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://ns1/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>60000</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/home/hbase-1.2.4-ha/hbase-1.2.4/tmp</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hb1,hb2,hb3,hb4,hb5</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/zookeeper-3.4.9/data</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>120000</value>
</property>
<property>
<name>hbase.regionserver.restart.on.zk.expire</name>
<value>true</value>
</property>
<!--默認(rèn): 10 :RegionServers受理的RPC Server實(shí)例數(shù)量光羞。對(duì)于Master來(lái)說(shuō)绩鸣,這個(gè)屬性是Master受理的handler數(shù)量.-->
<property>
<name>hbase.regionserver.handler.count</name>
<value>100</value>
</property>
<!--默認(rèn): 1 :當(dāng)調(diào)用Scanner的next方法,而值又不在緩存里的時(shí)候纱兑,從服務(wù)端一次獲取的行數(shù)呀闻。越大的值意味著Scanner會(huì)快一些,
但是會(huì)占用更多的內(nèi)存潜慎。 -->
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
<!--默認(rèn): false :體驗(yàn)特性:?jiǎn)⒂胢emStore分配本地緩沖區(qū)捡多。這個(gè)特性是為了防止在大量寫(xiě)負(fù)載的時(shí)候堆的碎片過(guò)多。
這可以減少GC操作的頻率铐炫。說(shuō)明:減少因內(nèi)存碎片導(dǎo)致的Full GC垒手,提高整體性能。-->
<property>
<name>hbase.hregion.memstore.mslab.enabled</name>
<value>true</value>
</property>
<!--默認(rèn): 10 :客戶端最多重試次數(shù),可以設(shè)為11驳遵。 -->
<property>
<name>hbase.client.retries.number</name>
<value>11</value>
</property>
<!--默認(rèn): false :建議設(shè)為true淫奔,關(guān)閉消息緩沖。 -->
<property>
<name>hbase.ipc.client.tcpnodelay</name>
<value>true</value>
</property>
<!--默認(rèn): 60000 :表示HBase客戶端發(fā)起一次scan操作的rpc調(diào)用至得到響應(yīng)之間總的超時(shí)時(shí)間堤结。-->
<property>
<name>hbase.client.scanner.timeout.period</name>
<value>120000</value>
</property>
<!--默認(rèn): 60000 :該參數(shù)表示一次RPC請(qǐng)求的超時(shí)時(shí)間唆迁。如果某次RPC時(shí)間超過(guò)該值,客戶端就會(huì)主動(dòng)關(guān)閉socket竞穷。 -->
<property>
<name>hbase.rpc.timeout</name>
<value>180000</value>
</property>
<property>
<name>hbase.hregion.memstore.block.multiplier</name>
<value>8</value>
</property>
<property>
<name>hbase.hstore.blockingStoreFiles</name>
<value>30</value>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>5242880</value>
</property>
</configuration>
3唐责、配置hbase環(huán)境變量:vim /etc/profile
export HBASE_HOME=/home/hbase-1.2.4-ha/hbase-1.2.4
export PATH=$PATH:$HBASE_HOME/bin
使配置生效
source /etc/profile
4、在conf目錄下新建backup-masters瘾带,配置備用節(jié)點(diǎn):vim backup-masters
hb2
5鼠哥、配置regionservers
hb1
hb2
hb3
hb4
hb5
6、創(chuàng)建目錄:mkdir pids tmp logs
7、刪除hbase的slf4j-log4j12-1.7.5.jar朴恳,解決hbase和hadoop的LSF4J包沖突
mv slf4j-log4j12-1.7.5.jar slf4j-log4j12-1.7.5.jar.bk
8抄罕、拷貝hadoop的core-site.xml和hdfs-site.xml拷貝到hbase的conf下
scp core-site.xml hb1:/home/hbase-1.2.4-ha/hbase-1.2.4/conf/
scp hdfs-site.xml hb1:/home/hbase-1.2.4-ha/hbase-1.2.4/conf/
9、將hbase-1.2.4-ha目錄拷貝到其他節(jié)點(diǎn)上
scp -r hbase-1.2.4-ha/ hb2:/home
10于颖、在主節(jié)點(diǎn)上運(yùn)行hbase:./start-hbase.sh start
11呆贿、在瀏覽器中輸入master:16010
進(jìn)入Hbase Web UI