一匆帚、集群基礎(chǔ)環(huán)境配置
- 關(guān)閉防火墻
- 配置ntp服務(wù)時(shí)鐘，與主節(jié)點(diǎn)同步: server 90.0.25.1
- 配置SSH免密登錄
- 配置hosts文件：vim /etc/hosts
- 安裝jdk
二、Hadoop配置
Hadoop安裝包
修改slaves配置,分發(fā)到各個(gè)節(jié)點(diǎn)
把/etc/hadoop下的配置文件發(fā)送到新節(jié)點(diǎn)，并新建相關(guān)目錄：mkdir tmp journaldata name data logs pids
注意修改/etc/profile配置文件，并使配置生效
在新節(jié)點(diǎn)上啟動(dòng)DataNode：./hadoop-daemon.sh start datanode
在主節(jié)點(diǎn)上執(zhí)行：hdfs dfsadmin -refreshNodes
查看列表信息：hdfs dfsadmin -report
設(shè)置負(fù)載均衡帶寬：hdfs dfsadmin -setBalancerBandwidth 67108864
數(shù)據(jù)傳輸帶寬默認(rèn)為1M常侣，這里設(shè)置為64M
- hdfs負(fù)載均衡：./sbin/start-balancer.sh -threshold 1
磁盤(pán)總利用率與各個(gè)節(jié)點(diǎn)的利用率之差的絕對(duì)值不超過(guò)1%。
執(zhí)行該操作后弹渔，會(huì)看到其他節(jié)點(diǎn)上的block轉(zhuǎn)移到新加入的節(jié)點(diǎn)上胳施。
小插曲：在生產(chǎn)環(huán)境上，執(zhí)行以上操作后隨即啟動(dòng)Regionserver肢专，導(dǎo)致平臺(tái)無(wú)法訪問(wèn)HBase舞肆，業(yè)務(wù)受到影響。嚇得我立馬停掉新的Regionserver平臺(tái)才得以恢復(fù)博杖。
原因：這里需要等待Hadoop集群blocks達(dá)到平衡椿胯。
三、HBase配置
- HBase安裝包剃根，解壓
- 修改/etc/profile配置文件哩盲，并使其生效
- 修改regionservers的配置，并發(fā)送到所有節(jié)點(diǎn)
- 將其他節(jié)點(diǎn)的conf目錄發(fā)送到新節(jié)點(diǎn)
- 創(chuàng)建相關(guān)目錄：mkdir pids tmp logs
- 啟動(dòng)regionserver：./hbase-daemon.sh start regionserver
- 負(fù)載均衡狈醉，進(jìn)入hbase shell執(zhí)行：balance_switch true
