Hadoop 2.6.0動(dòng)態(tài)添加節(jié)點(diǎn) - Reverse - 博客頻道 - CSDN.NET http://blog.csdn.net/ggz631047367/article/details/50086585
文章出自：http://my.oschina.net/leoleong/blog/477508 本文主要從基礎(chǔ)準(zhǔn)備肤晓，添加DataNode和添加NodeManager三個(gè)部分詳細(xì)說(shuō)明在Hadoop2.6.0環(huán)境下犬性，如何動(dòng)態(tài)新增節(jié)點(diǎn)到集群中。
?基礎(chǔ)準(zhǔn)備
在基礎(chǔ)準(zhǔn)備部分讥裤，主要是設(shè)置Hadoop運(yùn)行的系統(tǒng)環(huán)境
?修改系統(tǒng)hostname（通過(guò)hostname和/etc/sysconfig/network進(jìn)行修改）
?修改hosts文件蛔添，將集群所有節(jié)點(diǎn)hosts配置進(jìn)去（集群所有節(jié)點(diǎn)保持hosts文件統(tǒng)一）
?設(shè)置NameNode（兩臺(tái)HA均需要）到DataNode的免密碼登錄（ssh-copy-id命令實(shí)現(xiàn)痰催，可以免去cp *.pub文件后的權(quán)限修改）
?修改主節(jié)點(diǎn)slave文件，添加新增節(jié)點(diǎn)的ip信息（集群重啟時(shí)使用）
?將hadoop的配置文件scp到新的節(jié)點(diǎn)上
?添加DataNode
對(duì)于新添加的DataNode節(jié)點(diǎn)迎瞧，需要啟動(dòng)datanode進(jìn)程夸溶，從而將其添加入集群
?在新增的節(jié)點(diǎn)上，運(yùn)行sbin/hadoop-daemon.sh start datanode即可
?然后在namenode通過(guò)hdfs dfsadmin -report查看集群情況
?最后還需要對(duì)hdfs負(fù)載設(shè)置均衡凶硅，因?yàn)槟J(rèn)的數(shù)據(jù)傳輸帶寬比較低缝裁，可以設(shè)置為64M，即hdfs dfsadmin -setBalancerBandWidth 67108864即可
?默認(rèn)balancer的threshold為10%足绅，即各個(gè)節(jié)點(diǎn)與集群總的存儲(chǔ)使用率相差不超過(guò)10%捷绑，我們可將其設(shè)置為5%
?然后啟動(dòng)Balancer韩脑，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可
?添加Nodemanager
由于Hadoop 2.X引入了YARN框架胎食，所以對(duì)于每個(gè)計(jì)算節(jié)點(diǎn)都可以通過(guò)NodeManager進(jìn)行管理扰才，同理啟動(dòng)NodeManager進(jìn)程后允懂，即可將其加入集群
?在新增節(jié)點(diǎn)厕怜，運(yùn)行sbin/yarn-daemon.sh start nodemanager即可
?在ResourceManager，通過(guò)yarn node -list查看集群情況
