tags: [Hadoop,Hdfs,大數(shù)據(jù)]
1.添加白名單
-
創(chuàng)建白名單文件
hadoop3.x/etc/hadoop 這個(gè)目錄下創(chuàng)建白名單文件 vim dfs.hosts -
向白名單文件中添加允許訪問(wèn)NameNode的節(jié)點(diǎn)主機(jī) <u>記住不能有空格或者空行</u>
node04 node05 node06 -
在NameNode的hdfs-site.xml配置中增加白名單屬性
vim hadoop3.x/etc/hadoop/hdfs-site.xml<property> <!-- dataNode節(jié)點(diǎn)白名單控制 --> <name>dfs.hosts</name> <!-- 對(duì)應(yīng)白名單文件地址 --> <value>/opt/hadoop-3.1.3/etc/hadoop/dfs.hosts</value> </property>
2.刷新NameNode和Yarn
> 如果是啟動(dòng)集群前已經(jīng)做好了白名單控制咕痛，那么就不需要刷新了恢恼，刷新操作主要是讓節(jié)點(diǎn)重新加載 *-site.xml配置文件
-
刷新NameNode
hdfs dfsadmin -refreshNodes
-
刷新ResourceManager
yarn rmadmin -refreshNodes
3.黑名單
? 原理和白名單相似敞恋，添加到黑名單的主機(jī)姆怪，加載配置后淋昭，會(huì)強(qiáng)制剔除主機(jī)崭添。
4. 數(shù)據(jù)平衡
? 如果數(shù)據(jù)不均衡蝴光，可以用命令實(shí)現(xiàn)集群的再平衡揣非。當(dāng)你的集群因某些因素導(dǎo)致部分節(jié)點(diǎn)下線抡医，那么下線的節(jié)點(diǎn)所存儲(chǔ)的資源勢(shì)必要分配到其他節(jié)點(diǎn)上，造成集群負(fù)載不均衡早敬，這時(shí)候我們可以手動(dòng)通過(guò)命令實(shí)現(xiàn)集群的再平衡忌傻。
start-balancer.sh
