HDFS

A. ha dfs 初始化和啟動

1. 啟動zookeeper集群
2. 在主Name結(jié)點上 格式化zookeeper上相應(yīng)目錄
   hdfs zkfc -formatZK
3. 格式化主NameNode, 格式化會格式化已存在的結(jié)點元數(shù)據(jù)
   hdfs namenode -format
4. 啟動Journal Node集群
   hadoop-daemon.sh start journalnode
5. 啟動主結(jié)點NameNode
   hadoop-daemon.sh start namenode
6. 格式化備NameNode
   hdfs namenode -bootstrapStandby
7. 啟動備結(jié)點NameNode
   hadoop-daemon.sh start namenode
8. 兩個NameNode上啟動 zkfc
   hadoop-daemon.sh start zkfc
9. 啟動所有結(jié)點的datanode
   hadoop-daemon.sh start datanode

B. Balancer

在線上的hadoop集群運維過程中荠藤，hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件塊分布，以避免出現(xiàn)部分datanode磁盤占用率高的問題（這問題也很有可能導(dǎo)致該節(jié)點CPU使用率較其他服務(wù)器高）

The tool moves blocks from highly utilized datanodes to poorly utilized datanodes
iteratively. In each iteration a datanode moves or receives no more than the lesser of 10G
bytes or the threshold fraction of its capacity. Each iteration runs no more than 20
minutes. At the end of each iteration, the balancer obtains updated datanodes information
from the namenode.

• 描述
  -threshold 默認設(shè)置：10，參數(shù)取值范圍：0-100叫搁，參數(shù)含義：判斷集群是否平衡的目標(biāo)參數(shù)，每一個 datanode 存儲使用率和集群總存儲使用率的差值都應(yīng)該小于這個閥值 胶坠，理論上啼染，該參數(shù)設(shè)置的越小，整個集群就越平衡渠啊，但是在線上環(huán)境中，hadoop集群在進行balance時权旷，還在并發(fā)的進行數(shù)據(jù)的寫入和刪除替蛉，所以有可能無法到達設(shè)定的平衡參數(shù)值。
  dfs.balance.bandwidthPerSec 默認設(shè)置：1048576（1 M/S）拄氯，參數(shù)含義：設(shè)置balance工具在運行中所能占用的帶寬躲查，設(shè)置的過大可能會造成mapred運行緩慢

• 腳本

hdfs balancer -threshold 5
或
start-balancer.sh

start-balancer.sh [-threshold <threshold>] # 啟動 balancer
hdfs dfsadmin -setBalancerBandwidth <bandwidth in bytes per second> # adjust the network bandwidth used by the balancer

• 什么是balance
  rebalance的目的是為了使數(shù)據(jù)在集群中各節(jié)點的分布盡量均衡，那么译柏，什么樣的情況被認為是不均衡镣煮，又需要達到什么樣的目標(biāo)才算是完成了rebalance呢？

  簡單來說鄙麦，如果集群中沒有“過載”或者“負載”的節(jié)點典唇，則認為集群中的數(shù)據(jù)分布是均衡的，否則就是不均衡胯府。所謂的“過載節(jié)點”是指存儲使用率大于“平均存儲使用率+允許偏差”的節(jié)點介衔，“負載節(jié)點”是指存儲使用率小于“平均存儲使用率-允許偏差”的節(jié)點。這里又出現(xiàn)了幾個概念盟劫，下面一一解釋夜牡。
  
  什么是一個節(jié)點的存儲使用率？它表示一個數(shù)據(jù)節(jié)點上已用空間占可用空間的百分比，所謂可用空間指的是分配給HDFS可使用的空間塘装，并非是節(jié)點所在機器的全部硬盤空間急迂。比如，一個數(shù)據(jù)節(jié)點蹦肴，共有存儲空間2T僚碎，分配給HDFS的空間為1T，已經(jīng)用了600G阴幌，那么使用率就是600/1000=60%勺阐。
  
  將集群中各節(jié)點的存儲使用率做個簡單平均，就得到集群中節(jié)點的平均存儲使用率矛双。舉例來說渊抽，假設(shè)有三個節(jié)點A,B,C，HDFS容量分別為2T,2T,1T,分別使用了50%议忽，50%懒闷，10%，那么平均使用率是(50%+50%+10%)/3=36.7%栈幸，而不是(2*50%+2*50%+1*10%)/(2+2+1)=42%愤估。
  
  允許偏差，是啟動Rebalance功能的時候指定的一個閾值速址，也是一個百分比玩焰，如果沒有指定則默認為是10%，表示允許單個節(jié)點的存儲使用率與集群中各節(jié)點平均存儲使用率之間有10%的偏差芍锚。
  
  Rebalance過程可以指定多次昔园，每次可以指定不同的允許偏差值，以此來逐次漸進達到一個合理的數(shù)據(jù)均衡分布闹炉，同時又不至于使得Rebalance過程持續(xù)時間過長蒿赢，影響集群的正常使用。
  

C. Decommission & Recommission

• Decommision
  1. 配置 （在NameNode機器上）

     <property>
           <name>dfs.hosts.exclude</name>
           <value>/home/hadoop/env/conf/exclude-hosts</value>
     </property>

或者 使用默認的 <HADOOP_CONF_DIR>/dfs.exclude 文件
2. 在NameNode機器上渣触， exclude-hosts中寫入需要decommission的結(jié)點
    > On the NameNode host machine, edit the <HADOOP_CONF_DIR>/dfs.exclude

file and add the list of DataNodes hostnames (separated by a newline character).
3. 執(zhí)行
> Update the NameNode with the new set of excluded DataNodes. On the NameNode host machine, execute the following command:

su <HDFS_USER> 
hdfs dfsadmin -refreshNodes

4. 在NameNode Web UI中check **Decommission In Progress** 。當(dāng)結(jié)點狀態(tài)都變成 **Decommissioned**壹若，就可以shut down這些結(jié)點

5. 如果集群配置了 dfs.include file 或者 在slaves文件中嗅钻，把Decommissioned結(jié)點從其中刪除，然后執(zhí)行:

su <HDFS_USER> 
hdfs dfsadmin -refreshNodes

Yarn

A. Web UI 任務(wù)時間

默認情況店展，顯示的是UTC時間

• 修改：
  查看 hadoop-2.6.3/share/hadoop/yarn/hadoop-yarn-common-2.6.3.jar!/webapps/static/yarn.dt.plugins.js
  腳本里面的 renderHadoopDate方法养篓，修改Date格式化輸出的方法。

- return new Date(parseInt(data)).toUTCString();
+ return new Date(parseInt(data)).toString();

修改后赂蕴，重啟yarn.

B. 更改yarn fair schedule queue

• 修改fair-scheduler.xml
• yarn rmadim -refreshQueues

C. 資源隊列使用

• 配置
  • TEZ (tez-site.xml)

<property>
    <name>tez.queue.name</name>
    <value>operations</value>
</property>

- MR  (mapred-site.xml)

<property>
    <name>mapred.job.queue.name</name>
    <value>operations</value>
</property>

D. Decommission

1. 配置:

yarn.resourcemanager.nodes.exclude-path (yarn-site.xml)
或者
<HADOOP_CONF_DIR>/yarn.exclude
增加需要退伍的結(jié)點

如果配置了 `<HADOOP_CONF_DIR>/yarn.include`柳弄， 把對應(yīng)結(jié)點刪除

2. 執(zhí)行:

su <YARN_USER>
yarn rmadmin -refreshNodes

E. 修改yarn資源配置

1. yarn.scheduler.maximum-allocation-mb:

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>10240</value>
    </property>

修改后重啟yarn

持續(xù)更新中……

鏈接

• 環(huán)境生態(tài)篇
• 集群篇
• 使用篇