hadoop HA高可用集群模式搭建指南

簡述


hadoop 集群一共有4種部署模式益兄,詳見《hadoop 生態(tài)圈介紹》
HA模式的集群里面會部署兩臺NN(最多也只能兩臺)箭券,以形成主備NN節(jié)點净捅,達到高可用的目的。兩臺NN之間同步數(shù)據(jù)有兩種方法:QJM和NFC辩块。本文選擇QJM方式蛔六,下文中出現(xiàn)的 journalnode 即為QJM模式下的進程。
另外還可以配置兩臺ResourceManager废亭,形成主備RM節(jié)點国章,從而達到y(tǒng)arn集群的高可用。
該模式下的集群配置是在完全分布式模式的基礎(chǔ)上做了部分調(diào)整豆村。

所有四種模式的部署指南見:
hadoop 偽分布式搭建指南
hadoop 完全分布式搭建指南
hadoop HA高可用集群模式搭建指南
hadoop HA+Federation(聯(lián)邦)模式搭建指南

搭建過程


系統(tǒng)環(huán)境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬三臺主機液兽,內(nèi)存都為2G

節(jié)點角色
IP 主機名 角色描述
192.168.100.201 h01.vm.com 主節(jié)點 NameNode, job-history-server
192.168.100.202 h02.vm.com 主節(jié)點 NameNode, (yarn)ResourceManager
192.168.100.203 h03.vm.com -

另,以上所有節(jié)點都同時是 zookeeper掌动、zkfc四啰、journalnode 和 datanode。運行Namenode和ResourceManager的節(jié)點即為主節(jié)點粗恢。

更新軟件源索引
  • 分別在 h01 h02 h03 操作
sudo apt-get update
安裝基礎(chǔ)軟件
  • 分別在 h01 h02 h03 操作
sudo apt-get install ssh
sudo apt-get install rsync
配置主機域名
  • 分別在 h01 h02 h03 操作
sudo vim /etc/hostname # centos系統(tǒng)可能沒有該文件柑晒,創(chuàng)建即可
h01.vm.com # 該節(jié)點主機名

將該文件內(nèi)容修改為對應(yīng)的主機名,例如 h01.vm.com

域名解析
  • 搭建內(nèi)網(wǎng)DNS服務(wù)器(可選眷射,但推薦)敦迄,可閱讀vincent的博文
    http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
  • 配置 /etc/hosts,將以下代碼追加到文件末尾即可(如搭建了DNS服務(wù)器凭迹,則跳過此步驟)
  • 分別在 h01 h02 h03 操作
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03

!!! Ubuntu系統(tǒng),須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能會引起 hadoop苦囱、zookeeper 節(jié)點間通信的問題

時間同步(可選)

在內(nèi)網(wǎng)中搭建 ntp 服務(wù)器嗅绸,可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

準備jdk、hadoop和zookeeper軟件包
  • 須到官方網(wǎng)站下載stable版本
    jdk-7u79-linux-x64.tar.gz
    hadoop-2.7.2.tar.gz
    zookeeper-3.4.8.tar.gz
  • 所有的軟件包都統(tǒng)一解壓到 /home/vagrant/VMBigData 目錄下撕彤,其中 vagrant 是linux系統(tǒng)的用戶名鱼鸠,由于我是使用 vagrant 虛擬的主機猛拴,所以默認是 vagrant
  • 在 h01 操作
# 先在其中一臺機子操作,后面會使用 scp 命令或者其他方法同步到其他主機
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper
配置軟連接蚀狰,方便以后升級版本
  • 在 h01 操作愉昆,后面通過 scp 同步到其他主機
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置環(huán)境變量
  • 分別在 h01 h02 h03 操作
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile
配置免密碼ssh登錄

hadoop主節(jié)點需要能遠程登陸集群內(nèi)的所有節(jié)點(包括自己),以執(zhí)行命令麻蹋。所以需要配置免密碼的ssh登陸跛溉。可選的ssh秘鑰對生成方式有rsa和dsa兩種扮授,這里選擇rsa芳室。

  • 分別在 h01 h02 ,即兩個主節(jié)點上操作
ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下來的命令行交互中刹勃,直接按回車跳過輸入密碼
  • 以下命令將本節(jié)點的公鑰 id_rsa.pub 文件的內(nèi)容追加到遠程主機的 authorized_keys 文件中(默認位于 ~/.ssh/)
ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h02.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h03.vm.com
  • 在 h01 h02 上測試無密碼 ssh 登錄到 h01 h02 h03
ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com

!!! 注意使用rsa模式生成密鑰對時堪侯,不要輕易覆蓋原來已有的,確定無影響時方可覆蓋 !!!

配置從節(jié)點

在 slaves 文件中配置的主機即為從節(jié)點荔仁,將自動運行datanode服務(wù)

  • 在 h01 操作伍宦,后面通過 scp 同步到其他主機
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
h02.vm.com
h03.vm.com
建立存儲數(shù)據(jù)的相應(yīng)目錄
  • 在 h01 操作洽沟,后面通過 scp 同步到其他主機
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs    
配置hadoop參數(shù)

在 h01 操作侨核,后面通過 scp 同步到其他主機

  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice為h01,需與dfs.nameservices一致 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://ns1</value> 
  </property>  
  <!-- 指定hadoop數(shù)據(jù)存儲目錄 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property>  
  <!-- 指定zookeeper地址 -->  
  <property> 
    <name>ha.zookeeper.quorum</name>  
    <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 單機版的一般設(shè)為1荧飞,若是集群掌呜,一般設(shè)為3 -->  
    <value>2</value> 
  </property>  
  <!-- 以下3個 property 的配置滓玖,是非HA模式下的,即一個集群只有一個 namenode质蕉,在這里不可使用 -->  
  <!-- 配置Secondary NameNode在另外一個節(jié)點上势篡,該節(jié)點也將作為主節(jié)點之一 -->  
  <!-- <property>
<name>dfs.http.address</name>
<value>h01.vm.com:50070</value>
<description>Secondary get fsimage and edits via dfs.http.address</description>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>h02.vm.com:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/home/vagrant/VMBigData/hadoop/data/namesecondary</value>
</property> -->  
  <!-- 以下 property 配置,是haddop的HA即高可用模式模暗,一個集群可以配置最多2個namenode -->  
  <!-- 命名空間的邏輯名稱 -->  
  <property> 
    <name>dfs.nameservices</name>  
    <value>ns1</value> 
  </property>  
  <!-- 命名空間中所有NameNode的唯一標示禁悠。該標識指示DataNode集群中有哪些NameNode。目前最多只能配置兩個NameNode -->  
  <property> 
    <name>dfs.ha.namenodes.ns1</name>  
    <value>nn1,nn2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn1</name>  
    <value>h01.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn1</name>  
    <value>h01.vm.com:50070</value> 
  </property>  
  <property> 
    <name>dfs.namenode.rpc-address.ns1.nn2</name>  
    <value>h02.vm.com:9000</value> 
  </property>  
  <property> 
    <name>dfs.namenode.http-address.ns1.nn2</name>  
    <value>h02.vm.com:50070</value> 
  </property>  
  <!-- JournalNode URLs兑宇,ActiveNameNode 會將 Edit Log 寫入這些 JournalNode 所配置的本地目錄即 dfs.journalnode.edits.dir -->  
  <property> 
    <name>dfs.namenode.shared.edits.dir</name>  
    <value>qjournal://h01.vm.com:8485;h02.vm.com:8485;h03.vm.com:8485/ns1</value> 
  </property>  
  <!-- JournalNode 用于存放 editlog 和其他狀態(tài)信息的目錄 -->  
  <property> 
    <name>dfs.journalnode.edits.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/journal</value> 
  </property>  
  <property> 
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value> 
  </property>  
  <property> 
    <name>dfs.client.failover.proxy.provider.ns1</name>  
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
  </property>  
  <!-- 一種關(guān)于 NameNode 的隔離機制(fencing) -->  
  <property> 
    <name>dfs.ha.fencing.methods</name>  
    <value>sshfence shell(/bin/true)</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.private-key-files</name>  
    <value>/home/vagrant/.ssh/id_rsa</value> 
  </property>  
  <property> 
    <name>dfs.ha.fencing.ssh.connect-timeout</name>  
    <value>30000</value> 
  </property>  
  <!-- HA模式配置結(jié)束 -->  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 創(chuàng)建的namenode文件夾位置碍侦,如有多個用逗號隔開。配置多個的話隶糕,每一個目錄下數(shù)據(jù)都是相同的瓷产,達到數(shù)據(jù)冗余備份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode1,file:///home/vagrant/VMBigData/hadoop/data/namenode2</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 創(chuàng)建的datanode文件夾位置,多個用逗號隔開枚驻,實際不存在的目錄會被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h02.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打開日志聚合功能濒旦,這樣才能從web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最長保留時間 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager總的可用內(nèi)存,這個要根據(jù)實際情況合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce作業(yè)時再登,每個task最少可申請內(nèi)存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce作業(yè)時尔邓,每個task最多可申請內(nèi)存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申請使用的虛擬內(nèi)存晾剖,相對于實際使用內(nèi)存大小的倍數(shù)。實際生產(chǎn)環(huán)境中可設(shè)置的大一些梯嗽,如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中間結(jié)果存放位置齿尽。注意,這個參數(shù)通常會配置多個目錄灯节,已分攤磁盤IO負載循头。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意显晶,這個參數(shù)通常會配置多個目錄贷岸,已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默認值為 1536,可根據(jù)需要調(diào)整磷雇,調(diào)小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每個map task申請的內(nèi)存偿警,每一次都會實際申請這么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每個map task中的child jvm啟動時參數(shù),需要比 mapreduce.map.memory.mb 設(shè)置的小一些 -->  
    <!-- 注意:map任務(wù)里不一定跑java唯笙,可能跑非java(如streaming) -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默認值為 -Xmx200m螟蒸,生產(chǎn)環(huán)境可以設(shè)大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任務(wù)內(nèi)部排序緩沖區(qū)大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map計算完全后的merge階段,一次merge時最多可有多少個輸入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle階段并行傳輸數(shù)據(jù)的數(shù)量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>
安裝配置zookeeper
  • 在 h01 操作崩掘,后面通過 scp 同步到其他主機
cd /home/vagrant/VMBigData/zookeeper/default/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 對該文件做出以下修改
dataDir=/home/vagrant/VMBigData/zookeeper/data/tmp
# 如果無法啟動zookeeper七嫌,可將以下代碼對應(yīng)的行改為 0.0.0.0:2888:3888
# 注意zookeeper解析該文件很死板,不要輸入多余的空格和空行
server.1=h01.vm.com:2888:3888
server.2=h02.vm.com:2888:3888
server.3=h03.vm.com:2888:3888
mkdir -p /home/vagrant/VMBigData/zookeeper/data/tmp
vim /home/vagrant/VMBigData/zookeeper/data/tmp/myid
# 在此文件中輸入節(jié)點編號苞慢,比如h01節(jié)點就輸入1诵原,h02節(jié)點就輸入2
將hadoop所需文件同步到其他主機
  • 在 h01 上操作
scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant

!!! 注意:default 軟連接需要重建 !!!

  • 修改各節(jié)點的 zookeeper 的 /home/vagrant/VMBigData/zookeeper/data/tmp/myid 文件,內(nèi)容為各節(jié)點編號挽放,本例中為 1,2,3
啟動zookeeper
  • 在 h01 h02 h03 操作
cd /home/vagrant/VMBigData/zookeeper/default
bin/zkServer.sh start
啟動JournalNode
  • 在任一配置了journalnode的節(jié)點操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemons.sh start journalnode
格式化namenode
  • 在 h01 namenode 上執(zhí)行
hdfs namenode -format

!!! 注意僅在首次啟動時執(zhí)行绍赛,因為此命令會刪除hadoop集群所有的數(shù)據(jù) !!!

同步兩個namenode數(shù)據(jù)(方法一:推薦)
  • 在 h01 啟動 namenode
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode
  • 在 h02 執(zhí)行同步
cd /home/vagrant/VMBigData/hadoop/default
bin/hdfs namenode -bootstrapStandby
  • 在 h02 啟動 namenode
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start namenode
同步兩個namenode數(shù)據(jù)(方法二:不推薦,可能引起復制后的文件的權(quán)限問題)
  • 在 h01 操作
scp -r /home/vagrant/VMBigData/hadoop/data/namenode1/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
scp -r /home/vagrant/VMBigData/hadoop/data/namenode2/ vagrant@h02.vm.com:/home/vagrant/VMBigData/hadoop/data/
格式化zkfc
  • 在 h01 或 h02 (任一namenode) 上操作
hdfs zkfc -formatZK

!!! 注意僅在首次啟動時執(zhí)行 !!!

啟動zkfc
  • 在 h01 h02 h03 等計劃運行zkfc的節(jié)點上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh start zkfc
# sbin/hadoop-daemon.sh stop zkfc #  停止
啟動hadoop集群:

啟動hdfs

  • 可在任意主節(jié)點執(zhí)行
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 停止

啟動Yarn

  • 在 h02 ResourceManager 上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh# 停止

啟動 job history server(可選)

  • 在 h01 上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
瀏覽服務(wù)啟動情況

NameNode1
http://192.168.100.201:50070

NameNode2
http://192.168.100.202:50070

ResourceManager
http://192.168.100.202:8088

MapReduce JobHistory Server
http://192.168.100.201:19888

Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075

zookeeper
bin/zkServer.sh status

zookeeper命令行
zkCli.sh -server 127.0.0.1:2181

集群狀態(tài)
bin/hdfs dfsadmin -report

hadoop進程
jps

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末辑畦,一起剝皮案震驚了整個濱河市吗蚌,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌纯出,老刑警劉巖蚯妇,帶你破解...
    沈念sama閱讀 216,402評論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異暂筝,居然都是意外死亡箩言,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評論 3 392
  • 文/潘曉璐 我一進店門焕襟,熙熙樓的掌柜王于貴愁眉苦臉地迎上來分扎,“玉大人,你說我怎么就攤上這事胧洒∥废牛” “怎么了?”我有些...
    開封第一講書人閱讀 162,483評論 0 353
  • 文/不壞的土叔 我叫張陵卫漫,是天一觀的道長菲饼。 經(jīng)常有香客問我,道長列赎,這世上最難降的妖魔是什么宏悦? 我笑而不...
    開封第一講書人閱讀 58,165評論 1 292
  • 正文 為了忘掉前任,我火速辦了婚禮包吝,結(jié)果婚禮上饼煞,老公的妹妹穿的比我還像新娘。我一直安慰自己诗越,他們只是感情好砖瞧,可當我...
    茶點故事閱讀 67,176評論 6 388
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著嚷狞,像睡著了一般块促。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上床未,一...
    開封第一講書人閱讀 51,146評論 1 297
  • 那天竭翠,我揣著相機與錄音,去河邊找鬼薇搁。 笑死斋扰,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的啃洋。 我是一名探鬼主播传货,決...
    沈念sama閱讀 40,032評論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼裂允!你這毒婦竟也來了损离?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 38,896評論 0 274
  • 序言:老撾萬榮一對情侶失蹤绝编,失蹤者是張志新(化名)和其女友劉穎僻澎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體十饥,經(jīng)...
    沈念sama閱讀 45,311評論 1 310
  • 正文 獨居荒郊野嶺守林人離奇死亡窟勃,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,536評論 2 332
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了逗堵。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片秉氧。...
    茶點故事閱讀 39,696評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖蜒秤,靈堂內(nèi)的尸體忽然破棺而出汁咏,到底是詐尸還是另有隱情亚斋,我是刑警寧澤,帶...
    沈念sama閱讀 35,413評論 5 343
  • 正文 年R本政府宣布攘滩,位于F島的核電站帅刊,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏漂问。R本人自食惡果不足惜赖瞒,卻給世界環(huán)境...
    茶點故事閱讀 41,008評論 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望蚤假。 院中可真熱鬧栏饮,春花似錦、人聲如沸磷仰。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽芒划。三九已至冬竟,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間民逼,已是汗流浹背泵殴。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留拼苍,地道東北人笑诅。 一個月前我還...
    沈念sama閱讀 47,698評論 2 368
  • 正文 我出身青樓,卻偏偏與公主長得像疮鲫,于是被迫代替她去往敵國和親吆你。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 44,592評論 2 353

推薦閱讀更多精彩內(nèi)容