Hadoop, HBase, Hive, ZooKeeper默認端口說明 - 奏樂 - 博客園
http://www.cnblogs.com/hankedang/p/5649414.html
組件 Daemon 端口 配置 說明
HDFS DataNode 50010 dfs.datanode.address datanode服務(wù)端口,用于數(shù)據(jù)傳輸
50075 dfs.datanode.http.address http服務(wù)的端口
50475 dfs.datanode.https.address https服務(wù)的端口
50020 dfs.datanode.ipc.address ipc服務(wù)的端口
NameNode 50070 dfs.namenode.http-address http服務(wù)的端口
50470 dfs.namenode.https-address https服務(wù)的端口
8020 fs.defaultFS 接收Client連接的RPC端口涩哟,用于獲取文件系統(tǒng)metadata信息心例。
journalnode 8485 dfs.journalnode.rpc-address RPC服務(wù)
8480 dfs.journalnode.http-address HTTP服務(wù)
ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController燎字,用于NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口
8030 yarn.resourcemanager.scheduler.address scheduler組件的IPC端口
8031 yarn.resourcemanager.resource-tracker.address IPC
8033 yarn.resourcemanager.admin.address IPC
8088 yarn.resourcemanager.webapp.address http服務(wù)端口
NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
8042 yarn.nodemanager.webapp.address http服務(wù)端口
8041 yarn.nodemanager.address NM中container manager的端口
JobHistory Server 10020 mapreduce.jobhistory.address IPC
19888 mapreduce.jobhistory.webapp.address http服務(wù)端口
HBase Master 60000 hbase.master.port IPC
60010 hbase.master.info.port http服務(wù)端口
RegionServer 60020 hbase.regionserver.port IPC
60030 hbase.regionserver.info.port http服務(wù)端口
HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode沮趣,使用獨立的ZooKeeper集群則不會啟用該端口怔球。
2888 hbase.zookeeper.peerport HBase-managed ZK mode玫芦,使用獨立的ZooKeeper集群則不會啟用該端口耻瑟。
3888 hbase.zookeeper.leaderport HBase-managed ZK mode弧腥,使用獨立的ZooKeeper集群則不會啟用該端口厦取。
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=<port>來更新默認端口
HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認端口
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port> 對客戶端提供服務(wù)的端口
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標(biāo)藍部分 follower用來連接到leader管搪,只在leader上監(jiān)聽該端口虾攻。
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標(biāo)藍部分 用于leader選舉的更鲁。只在electionAlg是1,2或3(默認)時需要霎箍。
所有端口協(xié)議均基于TCP。
對于存在Web UI(HTTP服務(wù))的所有hadoop daemon澡为,有如下url:
/logs
日志文件列表漂坏,用于下載和查看
/logLevel
允許你設(shè)定log4j的日志記錄級別,類似于hadoop daemonlog
/stacks
所有線程的stack trace媒至,對于debug很有幫助
/jmx
服務(wù)端的Metrics顶别,以JSON格式輸出。
/jmx?qry=Hadoop:*會返回所有hadoop相關(guān)指標(biāo)拒啰。
/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值驯绎,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。
這個請求的處理類:org.apache.hadoop.jmx.JMXJsonServlet
而特定的Daemon又有特定的URL路徑特定相應(yīng)信息谋旦。
NameNode:http://:50070/
/dfshealth.jsp
HDFS信息頁面剩失,其中有鏈接可以查看文件系統(tǒng)
/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
顯示DEAD或LIVE狀態(tài)的datanode
/fsck
運行fsck命令,不推薦在集群繁忙時使用册着!
DataNode:http://:50075/
/blockScannerReport
每個datanode都會指定間隔驗證塊信息