(默認端口)Hadoop, HBase, Hive, ZooKeeper默認端口說明

Hadoop, HBase, Hive, ZooKeeper默認端口說明 - 奏樂 - 博客園
http://www.cnblogs.com/hankedang/p/5649414.html

組件 Daemon 端口 配置 說明
HDFS DataNode 50010 dfs.datanode.address datanode服務(wù)端口,用于數(shù)據(jù)傳輸
50075 dfs.datanode.http.address http服務(wù)的端口
50475 dfs.datanode.https.address https服務(wù)的端口
50020 dfs.datanode.ipc.address ipc服務(wù)的端口
NameNode 50070 dfs.namenode.http-address http服務(wù)的端口
50470 dfs.namenode.https-address https服務(wù)的端口
8020 fs.defaultFS 接收Client連接的RPC端口涩哟,用于獲取文件系統(tǒng)metadata信息心例。
journalnode 8485 dfs.journalnode.rpc-address RPC服務(wù)
8480 dfs.journalnode.http-address HTTP服務(wù)
ZKFC 8019 dfs.ha.zkfc.port ZooKeeper FailoverController燎字,用于NN HA
YARN ResourceManager 8032 yarn.resourcemanager.address RM的applications manager(ASM)端口
8030 yarn.resourcemanager.scheduler.address scheduler組件的IPC端口
8031 yarn.resourcemanager.resource-tracker.address IPC
8033 yarn.resourcemanager.admin.address IPC
8088 yarn.resourcemanager.webapp.address http服務(wù)端口
NodeManager 8040 yarn.nodemanager.localizer.address localizer IPC
8042 yarn.nodemanager.webapp.address http服務(wù)端口
8041 yarn.nodemanager.address NM中container manager的端口
JobHistory Server 10020 mapreduce.jobhistory.address IPC
19888 mapreduce.jobhistory.webapp.address http服務(wù)端口
HBase Master 60000 hbase.master.port IPC
60010 hbase.master.info.port http服務(wù)端口
RegionServer 60020 hbase.regionserver.port IPC
60030 hbase.regionserver.info.port http服務(wù)端口
HQuorumPeer 2181 hbase.zookeeper.property.clientPort HBase-managed ZK mode沮趣,使用獨立的ZooKeeper集群則不會啟用該端口怔球。
2888 hbase.zookeeper.peerport HBase-managed ZK mode玫芦,使用獨立的ZooKeeper集群則不會啟用該端口耻瑟。
3888 hbase.zookeeper.leaderport HBase-managed ZK mode弧腥,使用獨立的ZooKeeper集群則不會啟用該端口厦取。
Hive Metastore 9083 /etc/default/hive-metastore中export PORT=<port>來更新默認端口
HiveServer 10000 /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>來更新默認端口
ZooKeeper Server 2181 /etc/zookeeper/conf/zoo.cfg中clientPort=<port> 對客戶端提供服務(wù)的端口
2888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標(biāo)藍部分 follower用來連接到leader管搪,只在leader上監(jiān)聽該端口虾攻。
3888 /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],標(biāo)藍部分 用于leader選舉的更鲁。只在electionAlg是1,2或3(默認)時需要霎箍。

所有端口協(xié)議均基于TCP。

對于存在Web UI(HTTP服務(wù))的所有hadoop daemon澡为,有如下url:

/logs
日志文件列表漂坏,用于下載和查看

/logLevel
允許你設(shè)定log4j的日志記錄級別,類似于hadoop daemonlog

/stacks
所有線程的stack trace媒至,對于debug很有幫助

/jmx
服務(wù)端的Metrics顶别,以JSON格式輸出。

/jmx?qry=Hadoop:*會返回所有hadoop相關(guān)指標(biāo)拒啰。
/jmx?get=MXBeanName::AttributeName 查詢指定bean指定屬性的值驯绎,例如/jmx?get=Hadoop:service=NameNode,name=NameNodeInfo::ClusterId會返回ClusterId。
這個請求的處理類:org.apache.hadoop.jmx.JMXJsonServlet

而特定的Daemon又有特定的URL路徑特定相應(yīng)信息谋旦。

NameNode:http://:50070/

/dfshealth.jsp
HDFS信息頁面剩失,其中有鏈接可以查看文件系統(tǒng)

/dfsnodelist.jsp?whatNodes=(DEAD|LIVE)
顯示DEAD或LIVE狀態(tài)的datanode

/fsck
運行fsck命令,不推薦在集群繁忙時使用册着!

DataNode:http://:50075/

/blockScannerReport
每個datanode都會指定間隔驗證塊信息

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末拴孤,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子甲捏,更是在濱河造成了極大的恐慌演熟,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,284評論 6 506
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件摊鸡,死亡現(xiàn)場離奇詭異绽媒,居然都是意外死亡,警方通過查閱死者的電腦和手機免猾,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,115評論 3 395
  • 文/潘曉璐 我一進店門是辕,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人猎提,你說我怎么就攤上這事获三∨园” “怎么了?”我有些...
    開封第一講書人閱讀 164,614評論 0 354
  • 文/不壞的土叔 我叫張陵疙教,是天一觀的道長棺聊。 經(jīng)常有香客問我,道長贞谓,這世上最難降的妖魔是什么限佩? 我笑而不...
    開封第一講書人閱讀 58,671評論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮裸弦,結(jié)果婚禮上祟同,老公的妹妹穿的比我還像新娘。我一直安慰自己理疙,他們只是感情好晕城,可當(dāng)我...
    茶點故事閱讀 67,699評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著窖贤,像睡著了一般砖顷。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上赃梧,一...
    開封第一講書人閱讀 51,562評論 1 305
  • 那天滤蝠,我揣著相機與錄音,去河邊找鬼授嘀。 笑死几睛,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的粤攒。 我是一名探鬼主播,決...
    沈念sama閱讀 40,309評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼囱持,長吁一口氣:“原來是場噩夢啊……” “哼夯接!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起纷妆,我...
    開封第一講書人閱讀 39,223評論 0 276
  • 序言:老撾萬榮一對情侶失蹤盔几,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后掩幢,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體逊拍,經(jīng)...
    沈念sama閱讀 45,668評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,859評論 3 336
  • 正文 我和宋清朗相戀三年际邻,在試婚紗的時候發(fā)現(xiàn)自己被綠了芯丧。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,981評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡世曾,死狀恐怖缨恒,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤骗露,帶...
    沈念sama閱讀 35,705評論 5 347
  • 正文 年R本政府宣布岭佳,位于F島的核電站,受9級特大地震影響萧锉,放射性物質(zhì)發(fā)生泄漏珊随。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,310評論 3 330
  • 文/蒙蒙 一柿隙、第九天 我趴在偏房一處隱蔽的房頂上張望叶洞。 院中可真熱鬧,春花似錦优俘、人聲如沸京办。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,904評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽惭婿。三九已至,卻和暖如春叶雹,著一層夾襖步出監(jiān)牢的瞬間财饥,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,023評論 1 270
  • 我被黑心中介騙來泰國打工折晦, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留钥星,地道東北人。 一個月前我還...
    沈念sama閱讀 48,146評論 3 370
  • 正文 我出身青樓满着,卻偏偏與公主長得像谦炒,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子风喇,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,933評論 2 355

推薦閱讀更多精彩內(nèi)容