17篇文章 · 16238字 · 1人關(guān)注
-
hadoop機(jī)架感知配置數(shù)據(jù)balance，datanode stale
前提 hdfs dfsadmin -setBalancerBandwidth 524288000/usr/lib/hadoop-current/...
-
hadoop getSplits 源碼分析
問(wèn)題 mapreduce job 輸入10個(gè)180m的文件阀溶，生成多少個(gè)map job? blocksize=128mminsize=1mmaxs...
-
standby 節(jié)點(diǎn)報(bào)錯(cuò) Encountered exception loading fsimage 加載fsimage時(shí)遇到異常
關(guān)鍵：Encountered exception loading fsimage 加載fsimage時(shí)遇到異常排查路徑dfs.namenode....
-
ambari metric啟動(dòng)異常問(wèn)題記錄
上日志 解決1 卸載重裝metric服務(wù),沒(méi)用metric 自動(dòng)生成hbase元數(shù)據(jù)問(wèn)題和hfile，讓hbase master進(jìn)行接管經(jīng)排查做鹰，...
-
NameNode Full GC導(dǎo)致集群退出問(wèn)題剖析击纬，以及重啟journalnode節(jié)點(diǎn)導(dǎo)致namenode掛掉原因分析元數(shù)據(jù)流程圖 問(wèn)題1 在AsyncLogger異步flush寫JournalNode過(guò)程中，出現(xiàn)IOException钾麸，而這個(gè)IOExcepti...
-
NameNode瞬時(shí)高并發(fā)導(dǎo)致短暫不可用更振，Hadoop2.7二次開(kāi)發(fā)版本hadoop 2.7 分段鎖優(yōu)化 Namenode的FSNamesystem類中主要有三塊。1饭尝、INodeMap中存著目錄樹(shù)的映射關(guān)系：Id...
-
hdfs 集群重建肯腕，block損壞定位以及修復(fù),Blocks with no live replicas，出現(xiàn)invalidate block
背景 說(shuō)點(diǎn)沒(méi)用的钥平，我司進(jìn)行集群遷移实撒，沒(méi)有用的測(cè)試機(jī)器要進(jìn)行格式化賣掉了，然后突然一條偉大的命令涉瘾，誤刪除了正在使用的hadoop集群所有節(jié)點(diǎn)的操作...
-
hdfs datanode 啟動(dòng)流程中關(guān)于拉取namenode信息做元數(shù)據(jù)校驗(yàn)hfds datanode 啟動(dòng)組件 注冊(cè)心跳 BPOfferService.java 總結(jié) 可以發(fā)現(xiàn)知态，datanode通過(guò)BPServiceA...
-
hdfs namenode 啟動(dòng)流程進(jìn)入安全模式條件FSNamesystem.java 總結(jié) blockTotal=hdfs總塊數(shù)this.blockThreshold = (int) (bloc...
