[DataNode]啟動hadoop-2.6.3集群遇到的datanode啟動不了

解決:啟動hadoop-2.6.3集群遇到的datanode啟動不了 - 推酷 http://www.tuicool.com/articles/2y6B3uA

hadoop日志報錯信息如下:

2016-01-22 12:09:22,467 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /data/hadoop/tmp/dfs/data/in_use.lock acquired by nodename 13286@slave01
2016-01-22 12:09:22,469 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /data/hadoop/tmp/dfs/data: namenode clusterID = CID-ee797f67-7aa7-4ba5-8a13-ae174b6d0cf1; datanode clusterID = CID-9bd341cd-b887-49cb-b519-19772a3818c9
2016-01-22 12:09:22,470 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.1.120:9000. Exiting.
java.io.IOException: All specified directories are failed to load.
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:478)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1338)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1304)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:314)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:226)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:867)
at java.lang.Thread.run(Thread.java:745)
2016-01-22 12:09:22,471 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool <registering> (Datanode Uuid unassigned) service to master/192.168.1.120:9000
2016-01-22 12:09:22,473 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool <registering> (Datanode Uuid unassigned)
2016-01-22 12:09:24,474 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2016-01-22 12:09:24,476 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2016-01-22 12:09:24,477 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
從日志上看是因為 datanode的clusterID 和 namenode的clusterID 不匹配饱亮。

解決方法:

根據日志中的路徑/data/hadoop/tmp/dfs蠢挡,master可以看到name目錄解藻,salve可以看到data目錄轻局,

將name/current下的VERSION中的clusterID復制到data/current下的VERSION中怜校,覆蓋掉原來的clusterID撤逢,目的是讓兩個保持一致窒朋。

然后重啟,就可以看到slave上的DataNode進程已經起來腋粥。

出現該問題的原因:在第一次格式化dfs后晦雨,啟動并使用了hadoop,后來又重新執(zhí)行了格式化命令(hdfs namenode -format)隘冲,這時namenode的clusterID會重新生成闹瞧,而datanode的clusterID 保持不變。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末展辞,一起剝皮案震驚了整個濱河市奥邮,隨后出現的幾起案子,更是在濱河造成了極大的恐慌罗珍,老刑警劉巖洽腺,帶你破解...
    沈念sama閱讀 207,113評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現場離奇詭異靡砌,居然都是意外死亡已脓,警方通過查閱死者的電腦和手機,發(fā)現死者居然都...
    沈念sama閱讀 88,644評論 2 381
  • 文/潘曉璐 我一進店門通殃,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事画舌《榈#” “怎么了?”我有些...
    開封第一講書人閱讀 153,340評論 0 344
  • 文/不壞的土叔 我叫張陵曲聂,是天一觀的道長霹购。 經常有香客問我,道長朋腋,這世上最難降的妖魔是什么齐疙? 我笑而不...
    開封第一講書人閱讀 55,449評論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮旭咽,結果婚禮上贞奋,老公的妹妹穿的比我還像新娘。我一直安慰自己穷绵,他們只是感情好轿塔,可當我...
    茶點故事閱讀 64,445評論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著仲墨,像睡著了一般勾缭。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上目养,一...
    開封第一講書人閱讀 49,166評論 1 284
  • 那天俩由,我揣著相機與錄音,去河邊找鬼癌蚁。 笑死幻梯,一個胖子當著我的面吹牛,可吹牛的內容都是我干的匈勋。 我是一名探鬼主播礼旅,決...
    沈念sama閱讀 38,442評論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼洽洁!你這毒婦竟也來了痘系?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 37,105評論 0 261
  • 序言:老撾萬榮一對情侶失蹤饿自,失蹤者是張志新(化名)和其女友劉穎汰翠,沒想到半個月后,有當地人在樹林里發(fā)現了一具尸體昭雌,經...
    沈念sama閱讀 43,601評論 1 300
  • 正文 獨居荒郊野嶺守林人離奇死亡复唤,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,066評論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現自己被綠了烛卧。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片佛纫。...
    茶點故事閱讀 38,161評論 1 334
  • 序言:一個原本活蹦亂跳的男人離奇死亡妓局,死狀恐怖,靈堂內的尸體忽然破棺而出呈宇,到底是詐尸還是另有隱情好爬,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評論 4 323
  • 正文 年R本政府宣布甥啄,位于F島的核電站存炮,受9級特大地震影響,放射性物質發(fā)生泄漏蜈漓。R本人自食惡果不足惜穆桂,卻給世界環(huán)境...
    茶點故事閱讀 39,351評論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望融虽。 院中可真熱鬧享完,春花似錦、人聲如沸衣形。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽谆吴。三九已至倒源,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間句狼,已是汗流浹背笋熬。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留腻菇,地道東北人胳螟。 一個月前我還...
    沈念sama閱讀 45,618評論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像筹吐,于是被迫代替她去往敵國和親糖耸。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 42,916評論 2 344

推薦閱讀更多精彩內容