Hadoop經(jīng)典錯(cuò)誤及相關(guān)解決方法

1.ERROR org.apache.Hadoop.hdfs.server.datanode.DataNode:Java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode

namespaceID = 240012870; datanode namespaceID = 1462711424 .

http://blog.csdn.net/wh62592855/article/details/5752199

2.org.apache.hadoop.security.AccessControlException: Permission denied: user=xxj

hdfs-site.xml文件中加入

dfs.permissions

false

3. Invalid Hadoop Runtime specified; please click 'Configure Hadoop install directory' or fill in library location input

field

eclipse window->preferences - > Map/Reduce? 選擇hadoop根目錄

4.eclipse error: failure to login

eclipse hadoop plugin/lib 目錄中加入

lib/hadoop-core.jar,

lib/commons-cli-1.2.jar,

lib/commons-configuration-1.6.jar,

lib/commons-httpclient-3.0.1.jar,

lib/commons-lang-2.4.jar,

lib/jackson-core-asl-1.0.1.jar,

lib/jackson-mapper-asl-1.0.1.jar

修改META-INF/MANIFEST.MF

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-configuration-1.6.jar,lib/commons-httpclient-3.0.1.jar,lib/commons-lang-

2.4.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar

5.hadoop 1.0.0版本

hadoop 啟動(dòng)時(shí) TaskTracker無(wú)法啟動(dòng)

ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: \tmp\hadoop-admin

\mapred\local\ttprivate to 0700

at org.apache.hadoop.fs.FileUtil.checkReturnValue(FileUtil.java:682)

at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:655)

at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509)

at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344)

at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189)

at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:719)

at org.apache.hadoop.mapred.TaskTracker.(TaskTracker.java:1436)

at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3694)

eclipse運(yùn)行作業(yè)? Failed to set permissions of path: \tmp\hadoop-admin\mapred\staging\Administrator-1506477061\.staging to 0700

:Windows環(huán)境下的Hadoop TaskTracker無(wú)法正常啟動(dòng)? 包括0.20.204笑陈、0.20.205稳捆、1.0.0版本

網(wǎng)上的解決方案 五花八門(mén)? 有的說(shuō)用 0.20.204以下版本 等

我采用修改FileUtil類 checkReturnValue方法代碼 重新編譯? 替換原來(lái)的hadoop-core-1.0.0.jar文件 來(lái)解決

改后的hadoop-core-1.0.0.jar下載地址http://download.csdn.net/detail/java2000_wl/4326323

bughttps://issues.apache.org/jira/browse/HADOOP-7682

6.Bad connection to FS. command aborted. exception: Call to dp01-154954/192.168.13.134:9000 failed on connection exception: java.NET.ConnectException: Connection refused: no further information

ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory D:\tmp\hadoop-SYSTEM\dfs\name is in an inconsistent

state: storage directory does not exist or is not accessible.

重新格式化? bin/hadoop namenode -format? (小心不要拼錯(cuò))

7.org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /tmp/hadoop-SYSTEM/mapred/system. Name node is in safe mode.

The ratio of reported blocks 0.9412 has not reached the threshold 0.9990. Safe mode will be turned off automatically.

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.deleteInternal(FSNamesystem.java:1992)

at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.delete(FSNamesystem.java:1972)

at org.apache.hadoop.hdfs.server.namenode.NameNode.delete(NameNode.java:792)

at sun.reflect.GeneratedMethodAccessor5.invoke(Unknown Source)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)

at java.lang.reflect.Method.invoke(Method.java:597)

at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:563)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1388)

at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1384)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:396)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1083)

at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1382)

:bin/hadoop dfsadmin -safemode leave (解除安全模式)

safemode參數(shù)說(shuō)明:

enter - 進(jìn)入安全模式

leave - 強(qiáng)制NameNode離開(kāi)安全模式

get -返回安全模式是否開(kāi)啟的信息

wait - 等待瓷式,一直到安全模式結(jié)束脯倚。

8Hbase

INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...

:bin/hadoop dfsadmin -safemode leave (解除安全模式)

9.win7下 ssh啟動(dòng)不了 ?錯(cuò)誤:ssh: connect to host localhost port 22: Connection refused

輸入windows 登錄用戶名

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable...

原因:

多次格式化hadoop導(dǎo)致版本信息不一致炊甲,修改為一致?tīng)顟B(tài)即可解決問(wèn)題

解決方法:

1、停止所有服務(wù) ? ? ? ? ?stop-all.sh

2克伊、格式化namenode ? ?hadoop namenode -foramt

3谆膳、重新啟動(dòng)所有服務(wù)???start-all.sh

4、可以進(jìn)行正常操作了

輸入指令bin/hadoop fs -put ?~/input /in后脯倒,報(bào)錯(cuò):

There are 0 datanode(s) running and no node(s) are excluded in this?operation.

這個(gè)問(wèn)題困擾我很長(zhǎng)時(shí)間实辑,各種百度。最后終于解決藻丢。我產(chǎn)生這個(gè)問(wèn)題的原因是:在第一次格式化dfs后剪撬,啟動(dòng)并使用了hadoop,后來(lái)又重新執(zhí)行了格式化命令(hdfs namenode -format)悠反,這時(shí)namenode的clusterID會(huì)重新生成残黑,而datanode的clusterID 保持不變馍佑。

解決方法:打開(kāi)hdfs-site.xml里配置的datanode和namenode對(duì)應(yīng)的目錄,分別打開(kāi)current文件夾里的VERSION萍摊,可以看到兩個(gè)VERSION里的clusterID項(xiàng)不一致挤茄,修改datanode里VERSION文件的clusterID 與namenode里的一致,再重新啟動(dòng)dfs(執(zhí)行start-dfs.sh)再執(zhí)行jps命令可以看到datanode已正常啟動(dòng)冰木。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末穷劈,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子踊沸,更是在濱河造成了極大的恐慌歇终,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,183評(píng)論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件逼龟,死亡現(xiàn)場(chǎng)離奇詭異评凝,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)腺律,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,850評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門(mén)奕短,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人匀钧,你說(shuō)我怎么就攤上這事翎碑。” “怎么了之斯?”我有些...
    開(kāi)封第一講書(shū)人閱讀 168,766評(píng)論 0 361
  • 文/不壞的土叔 我叫張陵日杈,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我佑刷,道長(zhǎng)莉擒,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,854評(píng)論 1 299
  • 正文 為了忘掉前任瘫絮,我火速辦了婚禮涨冀,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘麦萤。我一直安慰自己鹿鳖,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,871評(píng)論 6 398
  • 文/花漫 我一把揭開(kāi)白布频鉴。 她就那樣靜靜地躺著栓辜,像睡著了一般。 火紅的嫁衣襯著肌膚如雪垛孔。 梳的紋絲不亂的頭發(fā)上藕甩,一...
    開(kāi)封第一講書(shū)人閱讀 52,457評(píng)論 1 311
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼狭莱。 笑死僵娃,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的腋妙。 我是一名探鬼主播默怨,決...
    沈念sama閱讀 40,999評(píng)論 3 422
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼骤素!你這毒婦竟也來(lái)了匙睹?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書(shū)人閱讀 39,914評(píng)論 0 277
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤济竹,失蹤者是張志新(化名)和其女友劉穎痕檬,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體送浊,經(jīng)...
    沈念sama閱讀 46,465評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡梦谜,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,543評(píng)論 3 342
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了袭景。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片唁桩。...
    茶點(diǎn)故事閱讀 40,675評(píng)論 1 353
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖耸棒,靈堂內(nèi)的尸體忽然破棺而出荒澡,到底是詐尸還是另有隱情,我是刑警寧澤榆纽,帶...
    沈念sama閱讀 36,354評(píng)論 5 351
  • 正文 年R本政府宣布仰猖,位于F島的核電站捏肢,受9級(jí)特大地震影響奈籽,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜鸵赫,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,029評(píng)論 3 335
  • 文/蒙蒙 一衣屏、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧辩棒,春花似錦狼忱、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,514評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至者吁,卻和暖如春窘俺,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背复凳。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,616評(píng)論 1 274
  • 我被黑心中介騙來(lái)泰國(guó)打工瘤泪, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留灶泵,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 49,091評(píng)論 3 378
  • 正文 我出身青樓对途,卻偏偏與公主長(zhǎng)得像赦邻,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子实檀,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,685評(píng)論 2 360

推薦閱讀更多精彩內(nèi)容

  • 經(jīng)過(guò)一系列的前期環(huán)境準(zhǔn)備惶洲,現(xiàn)在可以開(kāi)始Hadoop的安裝了,在這里去apache官網(wǎng)下載2.7.3的版本http:...
    歡醉閱讀 1,683評(píng)論 8 28
  • 版權(quán)聲明:本文為博主原創(chuàng)文章膳犹,未經(jīng)博主允許不得轉(zhuǎn)載湃鹊。 目錄-[-]1 先決條件2 實(shí)驗(yàn)環(huán)境搭建 21 準(zhǔn)備工...
    三三At你閱讀 843評(píng)論 0 3
  • 最美家鄉(xiāng)干咸菜 在繁華的都市生活的越久,早餐的種類越多镣奋,卻也越?jīng)]有味道币呵,越不知道吃什么了。每天早餐倒成了一件麻煩事...
    百齡語(yǔ)閱讀 596評(píng)論 0 1
  • 散步的時(shí)候,走在密林小道里哈垢,常常會(huì)陷入這樣的迷思:若干年前妻柒,腳下的這片土地是怎樣的?那時(shí)人們會(huì)穿著什么樣的衣服耘分?吃...
    鐘刻閱讀 160評(píng)論 0 0
  • 出19:3-6摩西到神那里举塔,耶和華從山上呼喚他說(shuō):你要這樣告訴雅各家,曉諭以色列人說(shuō):我向埃及人所行的事...
    楊春靖閱讀 852評(píng)論 0 2