hadoop常見錯誤

錯誤一:本地運(yùn)行Java 代碼時出出現(xiàn):

2018-09-14 19:45:07,266 DEBUG org.apache.hadoop.util.Shell.checkHadoopHome() - Failed to detect a valid hadoop home directory

java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.

2018-09-14 19:45:07,275 ERROR org.apache.hadoop.util.Shell.getWinUtilsPath() - Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解決:把hadoop安裝目錄下的hadoop.dll考到system32目錄下


錯誤二:運(yùn)行mapreduce

Job job_1536830416611_0021 failed with state FAILED due to: Application application_1536830416611_0021 failed 2 times due to Error launching appattempt_1536830416611_0021_000002. Got exception: org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.

This token is expired. current time is 1536878358609 found 1536837804741

Note: System times on machines may be out of sync. Check system time and time zones.

沒有同步時間

解決:

在namenode 和datanode所在的服務(wù)器上都輸入:

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

ntpdate pool.ntp.org? 進(jìn)行時間同步

如果在ntpdate pool.ntp.org? 時 出現(xiàn)? the NTP socket is in use, exiting

用 ps -ef|grep ntp 查出進(jìn)程后 殺死


錯誤三:

啟動zookeeper 服務(wù)時

zkServer.sh status

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper-3.4.10/bin/../conf/zoo.cfg

Error contacting service. It is probably not running.

刪除 /etc/hosts 中的 127.0.0.0拿一行

錯誤四:

linux的shell腳本運(yùn)行出現(xiàn)失敗

shell 腳本在/usr/local/bin 下 不管在哪執(zhí)行都可以不用寫路徑

-bash: /usr/local/bin/xcall.sh: /bin/bash^M: bad interpreter:

在行末模式下輸入set ff回車塘匣,查看當(dāng)前的模式冯痢,如果時doc就通過set fileformat=unix修改成unix


錯誤五:

Connection refused

? at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

? at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)

? at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361)

? at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081)

18/09/19 19:41:53 INFO ipc.Client: Retrying connect to server: hadoop03/192.168.136.130:8485. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)(所有journalnode都得開啟,才能format namenode)

錯誤六:

2018-09-19 20:22:04,275 FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist.

Run with -formatZK flag to initialize ZooKeeper.

(要保證所有設(shè)置的zookeper集群的zookeeper服務(wù)都開啟 才能 格式化 )

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末鹅龄,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子瞎惫,更是在濱河造成了極大的恐慌诀豁,老刑警劉巖,帶你破解...
    沈念sama閱讀 222,252評論 6 516
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件局扶,死亡現(xiàn)場離奇詭異,居然都是意外死亡叁扫,警方通過查閱死者的電腦和手機(jī)三妈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,886評論 3 399
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來莫绣,“玉大人畴蒲,你說我怎么就攤上這事《允遥” “怎么了模燥?”我有些...
    開封第一講書人閱讀 168,814評論 0 361
  • 文/不壞的土叔 我叫張陵,是天一觀的道長软驰。 經(jīng)常有香客問我涧窒,道長,這世上最難降的妖魔是什么锭亏? 我笑而不...
    開封第一講書人閱讀 59,869評論 1 299
  • 正文 為了忘掉前任,我火速辦了婚禮硬鞍,結(jié)果婚禮上慧瘤,老公的妹妹穿的比我還像新娘。我一直安慰自己固该,他們只是感情好锅减,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,888評論 6 398
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著伐坏,像睡著了一般怔匣。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上桦沉,一...
    開封第一講書人閱讀 52,475評論 1 312
  • 那天每瞒,我揣著相機(jī)與錄音,去河邊找鬼纯露。 笑死剿骨,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的埠褪。 我是一名探鬼主播浓利,決...
    沈念sama閱讀 41,010評論 3 422
  • 文/蒼蘭香墨 我猛地睜開眼挤庇,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了贷掖?” 一聲冷哼從身側(cè)響起嫡秕,我...
    開封第一講書人閱讀 39,924評論 0 277
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎苹威,沒想到半個月后昆咽,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,469評論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡屠升,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,552評論 3 342
  • 正文 我和宋清朗相戀三年潮改,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片腹暖。...
    茶點(diǎn)故事閱讀 40,680評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡汇在,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出脏答,到底是詐尸還是另有隱情糕殉,我是刑警寧澤,帶...
    沈念sama閱讀 36,362評論 5 351
  • 正文 年R本政府宣布殖告,位于F島的核電站阿蝶,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏黄绩。R本人自食惡果不足惜羡洁,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 42,037評論 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望爽丹。 院中可真熱鬧筑煮,春花似錦、人聲如沸粤蝎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,519評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽初澎。三九已至秸应,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間碑宴,已是汗流浹背软啼。 一陣腳步聲響...
    開封第一講書人閱讀 33,621評論 1 274
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留墓懂,地道東北人焰宣。 一個月前我還...
    沈念sama閱讀 49,099評論 3 378
  • 正文 我出身青樓,卻偏偏與公主長得像捕仔,于是被迫代替她去往敵國和親匕积。 傳聞我的和親對象是個殘疾皇子盈罐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,691評論 2 361

推薦閱讀更多精彩內(nèi)容