【Hadoop踩雷】無法上傳文件?有辦法额各!

正文之前

一鼓作氣国觉!肝死它!O豪病B榫鳌!

正文

前面都已經配置好了傲醉。我就準備試試偽分布式了S铡!結果硬毕?呻引?!啊哈昭殉?0摺藐守?挪丢!

localhost:hadoop zhangzhaobo$ cd 3.1.0/
localhost:3.1.0 zhangzhaobo$ hdfs dfs -put /Users/zhangzhaobo/program/python/KnowledgeGame.py logs
2018-06-03 14:38:52,230 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-06-03 14:38:53,685 WARN hdfs.DataStreamer: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/zhangzhaobo/logs._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and no node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:2116)
    at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:287)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2688)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:875)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:559)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
    at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
    at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1682)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)

    at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1491)
    at org.apache.hadoop.ipc.Client.call(Client.java:1437)
    at org.apache.hadoop.ipc.Client.call(Client.java:1347)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:228)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116)
    at com.sun.proxy.$Proxy11.addBlock(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:504)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:422)
    at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:165)
    at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:157)
    at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)
    at com.sun.proxy.$Proxy12.addBlock(Unknown Source)
    at org.apache.hadoop.hdfs.DFSOutputStream.addBlock(DFSOutputStream.java:1078)
    at org.apache.hadoop.hdfs.DataStreamer.locateFollowingBlock(DataStreamer.java:1865)
    at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1668)
    at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)
put: File /user/zhangzhaobo/logs._COPYING_ could only be written to 0 of the 1 minReplication nodes. There are 0 datanode(s) running and no node(s) are excluded in this operation.

數據節(jié)點不見了?卢厂?乾蓬?WTF?

現在是有的 慎恒,一開始沒有任内!

所以就去找呀找~ 最后找到了兩個法子撵渡。。

啟動Hadoop時死嗦,DataNode啟動后一會兒自動消失的解決方法

從日志中可以看出趋距,原因是因為datanode的clusterID 和 namenode的clusterID 不匹配。

(在slaver端上修改)

打開hdfs-site.xml里配置的datanode和namenode對應的目錄越除,分別打開current文件夾里的VERSION节腐,可以看到clusterID項正如日志里記錄的一樣,確實不一致摘盆,修改datanode里VERSION文件的clusterID 與namenode里的一致翼雀,再重新啟動dfs(執(zhí)行start-dfs.sh)再執(zhí)行jps命令可以看到datanode已正常啟動。

上面這個是比較正統(tǒng)的做法孩擂!我是個正統(tǒng)的人嗎狼渊??是类垦!當然是狈邑。。但是這次不行护锤。偽分布式官地。。烙懦。比較任性驱入。猥瑣一波!氯析!

直接刪除掉前面產生的文件就ok亏较!

我的是這樣,看你把你的文件系統(tǒng)掛在哪兒了Q诨骸雪情!

然后運行下面的代碼:


./sbin/stop-all.sh
./bin/hdfs namenode -format
./sbin/start-dfs.sh

./bin/hdfs dfs -mkdir /user

./bin/hdfs dfs -mkdir /user/zhangzhaobo 
./sbin/start-yarn.sh

hdfs dfs -put  Know.py

當然一把就成功啦!你辣!

然后試試按照例程來哈~

進入mapreduce目錄

運行程序:

localhost:mapreduce zhangzhaobo$ hadoop jar hadoop-mapreduce-examples-3.1.0.jar wordcount /user/zhangzhaobo/in /user/zhangzhaobo/out/resultWordCount

查看result

這是運行成功的過程:

2018-06-03 15:25:38,662 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2018-06-03 15:25:39,697 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
2018-06-03 15:25:40,514 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/zhangzhaobo/.staging/job_1528008869850_0003
2018-06-03 15:25:40,819 INFO input.FileInputFormat: Total input files to process : 1
2018-06-03 15:25:40,910 INFO mapreduce.JobSubmitter: number of splits:1
2018-06-03 15:25:40,960 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. Instead, use yarn.system-metrics-publisher.enabled
2018-06-03 15:25:41,104 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1528008869850_0003
2018-06-03 15:25:41,106 INFO mapreduce.JobSubmitter: Executing with tokens: []
2018-06-03 15:25:41,372 INFO conf.Configuration: resource-types.xml not found
2018-06-03 15:25:41,373 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2018-06-03 15:25:41,463 INFO impl.YarnClientImpl: Submitted application application_1528008869850_0003
2018-06-03 15:25:41,513 INFO mapreduce.Job: The url to track the job: http://localhost:8088/proxy/application_1528008869850_0003/
2018-06-03 15:25:41,514 INFO mapreduce.Job: Running job: job_1528008869850_0003
2018-06-03 15:25:50,700 INFO mapreduce.Job: Job job_1528008869850_0003 running in uber mode : false
2018-06-03 15:25:50,702 INFO mapreduce.Job:  map 0% reduce 0%
2018-06-03 15:25:57,808 INFO mapreduce.Job:  map 100% reduce 0%
2018-06-03 15:26:04,871 INFO mapreduce.Job:  map 100% reduce 100%
2018-06-03 15:26:04,887 INFO mapreduce.Job: Job job_1528008869850_0003 completed successfully
2018-06-03 15:26:05,005 INFO mapreduce.Job: Counters: 49
    File System Counters
        FILE: Number of bytes read=2684
        FILE: Number of bytes written=431255
        FILE: Number of read operations=0
        FILE: Number of large read operations=0
        FILE: Number of write operations=0
        HDFS: Number of bytes read=2281
        HDFS: Number of bytes written=2126
        HDFS: Number of read operations=8
        HDFS: Number of large read operations=0
        HDFS: Number of write operations=2
    Job Counters 
        Launched map tasks=1
        Launched reduce tasks=1
        Data-local map tasks=1
        Total time spent by all maps in occupied slots (ms)=4094
        Total time spent by all reduces in occupied slots (ms)=4530
        Total time spent by all map tasks (ms)=4094
        Total time spent by all reduce tasks (ms)=4530
        Total vcore-milliseconds taken by all map tasks=4094
        Total vcore-milliseconds taken by all reduce tasks=4530
        Total megabyte-milliseconds taken by all map tasks=4192256
        Total megabyte-milliseconds taken by all reduce tasks=4638720
    Map-Reduce Framework
        Map input records=36
        Map output records=191
        Map output bytes=2902
        Map output materialized bytes=2684
        Input split bytes=126
        Combine input records=191
        Combine output records=138
        Reduce input groups=138
        Reduce shuffle bytes=2684
        Reduce input records=138
        Reduce output records=138
        Spilled Records=276
        Shuffled Maps =1
        Failed Shuffles=0
        Merged Map outputs=1
        GC time elapsed (ms)=154
        CPU time spent (ms)=0
        Physical memory (bytes) snapshot=0
        Virtual memory (bytes) snapshot=0
        Total committed heap usage (bytes)=407896064
    Shuffle Errors
        BAD_ID=0
        CONNECTION=0
        IO_ERROR=0
        WRONG_LENGTH=0
        WRONG_MAP=0
        WRONG_REDUCE=0
    File Input Format Counters 
        Bytes Read=2155
    File Output Format Counters 
        Bytes Written=2126

弄了三次才成功的Q餐ā!

原因是一開始有一個地方一直報錯舍哄。宴凉。說我的主類加載不到?表悬?弥锄?WTF?

[2018-06-03 15:15:24.474]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
錯誤: 找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster


[2018-06-03 15:15:24.474]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
錯誤: 找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

然后找到了如下文章,賊有用籽暇!

解決運行 Hadoop MapReduce 任務時錯誤: 找不到或無法加載主類

然后例程主要是參考的這個人來的:

https://blog.csdn.net/dr_guo/article/details/50890582

正文之后

溜了溜了温治,在測試一個例程就睡覺,然后去健身房咯戒悠!晚上回去搭建集群~

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末熬荆,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子绸狐,更是在濱河造成了極大的恐慌惶看,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,743評論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件六孵,死亡現場離奇詭異纬黎,居然都是意外死亡,警方通過查閱死者的電腦和手機劫窒,發(fā)現死者居然都...
    沈念sama閱讀 90,296評論 3 385
  • 文/潘曉璐 我一進店門本今,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人主巍,你說我怎么就攤上這事冠息。” “怎么了孕索?”我有些...
    開封第一講書人閱讀 157,285評論 0 348
  • 文/不壞的土叔 我叫張陵逛艰,是天一觀的道長。 經常有香客問我搞旭,道長散怖,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 56,485評論 1 283
  • 正文 為了忘掉前任肄渗,我火速辦了婚禮镇眷,結果婚禮上,老公的妹妹穿的比我還像新娘翎嫡。我一直安慰自己欠动,他們只是感情好,可當我...
    茶點故事閱讀 65,581評論 6 386
  • 文/花漫 我一把揭開白布惑申。 她就那樣靜靜地躺著具伍,像睡著了一般。 火紅的嫁衣襯著肌膚如雪圈驼。 梳的紋絲不亂的頭發(fā)上人芽,一...
    開封第一講書人閱讀 49,821評論 1 290
  • 那天,我揣著相機與錄音碗脊,去河邊找鬼啼肩。 笑死,一個胖子當著我的面吹牛衙伶,可吹牛的內容都是我干的祈坠。 我是一名探鬼主播,決...
    沈念sama閱讀 38,960評論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼矢劲,長吁一口氣:“原來是場噩夢啊……” “哼赦拘!你這毒婦竟也來了?” 一聲冷哼從身側響起芬沉,我...
    開封第一講書人閱讀 37,719評論 0 266
  • 序言:老撾萬榮一對情侶失蹤躺同,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后丸逸,有當地人在樹林里發(fā)現了一具尸體蹋艺,經...
    沈念sama閱讀 44,186評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 36,516評論 2 327
  • 正文 我和宋清朗相戀三年黄刚,在試婚紗的時候發(fā)現自己被綠了捎谨。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 38,650評論 1 340
  • 序言:一個原本活蹦亂跳的男人離奇死亡憔维,死狀恐怖涛救,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情业扒,我是刑警寧澤检吆,帶...
    沈念sama閱讀 34,329評論 4 330
  • 正文 年R本政府宣布,位于F島的核電站程储,受9級特大地震影響蹭沛,放射性物質發(fā)生泄漏。R本人自食惡果不足惜章鲤,卻給世界環(huán)境...
    茶點故事閱讀 39,936評論 3 313
  • 文/蒙蒙 一致板、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧咏窿,春花似錦斟或、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,757評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至根欧,卻和暖如春怜珍,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背凤粗。 一陣腳步聲響...
    開封第一講書人閱讀 31,991評論 1 266
  • 我被黑心中介騙來泰國打工酥泛, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 46,370評論 2 360
  • 正文 我出身青樓柔袁,卻偏偏與公主長得像呆躲,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子捶索,可洞房花燭夜當晚...
    茶點故事閱讀 43,527評論 2 349

推薦閱讀更多精彩內容

  • 一插掂、系統(tǒng)參數配置優(yōu)化 1、系統(tǒng)內核參數優(yōu)化配置 修改文件/etc/sysctl.conf腥例,添加如下配置辅甥,然后執(zhí)行s...
    張偉科閱讀 3,724評論 0 14
  • 一般來說, iOS中的代理都是weak類型的, 這是因為一般代理者都是代理持有者的父對象, 而父對象會持有代理持有...
    KenZhangCn閱讀 2,000評論 0 2
  • 林小悠在好友雒小江的幫助下,前不久剛假死逃脫了青海幫的刺殺燎竖,想到自己過往的黑暗生活璃弄,林小悠用力的呼吸著空氣,臉上盡...
    小野一閱讀 304評論 0 0