個人喜歡的運行順序:su固灵,然后start-all磷杏,有可能存在修改ip的情況对竣,ifconfig查看就可以,對應(yīng)改core或者mapred榜配。
運行wordcount程序一直停在map 100% reduce 0%否纬,
input文件夾的內(nèi)容:
其中:
f1.txt中的內(nèi)容為:hello hadoop
f2.txt中的內(nèi)容為:hello hadoop
f3.txt中的內(nèi)容為:hello world
解決方法:
在/etc/hosts中增加以下紅色一行,其中第一列為127.0.0.1蛋褥,第二列為主機名稱:
然后重新使用start-all.sh啟動hadoop烦味,然后執(zhí)行wordcount程序,然后可以看到執(zhí)行成功:
查看執(zhí)行結(jié)果:
監(jiān)控頁面
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 狀態(tài)
http://localhost:50070/ - Hadoop DFS 狀態(tài)
already exists
ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /wc/output already exists
解決方案:
先刪除再重新啟動
ctrl+c強制退出
bin/hadoop fs -rmr /wc/output
[root@aubin hadoop-1.2.1]# hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input/ /wc/output/
然后在重新啟動一次壁拉。
注意文件目錄是要hdfs上的路徑谬俄,然后路徑ip的配置,etc/hosts里面
eclipse一直連接不上ip:
解決方案在linux里面hosts改映射條件弃理。
windows下沒辦法看文件存儲詳細信息
還未解決:
分析原因:
看文件詳細會跳轉(zhuǎn)到aubin.com:50070 linux下能看到溃论,windows不能
http://192.168.38.129:50075/browseDirectory.jsp?dir=%2Fuser%2Froot%2Finput&namenodeInfoPort=50070
前面的這個datanodeInfos是指,每遍歷到一個文件痘昌,都叫這個名字钥勋。
根據(jù)hadoop的api文檔去查詢這些功能和函數(shù)。
百度云第52課 代碼沒看懂 第54課 增加的代碼沒看懂 以及課后作業(yè)代碼