關(guān)于Eclipse的Hadoop環(huán)境的配置吏夯,可以參考這兩篇博文:
1此蜈、Windows7下面eclipse(4.5.2)& hadoop2.7.2 開發(fā)環(huán)境配置
2即横、Hadoop集群(第7期)_Eclipse開發(fā)環(huán)境設(shè)置
以下是本人在為Eclipse配置Hadoop開發(fā)環(huán)境時(shí)遇到的坑:
坑1:DFS Location下的文件顯示沒有權(quán)限(參考博文里面也有提到另一種方案):
解決方案:修改hdfs-site.xml配置文件的dfs.permissions為false,
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
坑2:端口號(hào)的問題裆赵。在core-site.xml文件和mapred-site.xml文件配置的端口號(hào)必須對(duì)應(yīng)令境,如下圖所示:
這是mapred-site.xml里面mapred.job.tracker的端口對(duì)應(yīng)Eclipse中的Map/Reduce Master端口:
這是在core-site.xml里的DFS對(duì)應(yīng)的fs.defaultFS的端口,對(duì)應(yīng)Eclipse中的DFS Master端口:
坑3:運(yùn)行WordCount示例程序顾瞪,報(bào)Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "Harlan/[192.168.31.1](qq://txfile/#)"; destination host is: "hadoop":50070;
的異常舔庶。
這又是端口問題,在main方法里面?zhèn)魅氲膬蓚€(gè)參數(shù)的IP地址要正確陈醒,并且端口號(hào)需要和core-site.xml里面的fs.defaultFS的端口號(hào)對(duì)應(yīng)(這就是初學(xué)者的痛《惕橙;。钉跷;》):