title: window下搭建eclipse運行MapReduce環(huán)境
date: 2016-07-13 09:47:21
tags: MapReduce
categories: 大數(shù)據(jù)
系統(tǒng)環(huán)境及所需文件
- eclipse-jee-mars-2
- hadoop2.7.2
- hadoop-eclipse-plugin
- hadoop.dll & winutils.exe
修改Master節(jié)點的hdfs-site.xml
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
旨在取消權(quán)限檢查
<property>
<name>dfs.web.ugi</name>
<value>Skye,supergroup</value>
</property>
配置Hadoop插件
- windows下載hadoop-2.7.2解壓到某目錄下浅蚪，如：E:\hadoop\hadoop-2.7.2
- 下載hadoop-eclipse-plugin插件hadoop-eclipse-plugin，將release目錄下的hadoop-eclipse-plugin-2.6.0.jar拷貝到eclipse/plugins疹味，重啟eclipse屁药。
- 插件配置windows->show view->other 顯示mapreduce視圖
- window->preferences->hadoop map/reduce 指定windows上的hadoop根目錄（即：E:\hadoop\hadoop-2.7.2）
-
在Map/Reduce Locations 面板中锈玉，點擊小象圖標(biāo)定義hadoop
解釋：
MapReduce Master
Host：虛擬機hadoop master對應(yīng)ip
Port：hdfs-site.xml中dfs.datanode.ipc.address指定的的端口號。此處填9001
DFS Master中Port：core-site.xml中fs.defaultFS指定的端口。應(yīng)填9000
User name：linux中運行hadoop的用戶屋群。
另一種說法：
其中畏梆，Location name可任意填寫您宪，Mapreduce Master中Host為resourcemanager機器ip，Port為resourcemanager接受任務(wù)的端口號奠涌，即yarn-site.xml文件中yarn.resourcemanager.scheduler.address配置項中端口號（8030）宪巨。DFS Master中的Host為namenode機器ip，Port為core-site.xml文件中fs.defaultFS配置項中端口號（9000）溜畅。
兩種都可以運行捏卓。
配置完畢查看結(jié)果
windows下運行環(huán)境配置
- 在系統(tǒng)環(huán)境變量中增加HADOOP_HOME，并在Path中加入%HADOOP_HOME%\bin
- 將下載下來的hadoop.dll,winutils.exe拷貝到HADOOP_HOME/bin目錄下
創(chuàng)建 MapReduce工程并運行
需要拷貝 服務(wù)器hadoop中的log4j.properties文件到工程的src目錄
運行時報如下錯誤慈格，弄了好長一段時間怠晴，發(fā)現(xiàn)原因是服務(wù)器通過內(nèi)網(wǎng)ip訪問，外網(wǎng)無法解析浴捆。用虛擬機連接成功
WARN hdfs.DFSClient: Failed to connect to /10.0.0.14:50010 for block, add to deadNodes and continue. java.net.ConnectException: Connection timed out: no further information
java.net.ConnectException: Connection timed out: no further information
