在部署了hadoop的各個(gè)組件熟悉了控制臺(tái)命令行模式之后善炫,下一步就是熟悉各組件的API了,這就涉及到在Windows環(huán)境下進(jìn)行編程。
Windows下使用Eclipse進(jìn)行開發(fā)
打開eclipse新建maven項(xiàng)目,添加依賴
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>2.5.0</version>
</dependency>
測(cè)試HDFS的API時(shí)遇到問題
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
這個(gè)錯(cuò)誤好像不影響后面代碼的運(yùn)行她按,但是影響美觀。這里有兩個(gè)點(diǎn):
- 1炕柔、路徑最前面是null酌泰,說明是HADOOP_HOME的問題,所以需要在Windows上安裝hadoop匕累,然后配置環(huán)境變量宫莱,也可以手動(dòng)在MapReduce程序里加上環(huán)境變量
System.setProperty("hadoop.home.dir", "...")。
- 2哩罪、winutils.exe這個(gè)文件默認(rèn)是沒有的授霸,需要去網(wǎng)上下載之后放在hadoop的bin目錄下