需要的軟件
Paste_Image.png
過程
- 把hadoop-eclipse-plugin-2.6.0.jar放到eclipse安裝目錄下的plugins目錄下
- 重啟eclipse
- eclipse左邊多出來一個DFS Locations
- 解壓hadoop-2.6.0
-
設置Window->Prefrences->Hadoop Map/Reduce的installation directory為你解壓的hadoop目錄
Paste_Image.png - 顯示Map/Reduce選項卡刹帕。
選擇Window->Open Perspective->Other->Map/Reduce - 創(chuàng)建hdfs連接偷溺。
右鍵單擊Map/Reduce Locations選項卡（在最下方）， 選擇新建 -
配置的地址及端口
Paste_Image.png -
查看是否連接成功
Paste_Image.png -
新建輸入目錄并上傳測試文件（.txt）
Paste_Image.png - java程序(官網(wǎng)WordCount.java)
方法一：
- java程序打成jar包上傳至hadoop服務器hadoop目錄下
- 執(zhí)行(輸出目錄必須不存在)
(WordCount如果有包名，自己帶上)
bin/hadoop jar wc.jar WordCount /test0706 /test0706_out2
- 出問題的情況下強制終止任務
./bin/hadoop job -kill job_1467738443148_0007
-
運行成功截圖
Paste_Image.png -
查看結果
Paste_Image.png
bin/hadoop fs -ls /test0706_out4
Paste_Image.png
方法二：
- hadoop脫離集群環(huán)境的開發(fā)
- 報錯
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
分析:
配置HADOOP_HOME環(huán)境變量
win下的2.2版本---https://github.com/srccodes/hadoop-common-2.2.0-bin.git - java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
分析：
這是由于hadoop.dll 版本問題，2.4之前的和自后的需要的不一樣
需要選擇正確的版本并且在 Hadoop/bin和 C：\windows\system32 上將其替換
文件下載--2.6版本
- Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
方法三
- hadoop遠程連接集群開發(fā)
文章參考
win7下安裝hadoop 2.6.0 的eclipse插件并編寫運行WordCount程序
hadoop2.6.0的eclipse插件編譯和設置
hadoop開發(fā)方式--脫離集群環(huán)境的開發(fā)/遠程連接集群開發(fā)
