實體機:
OS : Win7
Eclipse : eclipse-java-mars-2-win32
內(nèi)存 : 4G
虛擬機:
VirtualBox_5.0.10.4061_104061_Win.1448355141
ubuntu-14.04.4-desktop-i386.iso (內(nèi)存:1G, 硬盤:20G)
hadoop : 2.7.2
感謝:
給力量的安裝教程?http://www.powerxing.com/install-hadoop/
實體機是通過域賬戶上網(wǎng)望伦,需要在虛擬機 Ubuntu 架設(shè)網(wǎng)絡(luò)代理溯职。
Ubuntu 是通過 NAT 方式和實體機聯(lián)系膊升,baidu 后找到 ntlmap 做代理财破,怎么試都不行墓塌;后來找到 cntlm 做代理就行了需五。
建議網(wǎng)絡(luò)代理設(shè)置不好的护桦,可以試試 cntlm廊宪。這個和公司的代理服務(wù)器設(shè)置有關(guān)吧浓瞪。
在 Firefox 中可以測試代理服務(wù)器是否能夠域賬戶驗證通過懈玻。
我是在 Firefox 能夠上網(wǎng)后,通過 Ubuntu 網(wǎng)站下載 hadoop, ntlmap, cntlm 等程序安裝乾颁。
按照介紹涂乌,可以配置好虛擬機和實體機的共享,但是開機就直接掛載好這個功能沒有能夠成功英岭,無論是加在 profile, 還是 ~/.bashrc ,都不行湾盒。和磁盤分區(qū)的掛載有些不同。最后只好在桌面做了個腳本诅妹。
我是在一臺機器上安裝的偽分布 hadoop, 在本地運行程序后罚勾,一切都正常。放到 hadoop 分布環(huán)境后吭狡,運行到中間 map/reduce 步驟就報錯誤尖殃, output 也沒有輸出,hdfs 進入了 safeMode, console 的提示信息里要求釋放資源划煮。并且查看 jps, nameNode 消失了送丰。
最后就加大虛擬機的內(nèi)存,放大到 virsualBox 允許的大小弛秋,大概 1.8G .這樣就好了蚪战。
從網(wǎng)上下的 plugin 牵现,我試驗是不行的,按照教程在window端編譯邀桑, hadoop 編譯了兩版 2.6.0 和 2.7.2 瞎疼,編譯都成功了。使用的是 2.6.0 版壁畸,但是運行的hadoop是 2.7.2 版贼急,沒有問題啊,運氣很好捏萍,也許以后會遇到問題太抓? ;-)
配置后 eclipse 的 hadoop plugin, 創(chuàng)建 wordCount 工程,到運行時報告錯誤令杈。
仔細的觀察了這個錯誤的詳細信息走敌,看到user=Administrator, access=WRITE。這里的user其實是我當(dāng)前系統(tǒng)(運行客戶端的計算機的操作系統(tǒng))的用戶名逗噩,實際期望這里的user=Hadoop(hadoop是我的HADOOP上面的用戶名)掉丽。
好不容易找到這篇文章:http://www.linuxidc.com/Linux/2014-08/105335p2.htm
解決方案:在系統(tǒng)的環(huán)境變量或java JVM變量里面添加HADOOP_USER_NAME,這個值具體等于多少看自己的情況异雁,以后會運行HADOOP上的Linux的用戶名捶障。(修改完重啟eclipse,不然可能不生效)纲刀。
http://www.bkjia.com/ASPjc/931209.html
a) 在Hadoop2的bin目錄下沒有winutils.exe
b) C:\Windows\System32下缺少hadoop.dll,把這個文件拷貝到C:\Windows\System32下面即可项炼。
c) hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 復(fù)制到對應(yīng)的Eclipse的project,然后修改557行為return true.
6. 虛擬機網(wǎng)絡(luò)設(shè)置為橋接模式
按照教程設(shè)置示绊,DHCP獲取動態(tài)IP 方式不行锭部,我這邊必須設(shè)置成靜態(tài)IP . 也可能和 DHCP 的策略有關(guān)吧。