Oracle VM VirtualBox 搭建 Hadoop 環(huán)境的經(jīng)驗

實體機:

OS : Win7

Eclipse : eclipse-java-mars-2-win32

內(nèi)存 : 4G

虛擬機:

VirtualBox_5.0.10.4061_104061_Win.1448355141

ubuntu-14.04.4-desktop-i386.iso (內(nèi)存:1G, 硬盤:20G)

hadoop : 2.7.2

感謝:

給力量的安裝教程?http://www.powerxing.com/install-hadoop/

1. 虛擬機上網(wǎng)

實體機是通過域賬戶上網(wǎng)望伦,需要在虛擬機 Ubuntu 架設(shè)網(wǎng)絡(luò)代理溯职。

Ubuntu 是通過 NAT 方式和實體機聯(lián)系膊升,baidu 后找到 ntlmap 做代理财破,怎么試都不行墓塌;后來找到 cntlm 做代理就行了需五。

建議網(wǎng)絡(luò)代理設(shè)置不好的护桦,可以試試 cntlm廊宪。這個和公司的代理服務(wù)器設(shè)置有關(guān)吧浓瞪。

在 Firefox 中可以測試代理服務(wù)器是否能夠域賬戶驗證通過懈玻。

我是在 Firefox 能夠上網(wǎng)后,通過 Ubuntu 網(wǎng)站下載 hadoop, ntlmap, cntlm 等程序安裝乾颁。

2. 共享目錄

按照介紹涂乌,可以配置好虛擬機和實體機的共享,但是開機就直接掛載好這個功能沒有能夠成功英岭,無論是加在 profile, 還是 ~/.bashrc ,都不行湾盒。和磁盤分區(qū)的掛載有些不同。最后只好在桌面做了個腳本诅妹。

3. NameNode 在程序運行后就 down .

我是在一臺機器上安裝的偽分布 hadoop, 在本地運行程序后罚勾,一切都正常。放到 hadoop 分布環(huán)境后吭狡,運行到中間 map/reduce 步驟就報錯誤尖殃, output 也沒有輸出,hdfs 進入了 safeMode, console 的提示信息里要求釋放資源划煮。并且查看 jps, nameNode 消失了送丰。

最后就加大虛擬機的內(nèi)存,放大到 virsualBox 允許的大小弛秋,大概 1.8G .這樣就好了蚪战。

4. Eclipse Hadoop Plugin

從網(wǎng)上下的 plugin 牵现,我試驗是不行的,按照教程在window端編譯邀桑, hadoop 編譯了兩版 2.6.0 和 2.7.2 瞎疼,編譯都成功了。使用的是 2.6.0 版壁畸,但是運行的hadoop是 2.7.2 版贼急,沒有問題啊,運氣很好捏萍,也許以后會遇到問題太抓? ;-)

配置后 eclipse 的 hadoop plugin, 創(chuàng)建 wordCount 工程,到運行時報告錯誤令杈。

仔細的觀察了這個錯誤的詳細信息走敌,看到user=Administrator, access=WRITE。這里的user其實是我當(dāng)前系統(tǒng)(運行客戶端的計算機的操作系統(tǒng))的用戶名逗噩,實際期望這里的user=Hadoop(hadoop是我的HADOOP上面的用戶名)掉丽。

好不容易找到這篇文章:http://www.linuxidc.com/Linux/2014-08/105335p2.htm

解決方案:在系統(tǒng)的環(huán)境變量或java JVM變量里面添加HADOOP_USER_NAME,這個值具體等于多少看自己的情況异雁,以后會運行HADOOP上的Linux的用戶名捶障。(修改完重啟eclipse,不然可能不生效)纲刀。

5. 程序運行錯誤:Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.

http://www.bkjia.com/ASPjc/931209.html

a) 在Hadoop2的bin目錄下沒有winutils.exe

b) C:\Windows\System32下缺少hadoop.dll,把這個文件拷貝到C:\Windows\System32下面即可项炼。

c) hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 復(fù)制到對應(yīng)的Eclipse的project,然后修改557行為return true.

6. 虛擬機網(wǎng)絡(luò)設(shè)置為橋接模式

按照教程設(shè)置示绊,DHCP獲取動態(tài)IP 方式不行锭部,我這邊必須設(shè)置成靜態(tài)IP . 也可能和 DHCP 的策略有關(guān)吧。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末面褐,一起剝皮案震驚了整個濱河市拌禾,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌盆耽,老刑警劉巖,帶你破解...
    沈念sama閱讀 212,454評論 6 493
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件扼菠,死亡現(xiàn)場離奇詭異摄杂,居然都是意外死亡,警方通過查閱死者的電腦和手機循榆,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,553評論 3 385
  • 文/潘曉璐 我一進店門析恢,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人秧饮,你說我怎么就攤上這事映挂≡罄海” “怎么了?”我有些...
    開封第一講書人閱讀 157,921評論 0 348
  • 文/不壞的土叔 我叫張陵柑船,是天一觀的道長帽撑。 經(jīng)常有香客問我,道長鞍时,這世上最難降的妖魔是什么亏拉? 我笑而不...
    開封第一講書人閱讀 56,648評論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮逆巍,結(jié)果婚禮上及塘,老公的妹妹穿的比我還像新娘。我一直安慰自己锐极,他們只是感情好笙僚,可當(dāng)我...
    茶點故事閱讀 65,770評論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著灵再,像睡著了一般肋层。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上檬嘀,一...
    開封第一講書人閱讀 49,950評論 1 291
  • 那天槽驶,我揣著相機與錄音,去河邊找鬼鸳兽。 笑死掂铐,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的揍异。 我是一名探鬼主播全陨,決...
    沈念sama閱讀 39,090評論 3 410
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼衷掷!你這毒婦竟也來了辱姨?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,817評論 0 268
  • 序言:老撾萬榮一對情侶失蹤戚嗅,失蹤者是張志新(化名)和其女友劉穎雨涛,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體懦胞,經(jīng)...
    沈念sama閱讀 44,275評論 1 303
  • 正文 獨居荒郊野嶺守林人離奇死亡替久,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 36,592評論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了躏尉。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片蚯根。...
    茶點故事閱讀 38,724評論 1 341
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖胀糜,靈堂內(nèi)的尸體忽然破棺而出颅拦,到底是詐尸還是另有隱情蒂誉,我是刑警寧澤,帶...
    沈念sama閱讀 34,409評論 4 333
  • 正文 年R本政府宣布距帅,位于F島的核電站右锨,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏锥债。R本人自食惡果不足惜陡蝇,卻給世界環(huán)境...
    茶點故事閱讀 40,052評論 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望哮肚。 院中可真熱鬧登夫,春花似錦、人聲如沸允趟。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,815評論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽潮剪。三九已至涣楷,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間抗碰,已是汗流浹背狮斗。 一陣腳步聲響...
    開封第一講書人閱讀 32,043評論 1 266
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留弧蝇,地道東北人碳褒。 一個月前我還...
    沈念sama閱讀 46,503評論 2 361
  • 正文 我出身青樓,卻偏偏與公主長得像看疗,于是被迫代替她去往敵國和親沙峻。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 43,627評論 2 350

推薦閱讀更多精彩內(nèi)容