Hadoop搭建的具體實施

準備工作

1.共享文件的設(shè)置:
進入VMware station,進入編輯虛擬機設(shè)置界面 選項-共享文件夾音半,點擊右邊的添加琳袄,設(shè)置你的共享文件夾的路徑,此文件夾的內(nèi)容都和Ubuntu共享澎办。


編輯虛擬機設(shè)置
添加共享文件夾地址

然后進入虛擬機嘲碱,打開終端輸入以下命令:

sudo apt-get install open-vm-dkms  一路按enter鍵通過金砍。 
sudo mount  -t  vmhgfs  .host:/   /mnt/hgfs  這樣/mnt/hgfs下便有了與windows的共享目錄
為了每次開機自動掛載共享目錄,在/etc/init.d/open-vm-tools末尾增加一行: 
sudo mount  -t  vmhgfs  .host:/    /mnt/hgfs     (host:/  處有空格)

設(shè)置好共享文件夾后麦锯,打開你的Ubuntu恕稠,在/mnt/hgfs路徑下出現(xiàn)你的文件,說明共享文件夾設(shè)置成功扶欣。

此路徑的movie文件夾鹅巍,為我設(shè)置的共享文件夾,里面的內(nèi)容為我Windows系統(tǒng)下文件夾里的內(nèi)容

2.固定IP地址

在虛擬機的System-Settings(設(shè)置)料祠,點network,打開 wired-options-IPV4 
Settings-method:manual,->
 Address  192.168.228.200
 netmask  255.255.255.0
 gateway  192.168,228.2

一骆捧、安裝JDK

在Windows下,前往官網(wǎng)下載JDK(當前官網(wǎng)的最新版本jdk1.8.0_05)并把下載好的JDK放在設(shè)置的共享文件夾下

1.在Ubuntu中髓绽,在 /mnt/hgfs下找到JDK壓縮包進行解壓:

sudo tar  zxvf  jdk-8u5-linux-x64.gz    /usr/local/

2.修改環(huán)境變量

sudo gedit  /etc/profile

然后在根據(jù)提示輸入用戶密碼即可敛苇,然后在文件最下面添加如下:

export JAVA_HOME=/usr/local/jdk1.8.0_101 
export PATH=${JAVA_HOME}/bin:$PATH 

保存退出。

3.配置默認jdk版本

sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/java 300  
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/javac 300
sudo update-alternatives --config java

4.驗證JDK安裝是否成功

java -version

若出現(xiàn)以下提示信息顺呕,表明安裝成功枫攀。

顯示JDK的版本號

二.安裝hadoop

同樣,首先在Windows下株茶,前往官網(wǎng)下載好hadoop的壓縮包来涨,放于共享文件夾下
1.在Ubuntu中對其進行解壓,并解壓到相應(yīng)目錄。

 sudo tar  zxvf  hadoop2.7.1.gz    /usr/local/

2.配置hadoop的jdk路徑

cd  /home/hadoop/hadoop-2.7.1/etc/Hadoop 

打開hadoop-env.sh文件

sudo gedit  hadoop-env.sh

3.打開后
替換exportJAVA_HOME=${JAVA_HOME}為如下:

    export JAVA_HOME=/usr/local/jdk1.8.0_05

同樣启盛,配置yarn-env.sh蹦掐,在里面加入:

 export JAVA_HOME=/usr/local/jdk1.8.0_05

三.配置Hadoop環(huán)境變量(配置xml文件)

在core-site.xml、hdfs-site.xml驰徊、mapred-site.xml笤闯、yarn-site.xml文件中做相應(yīng)配置:

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

四 . 格式化Hadoop文件系統(tǒng)HDFS并啟動Hadoop

  1. HDFS格式化
    初次運行的初始化:
    進入hadoop的根目錄:
cd hadoop/hadoop-2.6

初始化:

./bin/hdfs namenode -format

2.啟動hadoop

 sbin/start-dfs.sh
 sbin/start-yarn.sh
 或
 sbin/start-all.sh

3.如果安裝成功,在master機上輸入jps后結(jié)果如下:

jps結(jié)果

4.測試 (此環(huán)節(jié)容易瀏覽器不能上網(wǎng) 解決方法:固定IP)
在Ubuntu里棍厂,找到瀏覽器并輸入網(wǎng)址 http://master:50070 可以看到hdfs的信息颗味。

hdfs信息

在瀏覽其中輸入:http://master:8088 可以看到hadoop的信息

hadoop信息

五.安裝免密碼登錄SSH

  1. 修改主機名
 sudo gedit /etc/network/interfaces

(1)臨時修改

sudo hostname master

(2)永久修改:

sudo gedit /etc/hostname 修改后重啟生效

2.記下本機的ip

查看本機ip:

ifconfig

3.配置主機信息:

sudo gedit /etc/hosts

把本機的ip地址和主機名進行修改

修改IP和主機名

4.關(guān)閉防火墻
若要關(guān)閉Ubuntu系統(tǒng)的防火墻功能,則執(zhí)行命令:

sudo ufw disable

之后牺弹,系統(tǒng)提示“防火墻在系統(tǒng)啟動時自動禁用”浦马。

執(zhí)行以下命令,重新啟動虛擬機张漂。

sudo reboot now
  1. 安裝SSH服務(wù)
sudo apt-get install openssh-server
  1. 檢查SSH服務(wù)是否啟動
sudo ps -e | grep sshd
  1. 生成RSA密鑰(包括私鑰和公鑰)
ssh-keygen -t rsa
  1. 寫入秘鑰信息
cd ~/.ssh
cat id_rsa.pub >> authorized_keys (把id_rsa.pub追加到授權(quán)的key里面去)
   scp authorized_keys master:~/.ssh/ (將生成的authorized_keys文件拷貝到slave1主機相同的文件夾下)

成功安裝后晶默,即可主節(jié)點切換到從節(jié)點可不用輸密碼,效果為:

1.首先必須啟動主節(jié)點和從節(jié)點的hadoop,并jps出現(xiàn)相應(yīng)節(jié)點:
主節(jié)點:

主節(jié)點jps的結(jié)果

從節(jié)點:

從節(jié)點jps的結(jié)果

2.SSH主節(jié)點切換到從節(jié)點:

從主節(jié)點切換至從節(jié)點
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末航攒,一起剝皮案震驚了整個濱河市磺陡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖币他,帶你破解...
    沈念sama閱讀 221,820評論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件坞靶,死亡現(xiàn)場離奇詭異,居然都是意外死亡蝴悉,警方通過查閱死者的電腦和手機彰阴,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,648評論 3 399
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來拍冠,“玉大人尿这,你說我怎么就攤上這事∏於牛” “怎么了射众?”我有些...
    開封第一講書人閱讀 168,324評論 0 360
  • 文/不壞的土叔 我叫張陵,是天一觀的道長晃财。 經(jīng)常有香客問我责球,道長,這世上最難降的妖魔是什么拓劝? 我笑而不...
    開封第一講書人閱讀 59,714評論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮嘉裤,結(jié)果婚禮上郑临,老公的妹妹穿的比我還像新娘。我一直安慰自己屑宠,他們只是感情好厢洞,可當我...
    茶點故事閱讀 68,724評論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著典奉,像睡著了一般躺翻。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上卫玖,一...
    開封第一講書人閱讀 52,328評論 1 310
  • 那天公你,我揣著相機與錄音,去河邊找鬼假瞬。 笑死陕靠,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的脱茉。 我是一名探鬼主播剪芥,決...
    沈念sama閱讀 40,897評論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼琴许!你這毒婦竟也來了税肪?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,804評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎益兄,沒想到半個月后锻梳,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,345評論 1 318
  • 正文 獨居荒郊野嶺守林人離奇死亡偏塞,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,431評論 3 340
  • 正文 我和宋清朗相戀三年唱蒸,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片灸叼。...
    茶點故事閱讀 40,561評論 1 352
  • 序言:一個原本活蹦亂跳的男人離奇死亡神汹,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出古今,到底是詐尸還是另有隱情屁魏,我是刑警寧澤,帶...
    沈念sama閱讀 36,238評論 5 350
  • 正文 年R本政府宣布捉腥,位于F島的核電站氓拼,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏抵碟。R本人自食惡果不足惜桃漾,卻給世界環(huán)境...
    茶點故事閱讀 41,928評論 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望拟逮。 院中可真熱鬧撬统,春花似錦、人聲如沸敦迄。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,417評論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽罚屋。三九已至苦囱,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間脾猛,已是汗流浹背撕彤。 一陣腳步聲響...
    開封第一講書人閱讀 33,528評論 1 272
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留尖滚,地道東北人喉刘。 一個月前我還...
    沈念sama閱讀 48,983評論 3 376
  • 正文 我出身青樓,卻偏偏與公主長得像漆弄,于是被迫代替她去往敵國和親睦裳。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 45,573評論 2 359

推薦閱讀更多精彩內(nèi)容