準備工作
1.共享文件的設(shè)置:
進入VMware station,進入編輯虛擬機設(shè)置界面 選項-共享文件夾音半,點擊右邊的添加琳袄,設(shè)置你的共享文件夾的路徑,此文件夾的內(nèi)容都和Ubuntu共享澎办。
然后進入虛擬機嘲碱,打開終端輸入以下命令:
sudo apt-get install open-vm-dkms 一路按enter鍵通過金砍。
sudo mount -t vmhgfs .host:/ /mnt/hgfs 這樣/mnt/hgfs下便有了與windows的共享目錄
為了每次開機自動掛載共享目錄,在/etc/init.d/open-vm-tools末尾增加一行:
sudo mount -t vmhgfs .host:/ /mnt/hgfs (host:/ 處有空格)
設(shè)置好共享文件夾后麦锯,打開你的Ubuntu恕稠,在/mnt/hgfs路徑下出現(xiàn)你的文件,說明共享文件夾設(shè)置成功扶欣。
2.固定IP地址
在虛擬機的System-Settings(設(shè)置)料祠,點network,打開 wired-options-IPV4
Settings-method:manual,->
Address 192.168.228.200
netmask 255.255.255.0
gateway 192.168,228.2
一骆捧、安裝JDK
在Windows下,前往官網(wǎng)下載JDK(當前官網(wǎng)的最新版本jdk1.8.0_05)并把下載好的JDK放在設(shè)置的共享文件夾下
1.在Ubuntu中髓绽,在 /mnt/hgfs下找到JDK壓縮包進行解壓:
sudo tar zxvf jdk-8u5-linux-x64.gz /usr/local/
2.修改環(huán)境變量
sudo gedit /etc/profile
然后在根據(jù)提示輸入用戶密碼即可敛苇,然后在文件最下面添加如下:
export JAVA_HOME=/usr/local/jdk1.8.0_101
export PATH=${JAVA_HOME}/bin:$PATH
保存退出。
3.配置默認jdk版本
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/java 300
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/javac 300
sudo update-alternatives --config java
4.驗證JDK安裝是否成功
java -version
若出現(xiàn)以下提示信息顺呕,表明安裝成功枫攀。
二.安裝hadoop
同樣,首先在Windows下株茶,前往官網(wǎng)下載好hadoop的壓縮包来涨,放于共享文件夾下
1.在Ubuntu中對其進行解壓,并解壓到相應(yīng)目錄。
sudo tar zxvf hadoop2.7.1.gz /usr/local/
2.配置hadoop的jdk路徑
cd /home/hadoop/hadoop-2.7.1/etc/Hadoop
打開hadoop-env.sh文件
sudo gedit hadoop-env.sh
3.打開后
替換exportJAVA_HOME=${JAVA_HOME}為如下:
export JAVA_HOME=/usr/local/jdk1.8.0_05
同樣启盛,配置yarn-env.sh蹦掐,在里面加入:
export JAVA_HOME=/usr/local/jdk1.8.0_05
三.配置Hadoop環(huán)境變量(配置xml文件)
在core-site.xml、hdfs-site.xml驰徊、mapred-site.xml笤闯、yarn-site.xml文件中做相應(yīng)配置:
四 . 格式化Hadoop文件系統(tǒng)HDFS并啟動Hadoop
- HDFS格式化
初次運行的初始化:
進入hadoop的根目錄:
cd hadoop/hadoop-2.6
初始化:
./bin/hdfs namenode -format
2.啟動hadoop
sbin/start-dfs.sh
sbin/start-yarn.sh
或
sbin/start-all.sh
3.如果安裝成功,在master機上輸入jps后結(jié)果如下:
4.測試 (此環(huán)節(jié)容易瀏覽器不能上網(wǎng) 解決方法:固定IP)
在Ubuntu里棍厂,找到瀏覽器并輸入網(wǎng)址 http://master:50070 可以看到hdfs的信息颗味。
在瀏覽其中輸入:http://master:8088 可以看到hadoop的信息
五.安裝免密碼登錄SSH
- 修改主機名
sudo gedit /etc/network/interfaces
(1)臨時修改
sudo hostname master
(2)永久修改:
sudo gedit /etc/hostname 修改后重啟生效
2.記下本機的ip
查看本機ip:
ifconfig
3.配置主機信息:
sudo gedit /etc/hosts
把本機的ip地址和主機名進行修改
4.關(guān)閉防火墻
若要關(guān)閉Ubuntu系統(tǒng)的防火墻功能,則執(zhí)行命令:
sudo ufw disable
之后牺弹,系統(tǒng)提示“防火墻在系統(tǒng)啟動時自動禁用”浦马。
執(zhí)行以下命令,重新啟動虛擬機张漂。
sudo reboot now
- 安裝SSH服務(wù)
sudo apt-get install openssh-server
- 檢查SSH服務(wù)是否啟動
sudo ps -e | grep sshd
- 生成RSA密鑰(包括私鑰和公鑰)
ssh-keygen -t rsa
- 寫入秘鑰信息
cd ~/.ssh
cat id_rsa.pub >> authorized_keys (把id_rsa.pub追加到授權(quán)的key里面去)
scp authorized_keys master:~/.ssh/ (將生成的authorized_keys文件拷貝到slave1主機相同的文件夾下)
成功安裝后晶默,即可主節(jié)點切換到從節(jié)點可不用輸密碼,效果為:
1.首先必須啟動主節(jié)點和從節(jié)點的hadoop,并jps出現(xiàn)相應(yīng)節(jié)點:
主節(jié)點:
從節(jié)點:
2.SSH主節(jié)點切換到從節(jié)點: