本教程提供了從VMware的安裝開始到hadoop的偽分布式安裝离唐，再到eclipse的安裝配置的所有步驟氧秘，適合所有想入門hadoop的初學(xué)者邪锌。需要的工具可以到http://pan.baidu.com/s/1hstGdCg 密碼：8gfn下載。
環(huán)境
- 操作系統(tǒng):Ubuntu-16.04
- Hadoop版本:2.6.0
- JDK版本:1.8
虛擬機(jī)的安裝
-
安裝好VMware，打開VMware主界面扇售，點(diǎn)擊”創(chuàng)建新的虛擬機(jī)”
-
選擇”自定義”然后下一步
-
直接下一步
-
選擇”稍后安裝操作系統(tǒng)”
-
選擇”Linux”系統(tǒng)版本選擇”Ubuntu 64位”
-
選擇合適的位置安裝(盡量不要使用中文路徑)
-
配置好的電腦可以多分配處理器，不過就這樣也暫時(shí)能跑
-
下一步
-
下一步
-
下一步
-
下一步
-
這里要選”將虛擬磁盤儲(chǔ)存為單個(gè)文件”
-
下一步
-
點(diǎn)擊”自定義硬件”嚣艇，使用ISO映像文件選擇Ubuntu的ISO文件的位置
-
完成后打開虛擬機(jī)承冰，選擇”中文簡(jiǎn)體”然后”安裝Ubuntu”(如果打不開虛擬機(jī)，可能是BIOS中設(shè)置問題食零，具體需要搜索自己的電腦的品牌設(shè)置)
-
勾上”安裝Ubuntu時(shí)下載更新”
-
點(diǎn)擊現(xiàn)在安裝困乒，接著點(diǎn)繼續(xù)
-
點(diǎn)擊繼續(xù)
-
點(diǎn)擊繼續(xù)
-
取個(gè)名字，設(shè)置好密碼贰谣，點(diǎn)繼續(xù)（我的主機(jī)名是tiny娜搂，為了方便你可以改成和我一樣）
-
等待安裝
-
安裝完畢，重啟就OK了
下載配置hadoop需要的各種工具
- 右鍵打開終端吱抚，先設(shè)置ROOT賬戶的密碼
sudo passwd root
- 更新下apt
sudo apt-get update
-
安裝VIM百宇，習(xí)慣VI的可以不用安裝
-
轉(zhuǎn)到VMware的菜單點(diǎn)擊虛擬機(jī)，選擇"安裝VMware tools"秘豹，系統(tǒng)會(huì)跳出一個(gè)VMware的安裝包携御，拉到Home下（第一次可以跳不出，可以找到左邊光盤的圖標(biāo)右鍵彈出既绕，然后再點(diǎn)一次"安裝VMware tools"）
- 解壓到當(dāng)前用戶目錄下(VMwareTools的版本會(huì)變,以具體安裝時(shí)為準(zhǔn),用)
tar zxvf VMwareTools-XXXX-3228253.tar.gz -C /home/tiny
-
切換到當(dāng)前用戶目錄啄刹，開始安裝，這里一直輸yes和按回車就好了
- 安裝完后重啟生效,現(xiàn)在就可以往虛擬機(jī)中直接傳輸文件和復(fù)制黏貼了,然后打開Ubuntu把壓縮包拉倒home中備用(相關(guān)壓縮包下載地址：http://pan.baidu.com/s/1bpLCFIR 密碼：cd9a)
安裝SSH配置凄贩，配置SSH無密碼登錄
- 安裝SSH服務(wù)
sudo apt-get install openssh-server
- 先登錄下ssh誓军，輸入密碼
ssh localhost
- 再退出
exit
- 這樣就有.ssh文件夾了，然后按下圖操作中間一直回車就行了
cd ~/.ssh
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
5.測(cè)試免密登陸
ssh localhost
安裝JDK
- 先創(chuàng)建文件夾準(zhǔn)備放JDK
sudo mkdir -p /usr/lib/jvm
- 解壓JDK到/usr/lib/jvm
sudo tar zxvf jdk-8u101-linux-x64.tar.gz -C /usr/lib/jvm - 配置環(huán)境變量
sudo vim /etc/profile - 最下面添加內(nèi)容然后保存（VIM按a鍵進(jìn)入輸入模式疲扎，按esc鍵再輸入:wq保存昵时，別的具體操作可以自行搜索)
#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5.使其生效
source /etc/profile
6.測(cè)試結(jié)果
java
安裝hadoop
- 解壓hadoop
sudo tar zxvf hadoop-2.6.0.tar.gz -C /usr/local
- 重命名下hadoop文件夾方便配置
sudo mv /usr/local/hadoop-2.6.0/ /usr/local/hadoop - 配置hadoop環(huán)境變量
#set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
4.使其生效
source /etc/profile
5.獲取hadoop文件夾權(quán)限(這里我的主機(jī)名是tiny,改為自己的主機(jī)名)
sudo chown -R tiny /usr/local/hadoop/
6.修改hadoop-env.sh,找到這一欄廓译，修改JAVA_HOME
cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh
7.修改core-site.xml(在<configuration>標(biāo)簽里添加)
vim core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
8.修改hdfs-site.xml
vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
9.修改mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
10.修改 yarn-site.xml
vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
11.配置完回到主文件夾
12.格式化
hadoop namenode -format
成功的話，會(huì)看到 “successfully formatted” 和 “Exitting with status 0” 的提示债查，若為 “Exitting with status 1” 則是出錯(cuò)
13.先啟動(dòng)start-dfs.sh
sbin/start-dfs.sh
14.再啟動(dòng)start-yarn.sh
sbin/start-yarn.sh
15.查看jps
jps
安裝eclipse
-
在 Ubuntu 中安裝 Eclipse，可從 Ubuntu 的軟件中心直接搜索安裝瓜挽，在桌面左側(cè)任務(wù)欄盹廷，點(diǎn)擊“Ubuntu軟件中心”
-
在右上角搜索欄中搜索 eclipse，在搜索結(jié)果中單擊 eclipse久橙，并點(diǎn)擊安裝
- 安裝 Hadoop-Eclipse-Plugin
unzip -qo hadoop2x-eclipse-plugin-master.zip -d /home/tiny
sudo cp ~/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/
/usr/lib/eclipse/eclipse -clean
-
配置Hadoop-Eclipse-Plugin
在繼續(xù)配置前請(qǐng)確保已經(jīng)開啟了 Hadoop俄占。
第一步：選擇 Window 菜單下的 Preference。
此時(shí)會(huì)彈出一個(gè)窗體淆衷，窗體的左側(cè)會(huì)多出 Hadoop Map/Reduce 選項(xiàng)缸榄，點(diǎn)擊此選項(xiàng)，選擇 Hadoop 的安裝目錄
第二步：切換 Map/Reduce 開發(fā)視圖祝拯，選擇 Window 菜單下選擇 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other）甚带，彈出一個(gè)窗體，從中選擇 Map/Reduce 選項(xiàng)即可進(jìn)行切換佳头。
第三步：建立與 Hadoop 集群的連接鹰贵，點(diǎn)擊 Eclipse軟件右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵康嘉，選擇 New Hadoop Location碉输。
在跳出來的面板里改成下圖的設(shè)置
可以直接到看HDFS的文件結(jié)構(gòu)了
