環(huán)境：windows10瘸味、virtualBox、centos6.8彻坛、hadoop2.6.0、 jdk1.7.0_79踏枣、mysql
本文主要分為4大塊昌屉，分別是virtualbox下centos安裝、hadoop安裝茵瀑、hive安裝间驮。
virtualbox下centos安裝
參見(jiàn)網(wǎng)址：
http://blog.csdn.net/risingsun001/article/details/37934975
特別提醒：
virtualbox安裝centos的時(shí)候需要設(shè)置內(nèi)存大概為1G左右，否則centos不會(huì)顯示圖形化操作界面马昨。
virtualbox啊裝centos的時(shí)候網(wǎng)絡(luò)選擇橋接模式
啟動(dòng)centos后需要設(shè)置連接網(wǎng)絡(luò)
centos下hadoop安裝
特別提醒：
安裝hadoop的需要注意jdk竞帽、hadoop的版本，因?yàn)檫@樣子網(wǎng)上相同的資料會(huì)比較好找鸿捧，本次安裝使用的是hadoop2.6.0屹篓、 jdk1.7.0_79。
安裝hadoop需要理解下hadoop之間的免密登錄的概念匙奴，hosts相關(guān)的修改等堆巧，都是比較細(xì)節(jié)的內(nèi)容，但是容易踩坑饥脑。
參考文章：
安裝介紹：http://www.powerxing.com/install-hadoop-cluster/
安裝步驟（好文強(qiáng)力推薦）：http://www.cnblogs.com/kevinq/p/5101679.html
免密登錄：http://blog.csdn.net/w12345_ww/article/details/51910030
hadoop端口：http://www.cnblogs.com/tnsay/p/5753838.html
機(jī)器配置
192.168.0.112 lebron1 作為master
192.168.0.113 lebron2 作為slave
安裝jdk
查看已經(jīng)安裝的jdk ? rpm -qa | grep jdk?
卸載已經(jīng)安裝的jdk ? rpm remove -y xxx
下載jdk安裝包 ? wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz
安裝jdk ?解壓jdk-7u79-linux-x64.tar.gz到/opt/jdk1.7.0_79 并配置/etc/profile后執(zhí)行source /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=./:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin
配置hosts文件
192.168.0.112 lebron1
192.168.0.113 lebron2
建立hadoop賬號(hào)
新增賬號(hào) useradd hadoop
修改密碼 passwd hadoop
新增目錄 mkdir /usr/local/hadoop
修改權(quán)限 chmod 777 –R /usr/local/hadoop
hadoop免密登錄
以下為lebron1機(jī)器的操作，lebron2機(jī)器的操作相同
su hadoop 切換到hadoop賬戶
ssh-keygen -t rsa 生成密鑰文件id_rsa和id_rsa.pub
拷貝lebron1的id_rsa.pub內(nèi)容到lebron2機(jī)器的authorized_keys
su 權(quán)限下修改/etc/ssh/sshd_config
RSAAuthentication ?yes
PubkeyAuthentication ?yes
AuthorizedKeysFile ? .ssh/authorized_keys
重啟sshd service sshd restart
測(cè)試免密連接 ssh lebron1 或 ssh lebron2
安裝hadoop
wget http://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz
解壓到hadoop目錄 /usr/local/hadoop/hadoop-2.6.0
修改/etc/profile新增hadoop環(huán)境變量并執(zhí)行source /etc/profile使生效
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
解決啟動(dòng)問(wèn)題：WARN util.NativeCodeLoader: Unable to loadnative-hadoop libraryforyour platform...using builtin-java classes where applicable
wget http://dl.bintray.com/sequenceiq/sequenceiq-bin/:hadoop-native-64-2.6.0.tar
tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib
tar -xvf hadoop-native-64-2.6.0.tar -C /usr/local/hadoop/hadoop-2.6.0/lib/native
ps:以下操作都在cd /usr/local/hadoop/hadoop-2.6.0/etc/hadoop進(jìn)行
配置可以參見(jiàn)鏈接：http://www.cnblogs.com/kevinq/p/5101679.html
修改hadoop-env.sh文件
export JAVA_HOME=/opt/jdk1.7.0_79
修改yarn-env.sh文件
export JAVA_HOME=/opt/jdk1.7.0_79
修改core-site.xml文件
修改hdfs-site.xml文件
修改mapred-site.xml文件
修改yarn-site.xml文件
配置masters和slaves文件
vim slaves 新增slave節(jié)點(diǎn)
向各節(jié)點(diǎn)復(fù)制hadoop
將配置的hadoop2.6.0復(fù)制到各個(gè)節(jié)點(diǎn)懦冰，建議通過(guò)scp命令
格式化namenode
hadoop namenode -format灶轰，第一次啟動(dòng)的時(shí)候需要執(zhí)行
啟動(dòng)hadoop和yarn
cd /usr/local/hadoop/hadoop-2.6.0/sbin
./start-all.sh
用jps檢驗(yàn)各后臺(tái)進(jìn)程是否成功啟動(dòng)
PS:查看日志確認(rèn)下是否沒(méi)有報(bào)錯(cuò)，如果有報(bào)錯(cuò)肯定是某些地方配置沒(méi)有對(duì)刷钢，重新網(wǎng)上找資料修復(fù)即可笋颤，如果完全沒(méi)有問(wèn)題可以通過(guò)hadoop的shell命令操作檢驗(yàn)一下。
hive安裝
參見(jiàn)：http://blog.csdn.net/u014591781/article/details/52895176
