環(huán)境
- Ubuntu Kylin 14.04
- Hadoop 2.7.2 下載地址
- 安裝目錄
/home/hadoop/hadoop-2.7.2/ - hadoop 用戶創(chuàng)建之后一直使用 hadoop 用戶操作
添加 hadoop 用戶
- 創(chuàng)建 hadoop 用戶并使用bash作為shell
sudo useradd -m hadoop -s /bin/bash - 設(shè)置 hadoop 用戶密碼
sudo passwd hadoop - 為 hadoop 用戶增加管理員權(quán)限
sudo adduser hadoop sudo
配置環(huán)境
- 安裝 ssh 服務(wù)器
sudo apt-get install openssh-server - 安裝完成后遵馆，使用下面命令登錄本機(jī)
ssh localhost
按提示輸入密碼串慰，得到上圖提示則登錄成功庸蔼，之后使用exit退出登錄。 - 設(shè)置無密碼登錄
-
cd ~/.ssh/若目錄不存在，則再次執(zhí)行ssh localhost -
ssh-keygen -t rsa不用管提示，一直按回車 -
cat ./id_rsa.pub >> ./authorized_keys加入授權(quán) -
ssh localhost測試無密碼登錄
如上圖所示，沒有提示輸入密碼，則設(shè)置成功葬毫。
-
安裝 Java 環(huán)境
- 安裝 OpenJDK 7
sudo apt-get install openjdk-7-jre openjdk-7-jdk -y - 查找安裝路徑
dpkg -L openjdk-7-jdk | grep '/bin/javac'會匹配出一個結(jié)果，去掉/bin/javac即可 - 設(shè)置 JAVA_HOME
vim ~/.bashrc在文件最前面添加如下一行代碼
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 - 使環(huán)境變量生效
source ~/.bashrc測試環(huán)境變量
如上圖所示屡穗，設(shè)置成功贴捡。
安裝 Hadoop
- 下載
cd ~/ wget http://mirrors.cnnic.cn/apache/hadoop/common/stable2/hadoop-2.7.2.tar.gz - 解壓
tar -zxf hadoop-2.7.2.tar.gz帶 v 則會打印詳細(xì)信息到終端 - 修改文件夾屬性
sudo chown hadoop:hadoop -R /home/hadoop - 檢查是否安裝成功
cd /home/hadoop/hadoop-2.7.2
./bin/hadoop version
如上圖所示，安裝成功鸡捐。
配置偽分布式
-
core-site.xml
-
hdfs-site.xml
-
mapred-site.xml
-
yarn-site.xml
設(shè)置 HADOOP_HOME
vim ~/.bashrc在 JAVA_HOME 下添加如下兩行
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
-
格式化 NameNode
./bin/hdfs namenode -format在HADOOP_HOME目錄下執(zhí)行
-
開啟 NameNode 和 DataNode 守護(hù)進(jìn)程
./sbin/start-dfs.sh
使用jps查看進(jìn)程情況栈暇，如上圖所示。
啟動成功后箍镜，可以登錄 http://localhost:50070 查看信息源祈，如圖
-
啟動 YARN
./sbin/start-yarn.sh啟動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver啟動歷史服務(wù)器，才能在WEB中查看任務(wù)運(yùn)行情況色迂。
如上圖所示香缺，則啟動成功。
總結(jié)
- 安裝打時(shí)候百度了很多
- 安裝過程很順利歇僧，沒有碰到什么錯誤
- 推薦一篇后來找到的好文章图张，點(diǎn)擊這里跳轉(zhuǎn)
