前言
本篇作為備忘錄之用，僅記錄過程亡脑，不記錄詳細(xì)步驟叮盘，有空補(bǔ)充
-
hadoop 偽集群搭建
目標(biāo)：三臺(tái)虛擬機(jī)/容器
-
配置 網(wǎng)絡(luò)
主機(jī)名分別修改為 master slave1 slave2
-
配置網(wǎng)絡(luò)（固定 ip）
分別為 192.168.243.101-103
-
配置 /etc/hosts 本地解析
將主機(jī)名 解析到 對(duì)應(yīng)節(jié)點(diǎn)的 ip
-
配置 ssh
-
安裝 ssh
yum -y install openssh-server openssh-clients ssh-keygen 生成密鑰對(duì)
ssh-copy-id 節(jié)點(diǎn)名 ~/.ssh/id_rsa.pub 將公鑰發(fā)送給其他兩個(gè)節(jié)點(diǎn)
消除第一次 ssh 登錄的 yes
-
-
安裝 java 環(huán)境
- 下載解壓 jdk
- 修改
~/.bashrc或/etc/profile添加 JAVA_HOME 和 JRE_HOME - 有些 jdk 版本需要添加 CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin- 刷新配置
- 執(zhí)行
java -version驗(yàn)證
關(guān)閉防火墻 并 禁止防火墻開機(jī)啟動(dòng)
-
安裝 hadoop
下載 hadoop-2.6.5.tar.gz 并解壓安裝到
hadoop-2.6.5目錄下-
添加環(huán)境變量
export HADOOP_HOME={hadoop 安裝目錄}export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 刷新配置
執(zhí)行
hadoop version驗(yàn)證
-
配置 hadoop
進(jìn)入 hadoop 安裝目錄
創(chuàng)建 tmp logs hdfs/name hdfs/data 四個(gè)文件夾
-
進(jìn)入
{hadoop 安裝目錄}/etc/hadoop修改配置文件-
hadoop-env.sh
確保第25行 ${JAVA_HOME} 指向 jdk 安裝目錄
yarn-env.sh
slaves 修改為 slave1 和 slave2
mapred-site.xml
core-site.xml
hdfs-site.xml
yarn-site.xml
-
-
配置時(shí)間同步
- 安裝 ntpdate 同步軟件
yum -y install ntp ntpdate - 與網(wǎng)絡(luò)時(shí)間進(jìn)行同步
ntpdate cn.pool.ntp.org - 把時(shí)間寫入硬件進(jìn)行鎖定
hwclock --systohc
- 安裝 ntpdate 同步軟件
-
格式化 NameNode（由 master 執(zhí)行）
./hdfs namenode -format如果看到
successfully formatted和Exitting with status 0厢汹，則表示操作成功如果出錯(cuò)课舍，嘗試刪除 hdfs/name hdfs/data 文件夾塌西，重新格式化
-
啟動(dòng) hadoop
執(zhí)行
./start-all.sh（依次啟動(dòng) dfs 和 yarn）-
jps 查看啟動(dòng)的進(jìn)程
master
- NameNode # 即目錄
- SecondaryNameNode # 副節(jié)點(diǎn)，在 NameNode 故障時(shí)負(fù)責(zé)修復(fù) NameNode
- ResourceManager
slave
- DataNode # 數(shù)據(jù)
- NodeManager
-
打開 web 頁面
-
{master 節(jié)點(diǎn)的 ip}:50070
live Nodes 2
{master 節(jié)點(diǎn)的 ip}:8088
-
上傳下載文件
最后運(yùn)行 wordcount 程序
-
-
關(guān)閉集群
stop-all.sh關(guān)閉虛擬機(jī)前一定要先關(guān)閉集群筝尾，否則可能使集群崩潰
-
eclipse 連接 hadoop 集群
hive 操作數(shù)據(jù)庫
創(chuàng)建 flask 服務(wù)器
配置 hive 遠(yuǎn)程連接
前端 ajax
redis 緩存
