簡(jiǎn)述
hadoop 集群一共有4種部署模式杨帽,詳見《hadoop 生態(tài)圈介紹》窟哺。
完全分布式模式將hadoop部署在至少兩臺(tái)機(jī)子上涛菠,數(shù)據(jù)塊副本的數(shù)量通常也設(shè)置為2以上屹篓,擁有Namenode和Secondary Namenode疙渣。
所有四種模式的部署指南見:
hadoop 偽分布式搭建指南
hadoop 完全分布式搭建指南
hadoop HA高可用集群模式搭建指南
hadoop HA+Federation(聯(lián)邦)模式搭建指南
搭建過程
系統(tǒng)環(huán)境
Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬三臺(tái)主機(jī),內(nèi)存都為2G
節(jié)點(diǎn)角色
| IP |主機(jī)名 | 角色描述|
| --- | --- | --- | --- |
|192.168.100.201 | h01.vm.com | 主節(jié)點(diǎn) NameNode, job-history-server |
|192.168.100.202 |h02.vm.com |主節(jié)點(diǎn) Secondary-NameNode, (yarn)ResourceManager|
|192.168.100.203 | h03.vm.com| - |
另堆巧,以上所有節(jié)點(diǎn)都同時(shí)是 slave從節(jié)點(diǎn)妄荔,即 datanode泼菌。運(yùn)行Namenode和ResourceManager的節(jié)點(diǎn)即為主節(jié)點(diǎn)。
更新軟件源索引
- 分別在 h01 h02 h03 操作
sudo apt-get update
安裝基礎(chǔ)軟件
- 分別在 h01 h02 h03 操作
sudo apt-get install ssh
sudo apt-get install rsync
配置主機(jī)域名
- 分別在 h01 h02 h03 操作
sudo vim /etc/hostname # centos系統(tǒng)可能沒有該文件啦租,創(chuàng)建即可
h01.vm.com # 該節(jié)點(diǎn)主機(jī)名
將該文件內(nèi)容修改為對(duì)應(yīng)的主機(jī)名哗伯,例如 h01.vm.com
域名解析
- 搭建內(nèi)網(wǎng)DNS服務(wù)器(可選,但推薦)篷角,可閱讀vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html - 配置 /etc/hosts焊刹,將以下代碼追加到文件末尾即可(如搭建了DNS服務(wù)器,則跳過此步驟)
- 分別在 h01 h02 h03 操作
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03
!!! Ubuntu系統(tǒng)恳蹲,須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove不然可能會(huì)引起 hadoop虐块、zookeeper 節(jié)點(diǎn)間通信的問題
時(shí)間同步(可選)
在內(nèi)網(wǎng)中搭建 ntp 服務(wù)器,可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html
準(zhǔn)備jdk嘉蕾、hadoop軟件包
- 須到官方網(wǎng)站下載stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz - 所有的軟件包都統(tǒng)一解壓到 /home/vagrant/VMBigData 目錄下非凌,其中 vagrant 是linux系統(tǒng)的用戶名,由于我是使用 vagrant 虛擬的主機(jī)荆针,所以默認(rèn)是 vagrant
- 在 h01 操作
# 先在其中一臺(tái)機(jī)子操作,后面會(huì)使用 scp 命令或者其他方法同步到其他主機(jī)
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
配置軟連接颁糟,方便以后升級(jí)版本
- 在 h01 操作航背,后面通過 scp 同步到其他主機(jī)
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default
配置環(huán)境變量
- 分別在 h01 h02 h03 操作
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile
配置免密碼ssh登錄
hadoop主節(jié)點(diǎn)需要能遠(yuǎn)程登陸集群內(nèi)的所有節(jié)點(diǎn)(包括自己),以執(zhí)行命令棱貌。所以需要配置免密碼的ssh登陸玖媚。可選的ssh秘鑰對(duì)生成方式有rsa和dsa兩種婚脱,這里選擇rsa今魔。
- 分別在 h01 h02 ,即兩個(gè)主節(jié)點(diǎn)上操作
ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下來的命令行交互中障贸,直接按回車跳過輸入密碼
- 以下命令將本節(jié)點(diǎn)的公鑰 id_rsa.pub 文件的內(nèi)容追加到遠(yuǎn)程主機(jī)的 authorized_keys 文件中(默認(rèn)位于 ~/.ssh/)
ssh-copy-id vagrant@h01.vm.com # vagrant是遠(yuǎn)程主機(jī)用戶名
ssh-copy-id vagrant@h02.vm.com # vagrant是遠(yuǎn)程主機(jī)用戶名
ssh-copy-id vagrant@h03.vm.com
- 在 h01 h02 上測(cè)試無密碼 ssh 登錄到 h01 h02 h03
ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com
!!! 注意使用rsa模式生成密鑰對(duì)時(shí)错森,不要輕易覆蓋原來已有的,確定無影響時(shí)方可覆蓋 !!!
配置從節(jié)點(diǎn)
在 slaves 文件中配置的主機(jī)即為從節(jié)點(diǎn)篮洁,將自動(dòng)運(yùn)行datanode服務(wù)
- 在 h01 操作涩维,后面通過 scp 同步到其他主機(jī)
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com
h02.vm.com
h03.vm.com
建立存儲(chǔ)數(shù)據(jù)的相應(yīng)目錄
- 在 h01 操作,后面通過 scp 同步到其他主機(jī)
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode
mkdir -p /home/vagrant/VMBigData/hadoop/data/namesecondary
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs
配置hadoop參數(shù)
在 h01 操作袁波,后面通過 scp 同步到其他主機(jī)
- etc/hadoop/hadoop-env.sh
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
- etc/hadoop/mapred-env.sh
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<!-- 指定hdfs的nameservice為h01 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://h01.vm.com:9000</value>
</property>
<!-- 指定hadoop數(shù)據(jù)存儲(chǔ)目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value>
</property>
</configuration>
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<property>
<name>dfs.replication</name>
<!-- 單機(jī)版的一般設(shè)為1瓦阐,若是集群,一般設(shè)為3 -->
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<!-- 創(chuàng)建的namenode文件夾位置篷牌,如有多個(gè)用逗號(hào)隔開睡蟋。配置多個(gè)的話,每一個(gè)目錄下數(shù)據(jù)都是相同的枷颊,達(dá)到數(shù)據(jù)冗余備份的目的 -->
<value>file:///home/vagrant/VMBigData/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<!-- 創(chuàng)建的datanode文件夾位置戳杀,多個(gè)用逗號(hào)隔開该面,實(shí)際不存在的目錄會(huì)被忽略 -->
<value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value>
</property>
<!-- 配置Secondary NameNode在另外一個(gè)節(jié)點(diǎn)上,該節(jié)點(diǎn)也將作為主節(jié)點(diǎn)之一 -->
<property>
<name>dfs.http.address</name>
<value>h01.vm.com:50070</value>
<description>Secondary get fsimage and edits via dfs.http.address</description>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>h02.vm.com:50090</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///home/vagrant/VMBigData/hadoop/data/hdfs/namesecondary</value>
</property>
</configuration>
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>h02.vm.com</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<!-- 打開日志聚合功能豺瘤,這樣才能從web界面查看日志 -->
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<!-- 聚合日志最長(zhǎng)保留時(shí)間 -->
<value>86400</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<!-- NodeManager總的可用內(nèi)存吆倦,這個(gè)要根據(jù)實(shí)際情況合理配置 -->
<value>1024</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<!-- MapReduce作業(yè)時(shí),每個(gè)task最少可申請(qǐng)內(nèi)存 -->
<value>256</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<!-- MapReduce作業(yè)時(shí)坐求,每個(gè)task最多可申請(qǐng)內(nèi)存 -->
<value>512</value>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<!-- 可申請(qǐng)使用的虛擬內(nèi)存蚕泽,相對(duì)于實(shí)際使用內(nèi)存大小的倍數(shù)。實(shí)際生產(chǎn)環(huán)境中可設(shè)置的大一些桥嗤,如4.2 -->
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<!-- 中間結(jié)果存放位置须妻。注意,這個(gè)參數(shù)通常會(huì)配置多個(gè)目錄泛领,已分?jǐn)偞疟PIO負(fù)載荒吏。 -->
<value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<!-- 日志存放位置。注意渊鞋,這個(gè)參數(shù)通常會(huì)配置多個(gè)目錄绰更,已分?jǐn)偞疟PIO負(fù)載。 -->
<value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.resource.mb</name>
<!-- 默認(rèn)值為 1536,可根據(jù)需要調(diào)整锡宋,調(diào)小一些也是可接受的 -->
<value>512</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<!-- 每個(gè)map task申請(qǐng)的內(nèi)存儡湾,每一次都會(huì)實(shí)際申請(qǐng)這么多 -->
<value>384</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<!-- 每個(gè)map task中的child jvm啟動(dòng)時(shí)參數(shù),需要比 mapreduce.map.memory.mb 設(shè)置的小一些 -->
<!-- 注意:map任務(wù)里不一定跑java执俩,可能跑非java(如streaming) -->
<value>-Xmx256m</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>384</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx256m</value>
</property>
<property>
<name>mapreduce.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapreduce.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.child.java.opts</name>
<!-- 默認(rèn)值為 -Xmx200m徐钠,生產(chǎn)環(huán)境可以設(shè)大一些 -->
<value>-Xmx384m</value>
</property>
<property>
<name>mapreduce.task.io.sort.mb</name>
<!-- 任務(wù)內(nèi)部排序緩沖區(qū)大小 -->
<value>128</value>
</property>
<property>
<name>mapreduce.task.io.sort.factor</name>
<!-- map計(jì)算完全后的merge階段,一次merge時(shí)最多可有多少個(gè)輸入流 -->
<value>100</value>
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<!-- reuduce shuffle階段并行傳輸數(shù)據(jù)的數(shù)量 -->
<value>50</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>h01.vm.com:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>h01.vm.com:19888</value>
</property>
</configuration>
將hadoop所需文件同步到其他主機(jī)
- 在 h01 上操作
scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant
!!! 注意:default 軟連接需要重建 !!!
格式化namenode
- 在 h01 namenode 上執(zhí)行
hdfs namenode -format
!!! 注意僅在首次啟動(dòng)時(shí)執(zhí)行役首,因?yàn)榇嗣顣?huì)刪除hadoop集群所有的數(shù)據(jù) !!!
啟動(dòng)hadoop集群尝丐,方法1(只能啟動(dòng)當(dāng)前機(jī)器的服務(wù)):
啟動(dòng)NameNode守護(hù)進(jìn)程
- 在 h01 namenode 操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start namenode
# sbin/hadoop-daemon.sh --script hdfs stop namenode # 停止
啟動(dòng)所有從節(jié)點(diǎn)的DataNode守護(hù)進(jìn)程
- 在 h01 h02 h03 操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start datanode
# sbin/hadoop-daemon.sh --script hdfs stop datanode # 停止
啟動(dòng)ResourceManager守護(hù)進(jìn)程
- 在 h02 resourcemanager 操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start resourcemanager
# sbin/yarn-daemon.sh stop resourcemanager # 停止
啟動(dòng)所有從節(jié)點(diǎn)的NodeManager守護(hù)進(jìn)程
- 在 h01 h02 h03 操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start nodemanager
# sbin/yarn-daemon.sh stop nodemanager # 停止
啟動(dòng)MapReduce JobHistory Server(可選)
- 在 h01 job history server 上操作
cd /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
啟動(dòng)hadoop集群,方法2(推薦):
- 可在任意主節(jié)點(diǎn)操作衡奥,以啟動(dòng)namenod和datanode等服務(wù)
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 停止
- 在 h02 上啟動(dòng) yarn 服務(wù)
cd /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh # 停止
- 在 h01 上啟動(dòng) job history server(可選)
cd /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止
瀏覽服務(wù)啟動(dòng)情況
NameNode
http://192.168.100.201:50070
Secondary NameNode
http://192.168.100.202:50090
ResourceManager
http://192.168.100.202:8088
MapReduce JobHistory Server
http://192.168.100.201:19888
Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075
集群狀態(tài)
hdfs dfsadmin -report
hadoop進(jìn)程
jps