一、基礎(chǔ)概念
Hadoop包含HDFS和MapReduce冕房，HDFS實現(xiàn)分布式存儲躏啰，MapReduce實現(xiàn)數(shù)據(jù)分布式計算。
HDFS：
HDFS是由Namenode和Datanode組成耙册。Namenode負責(zé)管理文件系統(tǒng)的namespace和客戶端對文件的訪問给僵。Datanode負責(zé)管理節(jié)點上的存儲。在內(nèi)部详拙，一個文件其實分成一個或多個block帝际，這些block存儲在Datanode集合里。Namenode執(zhí)行文件系統(tǒng)的namespace操作饶辙，例如打開蹲诀、關(guān)閉、重命名文件和目錄弃揽，同時決定block到具體Datanode節(jié)點的映射脯爪。Datanode在Namenode的指揮下進行block的創(chuàng)建则北、刪除和復(fù)制。
yarn
NameNode Active
NameNode Standby
datanode
NodeManager
ResourceManager
JournalNode
QuorumPeerMain：zookeeper進程
FailoverController：NameNode故障轉(zhuǎn)移
二痕慢、安裝配置
- 下載安裝包解壓到：/usr/local/hadoop
- 環(huán)境變量：vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- 編輯配置文件
- core-site.xml
- 配置Service的URL地址尚揣、Hadoop集群臨時目錄等信息
- 使用 fs.default.name 還是 使用 fs.defaultFS ，要首先判斷是否開啟了 NN 的HA (namenode 的 highavaliable)掖举，如果開啟了nn ha快骗，那么就用fs.defaultFS，在單一namenode的情況下塔次，就用 fs.default.name
<configuration>
<!-- 配置HDFS的老大（namenode）的地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://cluster1</value>
</property>
<!-- 配置hadoop運行時產(chǎn)生的文件的目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tempdata</value>
</property>
<!-- 指定Zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
- hdfs-site.xml
配置Hadoop集群的HDFS別名方篮、通信地址、端口等信息俺叭。
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- namenode節(jié)點數(shù)據(jù)（即元數(shù)據(jù)）的存放位置恭取，可以指定多個目錄實現(xiàn)容錯，多個目錄用逗號分隔 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/hadoopdata/namenode</value>
</property>
<!-- datanode節(jié)點數(shù)據(jù)（即數(shù)據(jù)塊）的存放位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop/hadoopdata/datanode</value>
</property>
<!-- JournalNode的元數(shù)據(jù)在JournalNode上的存放位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/hadoopdata/journalnode</value>
</property>
<!-- 指定HDFS的NameService為cluster1熄守，需要和core-site.xml中保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>cluster1</value>
</property>
<!--cluster1中有兩個NameNode蜈垮，分別是hadoop01節(jié)點和hadoop02節(jié)點-->
<property>
<name>dfs.ha.namenodes.cluster1</name>
<value>hadoop01,hadoop02</value>
</property>
<!--hadoop01節(jié)點的RPC通訊地址-->
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop01</name>
<value>hadoop01:9000</value>
</property>
<!--hadoop02節(jié)點的RPC通訊地址-->
<property>
<name>dfs.namenode.rpc-address.cluster1.hadoop02</name>
<value>hadoop02:9000</value>
</property>
<!--hadoop01的http地址-->
<property>
<name>dfs.namenode.http-address.cluster1.hadoop01</name>
<value>hadoop01:50070</value>
</property>
<!--hadoop02的http地址-->
<property>
<name>dfs.namenode.http-address.cluster1.hadoop02</name>
<value>hadoop02:50070</value>
</property>
<!-- 指定NameNode的元數(shù)據(jù)在JournalNode上的共享存儲存放位置-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop03:8485;hadoop04:8485;hadoop05:8485/cluster1</value>
</property>
<!-- 指定 cluster1 出故障時，哪個實現(xiàn)類負責(zé)執(zhí)行故障切換-->
<property>
<name>dfs.client.failover.proxy.provider.cluster1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機制裕照，確保在任何給定時間只有一個NameNode處于活動狀態(tài) -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用sshfence機制時需要ssh免密登錄 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 開啟高可用攒发，故障自動轉(zhuǎn)移 -->
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 指定可以通過web訪問HDFS目錄-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!-- 保證數(shù)據(jù)恢復(fù)，通過0.0.0.0來保證內(nèi)網(wǎng)地址和外網(wǎng)地址都可以訪問-->
<property>
<name>dfs.journalnode.http-address</name>
<value>0.0.0.0:8480</value>
</property>
<property>
<name>dfs.journalnode.rpc-address</name>
<value>0.0.0.0:8480</value>
</property>
<!-- 通過ZKFailoverController來實現(xiàn)自動故障切換-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop03:2181,hadoop04:2181,hadoop05:2181</value>
</property>
</configuration>
- map-site.xml
計算框架資源管理名稱晋南、歷史任務(wù)訪問地址等信息惠猿。
<configuration>
<!--計算任務(wù)托管的資源框架名稱-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--配置 MapReduce JobHistory Server 地址，默認端口 1002000-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>0.0.0.0:10020</value>
</property>
<!--配置 MapReduce JobHistory Server Web 地址负间，默認端仁 19888 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>0.0.0.0:19888</value>
</property>
</configuration>
- yarn-site.xml
配置yarn-site.xml偶妖，Hadoop 資源管理通過 YARN 來完成資源相關(guān)分配 作業(yè)的調(diào)度與監(jiān)控及數(shù)據(jù)的共
享等。
