分三步走:
一、機(jī)器的規(guī)劃
datanode 和nodemanager每臺(tái)機(jī)器都搭配 一個(gè)作為數(shù)據(jù)存儲(chǔ) 淮逻,一個(gè)數(shù)據(jù)分析
領(lǐng)導(dǎo)者: 一號(hào)機(jī)分配namenode
二號(hào)機(jī) resourcemanager
三號(hào)機(jī)secondarymanager
一號(hào)機(jī)多一個(gè)historyserver
二爬早、搭建
分三小步:1.前期準(zhǔn)備
2.修改那三個(gè)-env.sh文件
3.修改相關(guān)的 -site.xml文件
開始:
解壓到app目錄下, 然后刪除share下的doc
修改的三個(gè)文件:
1· hadoop-env.sh
2· yarn-env.sh
3· mapred-env.sh文件
配置上java 的路徑
export JAVA_HOME="java的解壓路徑"
然后是修改四個(gè)-site.xml文件 請(qǐng)參考《hadoop的搭建筆記》那里
1.core-site.xml
2.hdfs-site.xml
3.yarn-site.xml
4.mapred-site.xml
1.core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lyanmei001:8020</value> //一個(gè)默認(rèn)的入口
</property>
<property>
<name>hadoop.tmp.dir</name> //緩存目錄
<value>/opt/moduels/hadoop-2.5.0/data/tmp</value> //沒(méi)有這個(gè)目錄 需要去先把這個(gè)目錄建好
</property>
</configuration>
2.hdfs-site.xml
<property>
<name>dfs.replication</name> //待定 應(yīng)該如圖配置的是權(quán)限是否開啟
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> //secondarynamenode的配置
<value>yanmei003:50090</value> //放到的三號(hào)機(jī)上面
</property>
3.mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property> //歷史服務(wù)器 在一號(hào)機(jī)上 所以要加上
<name>mapreduce.jobhistory.address</name>
<value>yanmei001:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>yanmei001:19888</value>
</property>
記得改mapred-site.xml的名字
用mv 移動(dòng)的時(shí)候就可以改名了
4.yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>yanmei002</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name> //緩存時(shí)間
<value>604800</value>
</property>
</configuration>
解釋點(diǎn):
<property>
<name>yarn.resourcemanager.hostname</name> //resourcemanager 在2號(hào)機(jī)器上 yanmei002
<value>yanmei002</value>
</property>
到這搭建就完成了 启妹,不過(guò)只是在一號(hào)機(jī)器上搭建了 筛严,
其他機(jī)器怎么辦了,兩個(gè)方法 :
1.去解壓重復(fù)以上步驟
2.直接拷貝過(guò)去 (先在個(gè)機(jī)器上建好存儲(chǔ)拷貝內(nèi)容的文件夾)
命令: scp -r hadoop-2.5.0/ yanmei002:/opt/app //2號(hào)機(jī)器
scp -r hadoop-2.5.0/ yanmei003:/opt/app //3號(hào)機(jī)器
完了以后記得格式化namenode
bin/hdfs namenode -format
查看data/tmp文件
第三步饶米、啟動(dòng)各個(gè)進(jìn)程
按照機(jī)器規(guī)劃來(lái)啟動(dòng)各個(gè)進(jìn)程
啟動(dòng)hadoop類型:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode
啟動(dòng)yarn:
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
啟動(dòng)歷史服務(wù)器:
啟動(dòng):sbin/mr-jobhistory-daemon.sh start historyserver
關(guān)閉命令:
sbin/mr-jobhistory-daemon.sh stop historyserver