1、官網(wǎng)下載hadoop-2.6.5.tar.gz 安裝包(下載地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop- 2.6.5/hadoop-2.6.5.tar.gz)孕蝉,上傳到虛擬機(jī)沿量。
2耸三、將hadoop包進(jìn)行解壓縮:tar -zxvf hadoop-2.6.5.tar.gz
3昼牛、修改hadoop-env.sh(告訴其java的運(yùn)行環(huán)境):
編輯vim hadoop-2.6.5/etc/hadoop/hadoop-env.sh
修改export JAVA_HOME=/home/linux/java/jdk1.7.0_80
4、配置hadoop相關(guān)環(huán)境變量:
HADOOP_HOME=/home/linux/hadoop/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source /etc/profile
輸入hadoop命令泽铛,顯示以下命令:
修改hadoop-2.6.5/etc/hadoop/core-site.xml文件:
#所有節(jié)點(diǎn)都需添加此配置
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
hdfs系統(tǒng)會(huì)把用到的數(shù)據(jù)存儲(chǔ)在core-site.xml中由hadoop.tmp.dir指定壮韭,而這個(gè)值默認(rèn)位于/tmp/hadoop-${user.name}下面北发,
由于/tmp目錄在系統(tǒng)重啟時(shí)候會(huì)被刪除,所以應(yīng)該修改目錄位置喷屋。 修改core-site.xml(在所有站點(diǎn)上都修改)
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
執(zhí)行命令:hdfs namenode -format
--格式化namenode數(shù)據(jù)存儲(chǔ)目錄
創(chuàng)建hadoop/data
目錄
修改hadoop-2.6.5/etc/hadoop/hdfs-site.xml文件:
#指定數(shù)據(jù)存儲(chǔ)目錄
#master站點(diǎn)配置
<property>
<name>dfs.name.dir</name>
<value>/home/linux/tools/hadoop/data/namenode</value>
</property>
slave所有節(jié)點(diǎn)配置
<property>
<name>dfs.data.dir</name>
<value>/home/linux/tools/hadoop/data/datanode</value>
</property>
<property>
所有站點(diǎn)都配置
<name>dfs.tmp.dir</name>
<value>/home/linux/tools/hadoop/data/tmp</value>
</property>
#指定數(shù)據(jù)備份數(shù)
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
hadoop集群?jiǎn)?dòng)命令:
namenode執(zhí)行命令:
hadoop-daemon.sh start namenode
--啟動(dòng)namenode
datenode執(zhí)行命令:
hadoop-daemon.sh start datenode
--啟動(dòng)datenode
執(zhí)行命令:jps #查看啟動(dòng)進(jìn)程
hadoop集群關(guān)閉命令:
namenode執(zhí)行命令:
hadoop-daemon.sh stop namenode
--關(guān)閉namenode
datenode執(zhí)行命令:
hadoop-daemon.sh stopdatenode
--關(guān)閉datenode
--關(guān)閉防火墻琳拨,命令:systemctl stop firewalld
hadoop集群web監(jiān)控界面訪問(wèn)地址:http://master:50070
hadoop集群統(tǒng)一管理配置:
修改master節(jié)點(diǎn)下/hadoop/etc/hadoop/slaves文件:
vim /hadoop/etc/hadoop/slaves
添加datanode:
node1
node2
node3
在master上執(zhí)行命令:
start-dfs.sh #啟動(dòng)整個(gè)集群
(備注:建議對(duì)集群配置免密登錄(配置方法:http://www.reibang.com/p/e3308b9c3fbe);
因?yàn)槟J(rèn)啟動(dòng)會(huì)遠(yuǎn)程登錄到每個(gè)節(jié)點(diǎn)上進(jìn)行啟動(dòng)屯曹,包括自身主節(jié)點(diǎn)从绘,如果未配置則每次要手動(dòng)輸入每臺(tái)登錄的密碼寄疏。)
stop-dfs.sh #關(guān)閉整個(gè)集群