hadoop分布式安裝(CENTOS7)
001 集群機(jī)器
| 主機(jī) | ip |
|---|---|
| master | 10.13.7.43 |
| slave01 | 10.13.7.40 |
| slave02 | 10.13.7.41 |
1.修改主機(jī)名
hostnamectl set-hostname master
其他機(jī)器按照同樣的方法修改主機(jī)名
2.修改hosts文件
vi /etc/hosts
配置如下：
127.0.0.1 localhost
10.13.7.43 master
10.13.7.40 slave01
10.13.7.41 slave02
010 SSH免密登錄
1.測(cè)試ssh能否連接到本機(jī)
ssh localhost
2.不能連接的話蜓氨，下載openssh-server
yum -y install openssh-server
3.配置ssh免密登錄
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4.將master的公鑰發(fā)送到slave01和slave02鸳吸，實(shí)現(xiàn)ssh免密登錄slave01和slave02
scp ~/.ssh/id_rsa.pub root@slave01:~/.ssh/
scp ~/.ssh/id_rsa.pub root@slave02:~/.ssh/
5.ssh 連接slave01和slave02溶其，將master的公鑰添加到authorized_keys
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
6.測(cè)試master是否ssh免密登錄slave01和slave02
ssh slave01
011 安裝JAVA環(huán)境和Hadoop
1.安裝openJDK
yum -y install java-1.7.0-openjdk java-1.7.0-openjdk-devel
2.獲取JDK安裝路徑
rpm -ql java-1.7.0-openjdk-devel | grep '/bin/javac'
安裝路徑：/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64
3.添加JDK環(huán)境變量
vi /etc/profile
添加以下內(nèi)容：
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64
覺得路徑長(zhǎng)的話凝垛，可以修改路徑名。
4.生效環(huán)境變量
source /etc/profile
5.檢驗(yàn)配置是否生效
java -version
6.安裝hadoop
可以通過清華源https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下載hadoop窗悯，這里用的是hadoop 2.8.0版本区匣，下載完之后，解壓文件
tar -zxvf hadoop-2.8.0.tar.gz -C /usr/local
cd /usr/local/
mv hadoop-2.8.0 hadoop
8.添加hadoop環(huán)境變量
vi /etc/profile
添加以下內(nèi)容
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
8.生效環(huán)境變量
source /etc/profile
9.測(cè)試配置是否生效
hadoop
100 配置hadoop集群
1.進(jìn)入hadoop配置文件存放的目錄
cd /usr/local/hadoop/etc/hadoop
2.修改slave文件
vi slave
添加DATANODE的主機(jī)名
slave01
slave02
3.修改core-site.xml文件
vi core-site.xml
在< configuration>< /configuration>之間添加以下內(nèi)容
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
4.修改hdfs-site.xml文件
vi hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop/tmp/dfs/name</value>
</property>
5.復(fù)制mapred-site.xml.template蒋院，修改文件名為mapred-site.xml亏钩，并修改這個(gè)文件
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在< configuration>< /configuration>之間添加以下內(nèi)容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.修改yarn-site.xml文件
vi yarn-site.xml
在< configuration>< /configuration>之間添加以下內(nèi)容
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
7.將master配置好的hadoop文件夾打包復(fù)制到各slave節(jié)點(diǎn),master節(jié)點(diǎn)執(zhí)行
cd /usr/local
tar -zcf hadoop.tar.gz ./hadoop
scp hadoop.tar.gz slave01:/usr/local
scp hadoop.tar.gz slave02:/usr/local
8.創(chuàng)建namenode臨時(shí)文件存放路徑,僅master節(jié)點(diǎn)執(zhí)行
mkdir /usr/local/hadoop/tmp/dfs/name
8.在各slave節(jié)點(diǎn)解壓hadoop文件
cd /usr/local
tar -zxvf hadoop.tar.gz -C /usr/local
101 啟動(dòng)hadoop集群
1.master主機(jī)執(zhí)行啟動(dòng)命令
hdfs namenode -format
start-all.sh
2.運(yùn)行后，在master欺旧，slave01铸屉，slave02 執(zhí)行jps命令，查看運(yùn)行情況
maser：
slave01：
slave02：
ok!!!大功告成Ｇ卸恕！顷啼！
