hadoop安裝文檔

a、安裝前準備步驟

• 操作系統(tǒng)：CentOS 7.0
• 版本：hadoop-2.7.3
• hadoop-2.7.3 下載鏈接
• 用戶：eoi
• 解壓: tar -zxvf hadoop-2.7.3.tar.gz

1、禁用防火墻

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

2绍弟、配置hostname

• vim /etc/hostname

vim /etc/hostname
每臺機器起相應的名字
例如：10.12.34.137
在/etc/hostname文件中寫入sunsk01即可

3、修改hosts文件

vim /etc/hosts
//添加下面內容
10.12.34.137   sunsk01
10.12.34.138   sunsk02
10.12.34.139   sunsk03
10.12.34.140   sunsk04
10.12.34.141   sunsk05

4腻格、JDK環(huán)境

• jdk 1.8 及以上
• JDK rpm下載鏈接
• <u><font color = "red">注意:卸載自帶OPEN JDK</font></u>
• rpm -qa | grep jdk
• rpm -e --nodeps ****

5串慰、ssh免密登錄

• ssh-keygen -t rsa
• cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
• scp ~/.ssh/authorized_keys user@IP:~/.ssh/

6栋盹、修改環(huán)境變量

vim ~/.bash_profile

//添加hadoop環(huán)境變量：

export HADOOP_HOME=/app/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

//讓配置生效

source ~/.bash_profile

7绞灼、創(chuàng)建hadoop存儲目錄

//在一臺namenode上創(chuàng)建即可
mkdir /data01/namenode
//在所有datanode上創(chuàng)建即可
mkdir /data01/datanode

• 沒有權限時

//注意：沒有權限使用root修改一下權限
user：root
//使用命令注意data01下是否有其他用戶的文件
//如果有單個修改文件

命令：chown -R eoi:eoi /data01

• b利术、hadoop配置文件配置

// hadoop配置文件目錄

cd /app/hadoop-2.7.3/etc/hadoop

-1、修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_131

• 2低矮、配置core-site.xml

vim core-site.xml
//在<configuration></configuration>增加hdfs的端口信息
//增加的內容如下:

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://sunsk01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data01/dfs/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

• 3印叁、配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
//在<configuration></configuration>增加內容:

   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>sunsk01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>sunsk01:19888</value>
    </property>

• 4、配置hdfs-site.xml

vim hdfs-site.xml
//在<configuration></configuration>增加內容:

   <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data01/dfs/nn</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data01/dfs/dn</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>sunsk01:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>

• 5商佛、配置yarn-site.xml

vim yarn-site.xml
//在<configuration></configuration>增加內容:

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>sunsk01:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>sunsk01:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>sunsk01:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>sunsk01:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>sunsk01:8088</value>
    </property>

• 6喉钢、配置slaves

vim slaves
//下面是所有hadoop datanode的主機名
用下面內容覆蓋slaves文件

sunsk01
sunsk02
sunsk03

• 將hadoop配置好的包發(fā)送到每臺datanode節(jié)點

//發(fā)送命令如下

scp -r /app/hadoop-2.7.3 sunsk02:/app
scp -r /app/hadoop-2.7.3 sunsk03:/app

c姆打、啟動hadoop

• 格式化namenode

//特別注意：只在namenode節(jié)點執(zhí)行操作良姆，不需要再dananone機器上執(zhí)行任何操作

hadoop namenode -format

• 啟動所有hadoop守護進程

//特別注意：只在namenode節(jié)點執(zhí)行操作，不需要再dananone機器上執(zhí)行任何操作

//因為配置了環(huán)境變量幔戏，所以在任何目錄都可以執(zhí)行start-all.sh腳本

start-all.sh

• d玛追、檢驗是否安裝成功

• 1、namenode節(jié)點檢測是否成功

命令:   jps

// jps后會出現一下五個進程

DataNode
NodeManager
ResourceManager
SecondaryNameNode
NameNode

• 2闲延、datanode節(jié)點檢測

命令:   jps

//jps后會有兩個進程
NodeManager
NameNode

進入：http://IP:50070
查看是否能進入

e痊剖、常用維護命令

jps 查看進程是否存在
http://IP:50070    是否能進去
執(zhí)行：hadoop fs -ls /
是否報錯，出現文件夾即為安裝成功

f垒玲、常見問題

啟動后會有進程缺少
查看hadoop下的log日志
解決問題后刪除每臺機器的/data01/dfs
重新格式化陆馁，重新啟動,重復C步驟

g、卸載

rm -rf /data01/dfs
rm -rf /app/hadoop-2.7.3