Hadoop有三種工作方式：本地模式溪掀，偽分布模式和全分布模式媳瞪。它們?nèi)叩奶攸c(diǎn)分別是：本地模式只需要一臺(tái)機(jī)器因谎，使用的是本地文件系統(tǒng)而不是HDFS文件系統(tǒng)亏推，功能是用于測(cè)試MapReduce程序；偽分布模式也只需要一臺(tái)機(jī)器叁巨，使用的是HDFS文件系統(tǒng)斑匪，在一臺(tái)機(jī)器上模擬全分布模式的全部功能，用于開(kāi)發(fā)測(cè)試Hadoop程序俘种；全分布模式需要多臺(tái)機(jī)器秤标，基于HDFS文件系統(tǒng)的主從分布式架構(gòu)绝淡，用于實(shí)際的生產(chǎn)環(huán)境宙刘。本節(jié)就來(lái)介紹一下Hadoop2.x本地模式的環(huán)境搭建過(guò)程。

實(shí)驗(yàn)環(huán)境：

VMware-workstation-full-14.1.1.28517.exe牢酵，提取碼：9zo6
CentOS-7-x86_64-DVD-1708.iso悬包，提取碼：dsoi
jdk-8u162-linux-x64.tar.gz，提取碼：nzpe
hadoop-2.4.1.tar.gz馍乙，提取碼：4wn0

Step 1：Linux環(huán)境準(zhǔn)備

1.關(guān)閉每臺(tái)主機(jī)的Selinux防火墻和iptables防火墻：

關(guān)閉Selinux：
臨時(shí)關(guān)閉：[root@localhost ~]# setenforce 0
永久關(guān)閉：[root@localhost ~]# vi /etc/selinux/config布近，
修改其中的參數(shù)：SELINUX=disabled，按Esc:qw保存退出丝格。

關(guān)閉iptables：
安裝服務(wù)：[root@master ~]# yum -y install iptables-services
臨時(shí)關(guān)閉：[root@master ~]# systemctl stop firewalld.service
永久關(guān)閉：[root@master ~]# systemctl disable firewalld.service

2.設(shè)置IP地址：

編輯網(wǎng)卡配置文件：[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改參數(shù)：BOOTPROTO=static
追加參數(shù)：
ONBOOT=yes
IPADDR=192.168.254.111
NETMASK=255.255.255.0
GATEWAY=192.168.254.2
DNS1=8.8.8.8
DNS2=119.29.29.29
重啟網(wǎng)絡(luò)服務(wù)：[root@localhost ~]# systemctl restart network.service
查看配置的IP地址：[root@localhost ~]# ip add 或者 [root@localhost ~]# ifconfig -a
測(cè)試IP是否可用：[root@localhost ~]# curl www.baidu.com 或者 [root@localhost ~]# ping www.baidu.com

3.設(shè)置hostname主機(jī)名：

方式1：[root@localhost ~]# hostnamectl set-hostname bigdata111
方式2：編輯配置文件：[root@localhost ~]# vi /etc/hostname撑瞧，清空內(nèi)容后寫(xiě)入：bigdata111
重新打開(kāi)終端會(huì)顯示新的主機(jī)名：[root@bigdata111 ~]#

4.設(shè)置主機(jī)名到IP的映射：

編輯hosts配置文件：[root@bigdata111 ~]# vi /etc/hosts
追加一行：192.168.254.111 bigdata111
測(cè)試主機(jī)名是否可用：[root@bigdata111 ~]# ping bigdata111

5.配置秘鑰認(rèn)證

（1）使用ssh-keygen工具生成秘鑰對(duì)：

[root@bigdata111 ~]# ssh-keygen -t rsa
私鑰：Your identification has been saved in /root/.ssh/id_rsa.
公鑰：Your public key has been saved in /root/.ssh/id_rsa.pub.

（2）將生成的公鑰發(fā)給自己：

[root@bigdata111 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@bigdata111

（3）測(cè)試秘鑰認(rèn)證是否成功：

[root@bigdata111 ~]# ssh root@bigdata111
Last login: Sat Apr 14 15:17:07 2018 from 192.168.254.111
[root@bigdata111 ~]# 登出
Connection to bigdata111 closed.

Step 2：安裝JDK

5.上傳JDK安裝文件

使用FTP工具如winscp或者filezilla將下載好的JDK安裝包jdk-8u162-linux-x64.tar.gz上傳到/root/tools/目錄中，該目錄是事先創(chuàng)建的显蝌。

[root@bigdata111 ~]# ls /root/tools/
jdk-8u162-linux-x64.tar.gz

6.解壓JDK安裝文件

進(jìn)入/root/tools/目錄预伺，將jdk安裝包解壓到/root/trainings/目錄中，該目錄也是事先創(chuàng)建的曼尊。

[root@bigdata111 ~]# cd /root/tools/
[root@bigdata111 tools]# pwd
/root/tools
[root@bigdata111 tools]# tar -zxvf jdk-8u162-linux-x64.tar.gz -C /root/trainings/

7.配置Java環(huán)境變量

[root@bigdata111 ~]# cd /root/trainings/jdk1.8.0_162/
[root@bigdata111 jdk1.8.0_162]# pwd
/root/trainings/jdk1.8.0_162
[root@bigdata111 jdk1.8.0_162]# vi /root/.bash_profile

在文件末尾追加如下內(nèi)容：

JAVA_HOME=/root/trainings/jdk1.8.0_162
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH

按Esc鍵并輸入:wq回車保存退出酬诀，使用source命令使配置文件立即生效：

[root@bigdata111 jdk1.8.0_162]# source /root/.bash_profile

8.測(cè)試JDK是否安裝成功

[root@bigdata111 jdk1.8.0_162]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

Step 3：安裝Hadoop

9.上傳Hadoop安裝文件

使用FTP工具如winscp或者filezilla將下載好的Hadoop2.x安裝包hadoop-2.4.1.tar.gz上傳到/root/tools/目錄中，該目錄是事先創(chuàng)建的骆撇。

[root@bigdata111 ~]# ls /root/tools/
hadoop-2.4.1.tar.gz jdk-8u162-linux-x64.tar.gz

10.解壓Hadoop安裝文件

進(jìn)入/root/tools/目錄瞒御，將hadoop安裝包解壓到/root/trainings/目錄中，該目錄也是事先創(chuàng)建的神郊。

[root@bigdata111 ~]# cd /root/tools/
[root@bigdata111 tools]# tar -zxvf hadoop-2.4.1.tar.gz -C /root/trainings/

11.配置Hadoop環(huán)境變量

[root@bigdata111 tools]# cd /root/trainings/hadoop-2.4.1/
[root@bigdata111 hadoop-2.4.1]# pwd
/root/trainings/hadoop-2.4.1
[root@bigdata111 hadoop-2.4.1]# vi /root/.bash_profile

在文件末尾追加如下內(nèi)容：

HADOOP_HOME=/root/training/hadoop-2.4.1
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

按Esc鍵并輸入:wq回車保存退出肴裙，使用source命令使配置文件立即生效：

[root@bigdata111 hadoop-2.4.1]# source /root/.bash_profile

12.配置Hadoop參數(shù)

進(jìn)入Hadoop配置文件目錄，編輯Hadoop-env.sh配置文件涌乳，加入JAVA_HOME的配置信息：

[root@bigdata111 hadoop]# pwd
/root/trainings/hadoop-2.4.1/etc/hadoop
[root@bigdata111 hadoop]# vi hadoop-env.sh

使用vi命令:set number打開(kāi)行號(hào)蜻懦，將第27行注釋掉(在行首加一個(gè)#即可)，然后在下面第28行加入下面的內(nèi)容：

export JAVA_HOME=/root/trainings/jdk1.8.0_162

按Esc鍵并輸入:wq回車保存退出爷怀。

Step 4：測(cè)試WordCount程序

因?yàn)楸镜啬Ｊ經(jīng)]有HDFS阻肩，直接從本地文件系統(tǒng)讀入數(shù)據(jù)，所以這里新建一個(gè)用于輸入數(shù)據(jù)的目錄/root/input/，創(chuàng)建一個(gè)數(shù)據(jù)文件data.txt烤惊。

[root@bigdata111 ~]# mkdir /root/input
[root@bigdata111 ~]# vi /root/input/data.txt
[root@bigdata111 ~]# cat /root/input/data.txt
I love Beijing
I love China
Beijing is the capital of China

Hadoop自帶的測(cè)試程序hadoop-mapreduce-examples-2.4.1.jar在如下的目錄：

[root@bigdata111 ~]# cd /root/trainings/hadoop-2.4.1/share/hadoop/mapreduce/
[root@bigdata111 mapreduce]# pwd
/root/trainings/hadoop-2.4.1/share/hadoop/mapreduce

執(zhí)行測(cè)試程序Jar包中的wordcount程序：

[root@bigdata111 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount >/root/input/data.txt /root/output/wc

可以通過(guò)打印出來(lái)的如下信息知道執(zhí)行進(jìn)度：

18/03/31 18:42:08 INFO mapreduce.Job: map 100% reduce 100%

執(zhí)行結(jié)束后可以在指定的輸出目錄中查看是否有_SUCCESS標(biāo)志文件來(lái)判斷是否執(zhí)行成功乔煞，如果執(zhí)行成功，可以在part-r-00000文件中查看到wordcount程序的結(jié)果柒室。

[root@bigdata111 mapreduce]# ll /root/output/wc/
總用量 4
-rw-r--r--. 1 root root 55 3月 31 18:42 part-r-00000
-rw-r--r--. 1 root root 0 3月 31 18:42 _SUCCESS
[root@bigdata111 mapreduce]# cat /root/output/wc/part-r-00000
Beijing 2
China 2
I 2
capital 1
is 1
love 2
of 1
the 1

至此渡贾，在CentOS7上搭建的Hadoop2.x本地模式的開(kāi)發(fā)環(huán)境已經(jīng)完成。祝你玩的愉快雄右！