Hadoop的偽分布模式是在一臺機器上模擬全分布模式包括HDFS在內(nèi)的全部功能程帕，一般用于開發(fā)測試Hadoop程序授账。本節(jié)將來介紹一下Hadoop2.x偽分布模式的環(huán)境搭建過程痕鳍。

實驗環(huán)境：

VMware-workstation-full-14.1.1.28517.exe径簿，提取碼：9zo6
CentOS-7-x86_64-DVD-1708.iso饭冬，提取碼：dsoi
jdk-8u162-linux-x64.tar.gz，提取碼：nzpe
hadoop-2.4.1.tar.gz茎用，提取碼：4wn0

Step 1：Linux環(huán)境準(zhǔn)備

1.關(guān)閉每臺主機的Selinux防火墻和iptables防火墻：

關(guān)閉Selinux：
臨時關(guān)閉：[root@localhost ~]# setenforce 0
永久關(guān)閉：[root@localhost ~]# vi /etc/selinux/config
修改其中的參數(shù)：SELINUX=disabled遣总，按Esc:qw保存退出。

關(guān)閉iptables：
安裝服務(wù)：[root@master ~]# yum -y install iptables-services
臨時關(guān)閉：[root@master ~]# systemctl stop firewalld.service
永久關(guān)閉：[root@master ~]# systemctl disable firewalld.service

2.設(shè)置IP地址：

編輯網(wǎng)卡配置文件：
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改參數(shù)：
BOOTPROTO=static
ONBOOT=yes
追加參數(shù)：
IPADDR=192.168.254.112
NETMASK=255.255.255.0
GATEWAY=192.168.254.2
DNS1=8.8.8.8
DNS2=119.29.29.29
重啟網(wǎng)絡(luò)服務(wù)：[root@localhost ~]# systemctl restart network.service
查看配置的IP地址：[root@localhost ~]# ip add
或者 [root@localhost ~]# ifconfig -a
測試IP是否可用：[root@localhost ~]# curl www.baidu.com
或者 [root@localhost ~]# ping www.baidu.com

3.設(shè)置hostname主機名：

方式1：使用hostnamectl命令：
[root@localhost ~]# hostnamectl set-hostname bigdata112
方式2：編輯配置文件：
[root@localhost ~]# vi /etc/hostname
清空內(nèi)容后寫入：bigdata112
重新登錄系統(tǒng)會顯示新的主機名：
[root@bigdata112 ~]#

4.設(shè)置主機名到IP的映射：

編輯hosts配置文件：
[root@bigdata112 ~]# vi /etc/hosts
追加一行：192.168.254.112 bigdata112
測試主機名是否可用：
[root@bigdata112 ~]# ping bigdata112
PING bigdata112 (192.168.254.112) 56(84) bytes of data.
64 bytes from bigdata112 (192.168.254.112): icmp_seq=1 ttl=64 time=0.116 ms
64 bytes from bigdata112 (192.168.254.112): icmp_seq=2 ttl=64 time=0.078 ms
64 bytes from bigdata112 (192.168.254.112): icmp_seq=3 ttl=64 time=0.098 ms

5.配置秘鑰認(rèn)證

（1）使用ssh-keygen工具生成秘鑰對：

[root@bigdata112 ~]# ssh-keygen -t rsa
私鑰：Your identification has been saved in /root/.ssh/id_rsa.
公鑰：Your public key has been saved in /root/.ssh/id_rsa.pub.

（2）將生成的公鑰發(fā)給自己：

[root@bigdata112 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub root@bigdata112

（3）測試秘鑰認(rèn)證是否成功：

[root@bigdata112 ~]# ssh root@bigdata112
Last login: Sat Apr 14 16:00:52 2018 from 192.168.254.112
[root@bigdata112 ~]# 登出
Connection to bigdata112 closed.

Step 2：安裝JDK

5.上傳JDK安裝文件

使用FTP工具如winscp或者filezilla將下載好的JDK安裝包jdk-8u162-linux-x64.tar.gz上傳到/root/tools/目錄中轨功，該目錄是事先創(chuàng)建的旭斥。

[root@bigdata112 ~]# ls /root/tools/
jdk-8u162-linux-x64.tar.gz

6.解壓JDK安裝文件

進入/root/tools/目錄，將jdk安裝包解壓到/root/trainings/目錄中古涧，該目錄也是事先創(chuàng)建的垂券。

[root@bigdata112 ~]# cd /root/tools/
[root@bigdata112 tools]# pwd
/root/tools
[root@bigdata112 tools]# tar -zxvf jdk-8u162-linux-x64.tar.gz -C /root/trainings/

7.配置Java環(huán)境變量

[root@bigdata112 ~]# cd /root/trainings/jdk1.8.0_162/
[root@bigdata112 jdk1.8.0_162]# pwd
/root/trainings/jdk1.8.0_162
[root@bigdata112 jdk1.8.0_162]# vi /root/.bash_profile
在文件末尾追加如下內(nèi)容：
JAVA_HOME=/root/trainings/jdk1.8.0_162
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
[root@bigdata112 jdk1.8.0_162]# source /root/.bash_profile

8.測試JDK是否安裝成功

[root@bigdata112 jdk1.8.0_162]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

Step 3：安裝Hadoop

9.上傳Hadoop安裝文件

使用FTP工具如winscp或者filezilla將下載好的Hadoop2.x安裝包上傳到/root/tools/目錄中羡滑，該目錄是事先創(chuàng)建的菇爪。

[root@bigdata112 ~]# ls /root/tools/
hadoop-2.4.1.tar.gz jdk-8u162-linux-x64.tar.gz

10.解壓Hadoop安裝文件

進入/root/tools/目錄，將hadoop安裝包解壓到/root/trainings/目錄中啄栓，該目錄也是事先創(chuàng)建的娄帖。

[root@bigdata112 ~]# cd /root/tools/
[root@bigdata112 tools]# tar -zxvf hadoop-2.4.1.tar.gz -C /root/trainings/

11.配置Hadoop環(huán)境變量

[root@bigdata112 tools]# cd /root/trainings/hadoop-2.4.1/
[root@bigdata112 hadoop-2.4.1]# pwd
/root/trainings/hadoop-2.4.1
[root@bigdata112 hadoop-2.4.1]# vi /root/.bash_profile
在文件末尾追加如下內(nèi)容：
HADOOP_HOME=/root/trainings/hadoop-2.4.1
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
[root@bigdata112 hadoop-2.4.1]# source /root/.bash_profile

12.配置Hadoop參數(shù)

進入Hadoop配置文件目錄：
[root@bigdata112 hadoop]# pwd
/root/trainings/hadoop-2.4.1/etc/hadoop

(1)配置hadoop-env.sh文件：
[root@bigdata112 hadoop]# vi hadoop-env.sh
export JAVA_HOME=/root/trainings/jdk1.8.0_162

(2)配置hdfs-site.xml文件：
[root@bigdata112 hadoop]# vi hdfs-site.xml
<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

(3)配置core-site.xml文件：
[root@bigdata112 hadoop]# mkdir /root/trainings/hadoop-2.4.1/tmp
[root@bigdata112 hadoop]# vi core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.254.112:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/trainings/hadoop-2.4.1/tmp</value>
</property>
</configuration>

(4)配置mapred-site.xml文件：
將模板文件mapred-site.xml.template重命名位mapred-site.xml然后編輯：
[root@bigdata112 hadoop]# mv mapred-site.xml.template mapred-site.xml
[root@bigdata112 hadoop]# vi mapred-site.xml
<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5)配置yarn-site.xml文件：
[root@bigdata112 hadoop]# vi yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.254.112</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

13.對NameNode進行格式化

[root@bigdata112 hadoop]# hdfs namenode -format

出現(xiàn)下面的日志說明格式化成功：
18/04/01 01:35:17 INFO common.Storage: Storage directory
/root/training/hadoop-2.4.1/tmp/dfs/name has been successfully formatted.

14.啟動Hadoop偽分布模式：

[root@bigdata112 ~]# start-all.sh

啟動成功后昙楚，使用jps命令查看開啟的進程：

[root@bigdata112 ~]# jps
1605 ResourceManager
1304 DataNode
1881 NodeManager
1995 Jps
1228 NameNode
1471 SecondaryNameNode

使用命令行查看HDFS的狀態(tài)：

[root@bigdata112 ~]# hdfs dfsadmin -report

image

使用瀏覽器查看HDFS的狀態(tài)：http://192.168.254.112:50070

image

使用瀏覽器查看YARN的狀態(tài)：http://192.168.254.112:8088

image

15.停止Hadoop偽分布模式：

[root@bigdata112 ~]# stop-all.sh

Step 4：測試WordCount程序

(1)在HDFS上創(chuàng)建輸入目錄/input：

[root@bigdata112 ~]# hdfs dfs -mkdir /input

(2)將本地數(shù)據(jù)文件data.txt上傳至該目錄：

[root@bigdata112 ~]# hdfs dfs -put /root/input/data.txt /input

[root@bigdata112 ~]# hdfs dfs -ls /input
Found 1 items
-rw-r--r-- 1 root supergroup 60 2018-04-09 22:39 /input/data.txt

[root@bigdata112 ~]# hdfs dfs -cat /input/data.txt
I love Beijing
I love China
Beijing is the capital of China

(3)進入到Hadoop的示例程序目錄：

[root@bigdata112 ~]# cd trainings/hadoop-2.4.1/share/hadoop/mapreduce/
[root@bigdata112 mapreduce]# pwd
/root/trainings/hadoop-2.4.1/share/hadoop/mapreduce

(4)執(zhí)行示例程序中的Wordcount程序近速，以HDFS上的/input/data.txt作為輸入數(shù)據(jù)，輸出結(jié)果存放到HDFS上的/out/wc目錄下：

[root@bigdata112 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /input/data.txt /output/wc

(5)查看進度和結(jié)果：
可以通過終端打印出來的日志信息知道執(zhí)行進度：

18/04/09 22:47:44 INFO mapreduce.Job: map 0% reduce 0%
18/04/09 22:48:21 INFO mapreduce.Job: map 100% reduce 0%
18/04/09 22:48:39 INFO mapreduce.Job: map 100% reduce 100%

執(zhí)行結(jié)束后可以在HDFS上的/out/wc目錄下查看是否有_SUCCESS標(biāo)志文件來判斷是否執(zhí)行成功堪旧。

[root@bigdata112 mapreduce]# hdfs dfs -ls /output/wc
Found 2 items
-rw-r--r-- 1 root supergroup 0 2018-04-09 22:48 /output/wc/_SUCCESS
-rw-r--r-- 1 root supergroup 55 2018-04-09 22:48 /output/wc/part-r-00000

如果執(zhí)行成功削葱，可以在part-r-00000文件中查看到wordcount程序的結(jié)果。

[root@bigdata112 mapreduce]# hdfs dfs -cat /output/wc/part-r-00000
Beijing 2
China 2
I 2
capital 1
is 1
love 2
of 1
the 1

至此淳梦，在CentOS7上搭建的Hadoop2.x偽分布模式的開發(fā)環(huán)境已經(jīng)完成析砸。祝你玩的愉快！