1 安裝JDK

首先是安裝和配置JDK環(huán)境變量.
我這里使用的是jdk-8u191-linux-x64.tar.gz.可以自己到oracle的官網(wǎng)下載合適的jdk版本.

• 解壓到指定目錄
  我這里是/usr/lib/jvm/,解壓后的java文件夾是jdk1.8.0_191.安裝目錄可以自己設(shè)定.

$ sudo mkdir /usr/lib/jvm/
$ sudo tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/lib/jvm/

• 設(shè)置java環(huán)境變量
  在終端輸入

$ sudo vim /etc/profile

在打開(kāi)的profile文件中設(shè)置JAVA_HOME和PATH變量:

#set JAVA environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_192
export PATH=$JAVA_HOME/bin:$PATH

在終端中輸入source /etc/profile使之生效.

• 檢驗(yàn)是否配置成功
  在終端輸入

$ java -version

會(huì)有如下輸出,說(shuō)明配置成功

java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)

2 安裝hadoop

從hadoop官網(wǎng)上下載hadoop包,我這里使用的是hadoop-2.9.2.tar.gz.
輸入以下命令,解壓到安裝目錄中,我這里的安裝目錄是/opt/hadoop.

$ mkdir /opt/hadoop
$ sudo tar -zxf /home/xxx/Downloads/hadoop-2.9.2.tar.gz -C /opt/hadoop/

主要,這里創(chuàng)建的/opt/hadoop,以及解壓后的hadoop文件是屬于root用戶(hù)的.而我日常是用個(gè)人用戶(hù)登錄的,所以為了方便使用,我用以下命令將hadoop的所有者權(quán)限改為個(gè)人用戶(hù)usr1.

$ sudo chown -R usr1:usr1 /opt/hadoop/

3 配置hadoop

3.1 配置hadoop環(huán)境變量

用`vim /etc/profile'打開(kāi)配置文件,和配置java環(huán)境變量一樣,在/etc/profile文件上增加以下內(nèi)容:

# set Hadoop environment
export HADOOP_HOME=/opt/hadoop/hadoop-2.9-2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

注意sbin文件夾中包含運(yùn)行hadoop daemonds的腳本,因此應(yīng)該被添加到環(huán)境變量中.

3.2 在hadoop環(huán)境文件中設(shè)置java路徑

我們需要在hadoop-env.sh,mapred-env.sh和yarn-env.sh文件中設(shè)置java的路徑,以使hadoop能找到安裝的java虛擬機(jī).
用如下命令打開(kāi)相應(yīng)的xxx-env.sh文件:

$ sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh 

在打開(kāi)的xxx-env.sh文件中,修改JAVA_HOME,如下:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

hadoop有單機(jī)模式(standalone or local model),偽分布式模式(pseudodistributed mode)和真實(shí)分布式模式(fully distributed mode)三種部署方式.單機(jī)模式是指僅在一臺(tái)計(jì)算機(jī)上部署,不采用計(jì)算機(jī)群;偽分布式模式是通過(guò)多進(jìn)程模擬出一種計(jì)算機(jī)群組的假象,但仍然是在同一臺(tái)計(jì)算機(jī)上部署,由于單個(gè)計(jì)算機(jī)進(jìn)程數(shù)目有限,因此其模擬的計(jì)算機(jī)集群數(shù)目也比較小.真實(shí)分布式模式是在有多臺(tái)計(jì)算機(jī)組成的計(jì)算機(jī)群組中進(jìn)行部署,也是實(shí)際生產(chǎn)中采用的模式.單機(jī)模式和偽分布式模式由于在一臺(tái)計(jì)算機(jī)上部署,比較適合用于hadoop的學(xué)習(xí)和開(kāi)發(fā)調(diào)試.
上述過(guò)程就已經(jīng)完成了單機(jī)模式的部署.下面的介紹是偽分布式模式需要進(jìn)行的過(guò)程.而對(duì)于真實(shí)分布式模式,本篇不做介紹.

4 偽分布式模式配置hadoop

首先,我們進(jìn)入hadoop的etc/hadoop/目錄:

$ cd $HADOOP_HOME/etc/hadoop

我們需要對(duì)該目錄下的core-site.xml,hdfs-site.xml,mapred-site.xml和yarn-site.xml文件進(jìn)行配置.

4.1 配置core-site.xml

打開(kāi)core-site.xml文件:

$ vim core-site.xml

在<configuration></configuration>對(duì)中添加一下內(nèi)容:

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/data/tmp</value>
        </property>

其中fs.defaultFS表示默認(rèn)的文件系統(tǒng),這里設(shè)置為hdfs://localhost,表示配置在本機(jī)的hdfs系統(tǒng).
hadoop.tmp.dir指定hadoop的臨時(shí)文件夾,默認(rèn)在/tmp/hadoop-${user.name}文件夾下,我這里設(shè)置為/opt/hadoop/data/tmp.如果沒(méi)有這個(gè)文件夾,需要通過(guò)以下命令創(chuàng)建:

$ mkdir -p /opt/hadoop/data/tmp/

至于為什么要修改默認(rèn)的tmp目錄,我看到的說(shuō)法是NameNode會(huì)將HDFS的元數(shù)據(jù)存儲(chǔ)在tmp文件夾下.如果采用默認(rèn)的/tmp/hadoop-username,系統(tǒng)默認(rèn)的/tmp文件夾在操作系統(tǒng)重啟后會(huì)被清空,這樣會(huì)導(dǎo)致Namenode元數(shù)據(jù)丟失,因此應(yīng)該予以修改.

4.2 配置hdfs-site.xml

vim打開(kāi)hdfs-site.xml文件,在<configuration></configuration>對(duì)中添加一下內(nèi)容:

    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

dfs.replication配置的是HDFS存儲(chǔ)是的備份數(shù)量,這里設(shè)置為1.

4.2.1 格式化namenode

上述配置完成后,需要對(duì)namenode進(jìn)行格式化,格式化命令如下:

$ hdfs namenode -format

格式化后,查看core-site.xml里hadoop.tmp.dir(這里是/opt/hadoop/data/tmp)文件夾下有沒(méi)有dfs目錄,如果有,說(shuō)明格式化成功.

4.2.2 啟動(dòng)節(jié)點(diǎn)

• 啟動(dòng)namenode

$ hadoop-daemon.sh start namenode
starting namenode, logging to /opt/hadoop/hadoop-2.9.2/logs/hadoop-xxx-namenode-ubuntu.out

• 啟動(dòng)datanode

$ hadoop-daemon.sh start datanode
starting datanode, logging to /opt/hadoop/hadoop-2.9.2/logs/hadoop-xxx-datanode-ubuntu.out

• 啟動(dòng)secondarynamenode

$ hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/hadoop/hadoop-2.9.2/logs/hadoop-xxx-secondarynamenode-ubuntu.out

第一行是終端輸入的命令,第二行是終端給出的輸出反饋.第二行的xxx是你的用戶(hù)名.
然后我們可以通過(guò)jps命令查看各個(gè)節(jié)點(diǎn)是否開(kāi)啟:

$ jps
82113 Jps
81892 DataNode
82007 SecondaryNameNode
81785 NameNode

五位數(shù)字代表進(jìn)程號(hào),后面跟著的是進(jìn)程名.可以看到DataNode,SecondaryNameNode和NameNode已成功開(kāi)啟.五個(gè)相應(yīng)進(jìn)程沒(méi)有出現(xiàn)在jps命令的輸出中,說(shuō)明該節(jié)點(diǎn)沒(méi)有被成功打開(kāi).

4.3 配置mapred-site.xml

默認(rèn)沒(méi)有mapred-site.xml文件,但有個(gè)mapred-site.xml.template配置模板文件.復(fù)制模板生成mapred-site.xml,命令如下:

$ cd $HADOOP_HOME/etc/hadoop/
$ cp mapred-site.xml.template  mapred-site.xml

vim打開(kāi)mapred-site.xml,在<configuration></configuration>塊中添加以下內(nèi)容:

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

指定mapreduce運(yùn)行在yarn框架上.

4.4 配置yarn-site.xml

vim打開(kāi)yarn-site.xml,<configuration></configuration>塊中添加以下內(nèi)容:

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
 </property>

yarn.nodemanager.aux-services配置了yarn的默認(rèn)混洗方式臭猜，選擇為mapreduce的默認(rèn)混洗算法玉吁。
yarn.resourcemanager.hostname指定了Resourcemanager運(yùn)行在哪個(gè)節(jié)點(diǎn)上五辽。

• 啟動(dòng)Resourcemanager

$ yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/hadoop/hadoop-2.9.2/logs/yarn-xxx-resourcemanager-ubuntu.out

• 啟動(dòng)nodemanager

$ yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/hadoop/hadoop-2.9.2/logs/yarn-xxx-nodemanager-ubuntu.out

• 通過(guò)jps查看是否啟動(dòng)成功

$ jps
84576 ResourceManager
81892 DataNode
82007 SecondaryNameNode
81785 NameNode
85021 Jps
84861 NodeManager

• yarn的web頁(yè)面
  yarn的web客戶(hù)端端口號(hào)是8088,可以通過(guò)http://localhost:8088/查看.

5 一些操作

5.1 HDFS上測(cè)試創(chuàng)建目錄,上傳,下載文件

• HDFS上創(chuàng)建目錄

$ hdfs dfs -mkdir /demo1
$ hdfs dfs -ls /
Found 2 items
drwxr-xr-x   - yourusername supergroup          0 2018-12-04 22:03 /demo1
drwx------   - yourusername supergroup          0 2018-12-04 22:48 /tmp

可以看見(jiàn),剛剛創(chuàng)建的/demo1已經(jīng)存在.

• 上傳本地文件到HDFS上
  這里我們把上面用到過(guò)的core-site.xml文件上傳到剛剛創(chuàng)建的/demo1目錄下.

$ hdfs dfs -put $HADOOP_HOME/etc/hadoop/core-site.xml /demo1
$ hdfs dfs -ls /demo1
Found 1 items
-rw-r--r--   1 yourusername supergroup        954 2018-12-04 22:03 /demo1/core-site.xml

• 讀取HDFS上的文件內(nèi)容
  這里我們讀取剛剛上傳的core-site.xml文件

$ hdfs dfs -cat /demo1/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/data/tmp</value>
    </property>
</configuration>

• 從HDFS上下載文件到本地

$ mkdir test
$ hdfs dfs -get /demo1/core-site.xml ./test
$ ls ./test
core-site.xml    

5.2 運(yùn)行一個(gè)MapReduce Job

在Hadoop的share目錄里称杨，自帶了一些jar包搁拙，里面帶有一些mapreduce實(shí)例小例子云挟，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar矫限，可以運(yùn)行這些例子體驗(yàn)剛搭建好的Hadoop平臺(tái)哺哼，我們這里來(lái)運(yùn)行最經(jīng)典的WordCount實(shí)例佩抹。

• 創(chuàng)建測(cè)試用文件
  在本地/opt/data/目錄下創(chuàng)建一個(gè)wc.input文件,內(nèi)容如下:

hadoop mapreduce hive 
hbase spark storm 
sqoop hadoop hive 
spark hadoop

• 創(chuàng)建輸入目錄,命令如下:

$ hdfs dfs -mkdir -p /wordcountdemo/input

• 將wc.input上傳到輸入目錄中,命令如下:

$ hdfs dfs -put /opt/data/wc.input /wordcountdemo/input

• 運(yùn)行wordcount

$ cd $HADOOP_HOME
$ yarn jar share/hadoop/mapreduce/hadoop-mapraduce-examples-2.9.2.jar wordcount /wordcountdemo/input /wordcountdemo/output/

• 查看輸出結(jié)果

$ hdfs dfs -ls /wordcountdemo/output
-rw-r--r--   1 yourusername supergroup          0 2018-12-04 22:50 /wordcountdemo/output/_SUCCESS
-rw-r--r--   1 yourusername supergroup         60 2018-12-04 22:50 /wordcountdemo/output/part-r-00000

output目錄中有兩個(gè)文件,_SUCCESS文件是空文件,有這個(gè)文件說(shuō)明Job執(zhí)行成功.
part-r-00000文件是結(jié)果文件,其中-r-說(shuō)明這個(gè)文件是Reduce階段產(chǎn)生的結(jié)果,mapreduce程序執(zhí)行時(shí),可以沒(méi)有reduce階段,但是肯定會(huì)有map階段,如果沒(méi)有reduce階段這個(gè)地方是-m-.
一個(gè)reduce會(huì)產(chǎn)生一個(gè)part-r-開(kāi)頭文件.
part-r-00000文件內(nèi)容如下:

$ hdfs dfs -cat /wordcountdemo/output/part-r-00000
hadoop  3
hbase   1
hive    2
mapreduce   1
spark   2
sqoop   1
storm   1

5.3 停止hadoop

$ hadoop-daemon.sh stop namenode
stopping namenode
$ hadoop-daemon.sh stop datanode
stopping datanode
$ yarn-daemon.sh stop resourcemanager
stopping resourcemanager
$ yarn-daemon.sh stop nodemanager
stopping nodemanager

參考

1. 史上最詳細(xì)的Hadoop環(huán)境搭建
2. Hadoop: The Definitive Guide, 4th Edition, 679-682