Hadoop集群環(huán)境搭建

前言

Hadoop在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)重要，Hadoop是大數(shù)據(jù)技術(shù)的基礎(chǔ)磷醋，對Hadoop基礎(chǔ)知識的掌握的扎實程度鸽心，會決定在大數(shù)據(jù)技術(shù)道路上走多遠布疼。

這是一篇入門文章，Hadoop的學(xué)習(xí)方法很多米诉，網(wǎng)上也有很多學(xué)習(xí)路線圖菱蔬。本文的思路是：以安裝部署Apache Hadoop2.x版本為主線，來介紹Hadoop2.x的架構(gòu)組成史侣、各模塊協(xié)同工作原理拴泌、技術(shù)細節(jié)。安裝不是目的惊橱，通過安裝認識Hadoop才是目的蚪腐。

第一部分：Linux環(huán)境安裝

Hadoop是運行在Linux，雖然借助工具也可以運行在Windows上税朴，但是建議還是運行在Linux系統(tǒng)上回季，第一部分介紹Linux環(huán)境的安裝、配置掉房、Java JDK安裝等茧跋。

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用于本地開發(fā)調(diào)試，或者快速安裝體驗Hadoop卓囚，這部分做簡單的介紹瘾杭。

第三部分：Hadoop偽分布式模式安裝

學(xué)習(xí)Hadoop一般是在偽分布式模式下進行。這種模式是在一臺機器上各個進程上運行Hadoop的各個模塊哪亿，偽分布式的意思是雖然各個模塊是在各個進程上分開運行的粥烁，但是只是運行在一個操作系統(tǒng)上的，并不是真正的分布式蝇棉。

第四部分：完全分布式安裝

完全分布式模式才是生產(chǎn)環(huán)境采用的模式讨阻，Hadoop運行在服務(wù)器集群上，生產(chǎn)環(huán)境一般都會做HA篡殷，以實現(xiàn)高可用钝吮。

第一部分：Linux環(huán)境安裝

第一步、配置Vmware NAT網(wǎng)絡(luò)

一板辽、Vmware網(wǎng)絡(luò)模式介紹

參考：http://blog.csdn.net/collection4u/article/details/14127671

二奇瘦、NAT模式配置

NAT是網(wǎng)絡(luò)地址轉(zhuǎn)換，是在宿主機和虛擬機之間增加一個地址轉(zhuǎn)換服務(wù)劲弦，負責(zé)外部和虛擬機之間的通訊轉(zhuǎn)接和IP轉(zhuǎn)換耳标。

我們部署Hadoop集群，這里選擇NAT模式邑跪，各個虛擬機通過NAT使用宿主機的IP來訪問外網(wǎng)次坡。

我們的要求是集群中的各個虛擬機有固定的IP呼猪、可以訪問外網(wǎng)，所以進行如下設(shè)置：

1砸琅、 Vmware安裝后宋距，默認的NAT設(shè)置如下：

image

2、默認的設(shè)置是啟動DHCP服務(wù)的明棍，NAT會自動給虛擬機分配IP乡革，但是我們需要將各個機器的IP固定下來，所以要取消這個默認設(shè)置摊腋。

3沸版、為機器設(shè)置一個子網(wǎng)網(wǎng)段，默認是192.168.136網(wǎng)段兴蒸，我們這里設(shè)置為100網(wǎng)段视粮，將來各個虛擬機Ip就為 192.168.100.*。

4橙凳、點擊NAT設(shè)置按鈕蕾殴，打開對話框，可以修改網(wǎng)關(guān)地址和DNS地址岛啸。這里我們?yōu)镹AT指定DNS地址钓觉。

image

5、網(wǎng)關(guān)地址為當(dāng)前網(wǎng)段里的.2地址坚踩，好像是固定的荡灾，我們不做修改，先記住網(wǎng)關(guān)地址就好了瞬铸，后面會用到批幌。

第二步、安裝Linux操作系統(tǒng)

三嗓节、Vmware上安裝Linux系統(tǒng)

1荧缘、文件菜單選擇新建虛擬機

2、選擇經(jīng)典類型安裝拦宣，下一步截粗。

3、選擇稍后安裝操作系統(tǒng)鸵隧，下一步桐愉。

4、選擇Linux系統(tǒng)掰派，版本選擇CentOS 64位。

image

5左痢、命名虛擬機靡羡，給虛擬機起個名字系洛，將來顯示在Vmware左側(cè)。并選擇Linux系統(tǒng)保存在宿主機的哪個目錄下略步，應(yīng)該一個虛擬機保存在一個目錄下描扯，不能多個虛擬機使用一個目錄。

image

6趟薄、指定磁盤容量绽诚，是指定分給Linux虛擬機多大的硬盤，默認20G就可以杭煎，下一步恩够。

7、點擊自定義硬件羡铲，可以查看蜂桶、修改虛擬機的硬件配置，這里我們不做修改也切。

8扑媚、點擊完成后，就創(chuàng)建了一個虛擬機雷恃，但是此時的虛擬機還是一個空殼疆股，沒有操作系統(tǒng)，接下來安裝操作系統(tǒng)倒槐。

9旬痹、點擊編輯虛擬機設(shè)置，找到DVD导犹，指定操作系統(tǒng)ISO文件所在位置唱凯。

image

10、點擊開啟此虛擬機谎痢，選擇第一個回車開始安裝操作系統(tǒng)磕昼。

image

11、設(shè)置root密碼节猿。

image

12票从、選擇Desktop，這樣就會裝一個Xwindow滨嘱。

image

13峰鄙、先不添加普通用戶，其他用默認的太雨，就把Linux安裝完畢了吟榴。

四、設(shè)置網(wǎng)絡(luò)

因為Vmware的NAT設(shè)置中關(guān)閉了DHCP自動分配IP功能囊扳，所以Linux還沒有IP吩翻，需要我們設(shè)置網(wǎng)絡(luò)各個參數(shù)兜看。

1、用root進入Xwindow狭瞎，右擊右上角的網(wǎng)絡(luò)連接圖標细移，選擇修改連接。

image

2熊锭、網(wǎng)絡(luò)連接里列出了當(dāng)前Linux里所有的網(wǎng)卡弧轧，這里只有一個網(wǎng)卡System eth0，點擊編輯碗殷。

image

3精绎、配置IP、子網(wǎng)掩碼亿扁、網(wǎng)關(guān)（和NAT設(shè)置的一樣）捺典、DNS等參數(shù)，因為NAT里設(shè)置網(wǎng)段為100.*从祝，所以這臺機器可以設(shè)置為192.168.100.10網(wǎng)關(guān)和NAT一致襟己，為192.168.100.2

image

4、用ping來檢查是否可以連接外網(wǎng)牍陌，如下圖擎浴，已經(jīng)連接成功。

image

五毒涧、修改Hostname

1贮预、臨時修改hostname

[root@localhost Desktop]# hostname bigdata-senior01.chybinmy.com

這種修改方式，系統(tǒng)重啟后就會失效契讲。

2仿吞、永久修改hostname

想永久修改，應(yīng)該修改配置文件 /etc/sysconfig/network捡偏。

命令：[root@bigdata-senior01 ~] vim /etc/sysconfig/network

打開文件后唤冈，

NETWORKING=yes  #使用網(wǎng)絡(luò)
HOSTNAME=bigdata-senior01.chybinmy.com  #設(shè)置主機名

六、配置Host

命令：[root@bigdata-senior01 ~] vim /etc/hosts
添加hosts: 192.168.100.10 bigdata-senior01.chybinmy.com

七银伟、關(guān)閉防火墻

學(xué)習(xí)環(huán)境可以直接把防火墻關(guān)閉掉你虹。

(1) 用root用戶登錄后，執(zhí)行查看防火墻狀態(tài)彤避。

[root@bigdata-senior01 hadoop]# service iptables status

(2) 用[root@bigdata-senior01 hadoop]# service iptables stop關(guān)閉防火墻傅物，這個是臨時關(guān)閉防火墻。

[root@bigdata-senior01 hadoop-2.5.0]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Unloading modules:                               [  OK  ]

(3) 如果要永久關(guān)閉防火墻用琉预。

[root@bigdata-senior01 hadoop]# chkconfig iptables off

關(guān)閉董饰，這種需要重啟才能生效玫芦。

八愈捅、關(guān)閉selinux

selinux是Linux一個子安全機制谦屑，學(xué)習(xí)環(huán)境可以將它禁用混萝。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim /etc/sysconfig/selinux

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

image

第三步淘正、安裝JDK

九稚补、安裝Java JDK

1讨韭、查看是否已經(jīng)安裝了java JDK能扒。

[root@bigdata-senior01 Desktop]# java –version

注意：Hadoop機器上的JDK块茁，最好是Oracle的Java JDK齿坷，不然會有一些問題，比如可能沒有JPS命令数焊。
如果安裝了其他版本的JDK永淌，卸載掉。

2佩耳、安裝java JDK

(1) 去下載Oracle版本Java JDK：jdk-7u67-linux-x64.tar.gz

(2) 將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下

[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules

(3) 添加環(huán)境變量

設(shè)置JDK的環(huán)境變量 JAVA_HOME遂蛀。需要修改配置文件/etc/profile，追加

export JAVA_HOME="/opt/modules/jdk1.7.0_67"
export PATH=$JAVA_HOME/bin:$PATH

修改完畢后干厚，執(zhí)行 source /etc/profile

(4)安裝后再次執(zhí)行 java –version,可以看見已經(jīng)安裝完成李滴。

[root@bigdata-senior01 /]# java -version
java version "1.7.0_67"
Java(TM) SE Runtime Environment (build 1.7.0_67-b01)
Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

第二部分：Hadoop本地模式安裝

第四步、Hadoop部署模式

Hadoop部署模式有：本地模式蛮瞄、偽分布模式所坯、完全分布式模式。
區(qū)分的依據(jù)是NameNode挂捅、DataNode芹助、ResourceManager、NodeManager等模塊運行在幾個JVM進程闲先、幾個機器状土。

模式名稱	各個模塊占用的JVM進程數(shù)	各個模塊運行在幾個機器數(shù)上
本地模式	1個	1個
偽分布式模式	N個	1個
完全分布式模式	N個	N個

第五步、本地模式部署

十伺糠、本地模式介紹

本地模式是最簡單的模式蒙谓，所有模塊都運行與一個JVM進程中，使用的本地文件系統(tǒng)退盯，而不是HDFS彼乌，本地模式主要是用于本地開發(fā)過程中的運行調(diào)試用。下載hadoop安裝包后不用任何設(shè)置渊迁，默認的就是本地模式慰照。

十一、解壓hadoop后就是直接可以使用

1琉朽、創(chuàng)建一個存放本地模式hadoop的目錄

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone

2毒租、解壓hadoop文件

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/

3、確保JAVA_HOME環(huán)境變量已經(jīng)配置好

[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}
/opt/modules/jdk1.7.0_67

十二、運行MapReduce程序墅垮，驗證

我們這里用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce惕医。

1、準備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2算色、運行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2

image

這里可以看到j(luò)ob ID中有l(wèi)ocal字樣抬伺，說明是運行在本地模式下的。

3灾梦、查看輸出文件

本地模式下峡钓，mapreduce的輸出是輸出到本地。

[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS

輸出目錄中有_SUCCESS文件說明JOB運行成功若河，part-r-00000是輸出結(jié)果文件能岩。

第三部分：Hadoop偽分布式模式安裝

第六步、偽分布式Hadoop部署過程

十三萧福、Hadoop所用的用戶設(shè)置

1拉鹃、創(chuàng)建一個名字為hadoop的普通用戶

[root@bigdata-senior01 ~]# useradd hadoop
[root@bigdata-senior01 ~]# passwd hadoop

2、給hadoop用戶sudo權(quán)限

[root@bigdata-senior01 ~]# vim /etc/sudoers

設(shè)置權(quán)限鲫忍，學(xué)習(xí)環(huán)境可以將hadoop用戶的權(quán)限設(shè)置的大一些膏燕，但是生產(chǎn)環(huán)境一定要注意普通用戶的權(quán)限限制。

root    ALL=(ALL)       ALL
hadoop ALL=(root) NOPASSWD:ALL

注意：如果root用戶無權(quán)修改sudoers文件饲窿，先手動為root用戶添加寫權(quán)限煌寇。

[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers

3、切換到hadoop用戶

[root@bigdata-senior01 ~]# su - hadoop
[hadoop@bigdata-senior01 ~]$

4逾雄、創(chuàng)建存放hadoop文件的目錄

[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules

5阀溶、將hadoop文件夾的所有者指定為hadoop用戶

如果存放hadoop的目錄的所有者不是hadoop，之后hadoop運行中可能會有權(quán)限問題鸦泳，那么就講所有者改為hadoop银锻。

[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules

十四、解壓Hadoop目錄文件

1做鹰、復(fù)制hadoop-2.5.0.tar.gz到/opt/modules目錄下击纬。

2、解壓hadoop-2.5.0.tar.gz

[hadoop@bigdata-senior01 ~]# cd /opt/modules
[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz

十五钾麸、配置Hadoop

1更振、配置Hadoop環(huán)境變量

[hadoop@bigdata-senior01 hadoop]# vim /etc/profile

追加配置：

export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

執(zhí)行：source /etc/profile 使得配置生效

驗證HADOOP_HOME參數(shù)：

[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME
/opt/modules/hadoop-2.5.0

2、配置 hadoop-env.sh饭尝、mapred-env.sh肯腕、yarn-env.sh文件的JAVA_HOME參數(shù)

[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

修改JAVA_HOME參數(shù)為：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"

3、配置core-site.xml

image

配置hostname钥平，host实撒，關(guān)閉防火墻的方法參見第一部分

[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml
（1） fs.defaultFS參數(shù)配置的是HDFS的地址。

<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
</property>

（2） hadoop.tmp.dir配置的是Hadoop臨時目錄，比如HDFS的NameNode數(shù)據(jù)默認都存放這個目錄下知态，查看*-default.xml等默認配置文件捷兰，就可以看到很多依賴${hadoop.tmp.dir}的配置。

默認的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元數(shù)據(jù)存儲在這個/tmp目錄下负敏，如果操作系統(tǒng)重啟了贡茅，系統(tǒng)會清空/tmp目錄下的東西，導(dǎo)致NameNode元數(shù)據(jù)丟失其做，是個非常嚴重的問題友扰，所有我們應(yīng)該修改這個路徑。

    [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tmp

修改hadoop.tmp.dir

 <property>
   <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
  </property>

十六庶柿、配置、格式化秽浇、啟動HDFS

1浮庐、配置hdfs-site.xml

image

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

dfs.replication配置的是HDFS存儲時的備份數(shù)量，因為這里是偽分布式環(huán)境只有一個節(jié)點柬焕，所以這里設(shè)置為1审残。

2、格式化HDFS

image

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format

格式化是對HDFS這個分布式文件系統(tǒng)中的DataNode進行分塊斑举，統(tǒng)計所有分塊后的初始元數(shù)據(jù)的存儲在NameNode中搅轿。

格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data/tmp目錄）指定的目錄下是否有了dfs目錄富玷，如果有璧坟，說明格式化成功。

注意：

格式化時赎懦，這里注意hadoop.tmp.dir目錄的權(quán)限問題雀鹃，應(yīng)該hadoop普通用戶有讀寫權(quán)限才行，可以將/opt/data的所有者改為hadoop励两。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
查看NameNode格式化后的目錄黎茎。

   [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current

image

fsimage是NameNode元數(shù)據(jù)在內(nèi)存滿了后，持久化保存到的文件当悔。

fsimage*.md5 是校驗文件傅瞻，用于校驗fsimage的完整性。

seen_txid 是hadoop的版本

vession文件里保存：

namespaceID：NameNode的唯一ID盲憎。
clusterID:集群ID嗅骄，NameNode和DataNode的集群ID應(yīng)該一致，表明是一個集群焙畔。

#Mon Jul 04 17:25:50 CST 2016
namespaceID=2101579007
clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1641019026-127.0.0.1-1467624350057
layoutVersion=-57

3掸读、啟動NameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out

image

4、啟動DataNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out

image

5、啟動SecondaryNameNode

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out

image

6儿惫、 JPS命令查看是否已經(jīng)啟動成功澡罚，有結(jié)果就是啟動成功了。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
3233 Jps
3193 SecondaryNameNode
3110 DataNode

image

7肾请、 HDFS上測試創(chuàng)建目錄留搔、上傳、下載文件

HDFS上創(chuàng)建目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

上傳本地文件到HDFS上

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

讀取HDFS上的文件內(nèi)容

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml

image

從HDFS上下載文件到本地

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

image

十七铛铁、配置隔显、啟動YARN

1、配置mapred-site.xml

默認沒有mapred-site.xml文件饵逐，但是有個mapred-site.xml.template配置模板文件括眠。復(fù)制模板生成mapred-site.xml。

[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

添加配置如下：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

指定mapreduce運行在yarn框架上倍权。

image

2掷豺、配置yarn-site.xml

添加配置如下：

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata-senior01.chybinmy.com</value>
 </property>

yarn.nodemanager.aux-services配置了yarn的默認混洗方式，選擇為mapreduce的默認混洗算法薄声。
yarn.resourcemanager.hostname指定了Resourcemanager運行在哪個節(jié)點上当船。

image

3、啟動Resourcemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

image

4默辨、啟動nodemanager

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

image

5德频、查看是否啟動成功

[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
4439 NodeManager
4197 ResourceManager
4543 Jps
3193 SecondaryNameNode
3110 DataNode

可以看到ResourceManager、NodeManager已經(jīng)啟動成功了缩幸。

image

6壹置、 YARN的Web頁面

YARN的Web客戶端端口號是8088，通過http://192.168.100.10:8088/可以查看桌粉。

image

十八蒸绩、運行MapReduce Job

在Hadoop的share目錄里，自帶了一些jar包铃肯，里面帶有一些mapreduce實例小例子患亿，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar，可以運行這些例子體驗剛搭建好的Hadoop平臺押逼，我們這里來運行最經(jīng)典的WordCount實例步藕。

1、創(chuàng)建測試用的Input文件

創(chuàng)建輸入目錄:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input

創(chuàng)建原始文件:

在本地/opt/data目錄創(chuàng)建一個文件wc.input,內(nèi)容如下挑格。

image

將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中:

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input

image

2咙冗、運行WordCount MapReduce Job

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output

image

3、查看輸出結(jié)果目錄

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
-rw-r--r--   1 hadoop supergroup          0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
-rw-r--r--   1 hadoop supergroup         60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000

image

output目錄中有兩個文件漂彤，_SUCCESS文件是空文件雾消，有這個文件說明Job執(zhí)行成功灾搏。
part-r-00000文件是結(jié)果文件，其中-r-說明這個文件是Reduce階段產(chǎn)生的結(jié)果立润，mapreduce程序執(zhí)行時狂窑，可以沒有reduce階段，但是肯定會有map階段桑腮，如果沒有reduce階段這個地方有是-m-泉哈。
一個reduce會產(chǎn)生一個part-r-開頭的文件。
查看輸出文件內(nèi)容破讨。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
hadoop  3
hbase   1
hive    2
mapreduce       1
spark   2
sqoop   1
storm   1

結(jié)果是按照鍵值排好序的丛晦。

十九、停止Hadoop

 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
stopping namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

image

二十提陶、 Hadoop各個功能模塊的理解

1烫沙、 HDFS模塊

HDFS負責(zé)大數(shù)據(jù)的存儲，通過將大文件分塊后進行分布式存儲方式隙笆，突破了服務(wù)器硬盤大小的限制斧吐，解決了單臺機器無法存儲大文件的問題，HDFS是個相對獨立的模塊仲器，可以為YARN提供服務(wù)，也可以為HBase等其他模塊提供服務(wù)仰冠。

2乏冀、 YARN模塊

YARN是一個通用的資源協(xié)同和任務(wù)調(diào)度框架，是為了解決Hadoop1.x中MapReduce里NameNode負載太大和其他問題而創(chuàng)建的一個框架洋只。

YARN是個通用框架辆沦，不止可以運行MapReduce，還可以運行Spark识虚、Storm等其他計算框架肢扯。

3、 MapReduce模塊

MapReduce是一個計算框架担锤，它給出了一種數(shù)據(jù)處理的方式蔚晨，即通過Map階段、Reduce階段來分布式地流式處理數(shù)據(jù)肛循。它只適用于大數(shù)據(jù)的離線處理铭腕，對實時性要求很高的應(yīng)用不適用。

第七步多糠、開啟歷史服務(wù)

二十一累舷、歷史服務(wù)介紹

Hadoop開啟歷史服務(wù)可以在web頁面上查看Yarn上執(zhí)行job情況的詳細信息〖锌祝可以通過歷史服務(wù)器查看已經(jīng)運行完的Mapreduce作業(yè)記錄被盈，比如用了多少個Map析孽、用了多少個Reduce、作業(yè)提交時間只怎、作業(yè)啟動時間袜瞬、作業(yè)完成時間等信息。

二十二尝盼、開啟歷史服務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver吞滞、

開啟后，可以通過Web頁面查看歷史服務(wù)器：

http://bigdata-senior01.chybinmy.com:19888/

二十三盾沫、Web查看job執(zhí)行歷史

1裁赠、運行一個mapreduce任務(wù)

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-
2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1

2、 job執(zhí)行中

image

3赴精、查看job歷史

image

歷史服務(wù)器的Web端口默認是19888佩捞，可以查看Web界面。

但是在上面所顯示的某一個Job任務(wù)頁面的最下面蕾哟，Map和Reduce個數(shù)的鏈接上一忱，點擊進入Map的詳細信息頁面，再查看某一個Map或者Reduce的詳細日志是看不到的谭确，是因為沒有開啟日志聚集服務(wù)帘营。

二十四、開啟日志聚集

4逐哈、日志聚集介紹

MapReduce是在各個機器上運行的芬迄，在運行過程中產(chǎn)生的日志存在于各個機器上，為了能夠統(tǒng)一查看各個機器的運行日志昂秃，將日志集中存放在HDFS上禀梳，這個過程就是日志聚集。

5肠骆、開啟日志聚集

配置日志聚集功能：

Hadoop默認是不啟用日志聚集的算途。在yarn-site.xml文件里配置啟用日志聚集。

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
 </property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
 </property>

yarn.log-aggregation-enable:是否啟用日志聚集功能蚀腿。

yarn.log-aggregation.retain-seconds：設(shè)置日志保留時間嘴瓤，單位是秒。

將配置文件分發(fā)到其他節(jié)點：

[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/

重啟Yarn進程：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh

重啟HistoryServer進程：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

6莉钙、測試日志聚集

運行一個demo MapReduce纱注，使之產(chǎn)生日志：

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1

查看日志：

運行Job后，就可以在歷史服務(wù)器Web頁面查看各個Map和Reduce的日志了胆胰。

第四部分：完全分布式安裝

第八步狞贱、完全布式環(huán)境部署Hadoop

完全分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器集群進行規(guī)劃蜀涨，使得Hadoop各個模塊分別部署在不同的多臺機器上瞎嬉。

二十五蝎毡、環(huán)境準備

1、克隆虛擬機

Vmware左側(cè)選中要克隆的機器氧枣，這里對原有的BigData01機器進行克隆沐兵，虛擬機菜單中，選中管理菜單下的克隆命令便监。
選擇“創(chuàng)建完整克隆”扎谎，虛擬機名稱為BigData02，選擇虛擬機文件保存路徑烧董，進行克隆毁靶。
再次克隆一個名為BigData03的虛擬機。

2逊移、配置網(wǎng)絡(luò)

修改網(wǎng)卡名稱：

在BigData02和BigData03機器上編輯網(wǎng)卡信息预吆。執(zhí)行sudo vim /etc/udev/rules.d/70-persistent-net.rules命令。因為是從BigData01機器克隆來的胳泉，所以會保留BigData01的網(wǎng)卡eth0拐叉，并且再添加一個網(wǎng)卡eth1。并且eth0的Mac地址和BigData01的地址是一樣的扇商，Mac地址不允許相同凤瘦，所以要刪除eth0，只保留eth1網(wǎng)卡案铺，并且要將eth1改名為eth0廷粒。將修改后的eth0的mac地址復(fù)制下來，修改network-scripts文件中的HWADDR屬性红且。

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

image

修改網(wǎng)絡(luò)參數(shù)：

BigData02機器IP改為192.168.100.12

BigData03機器IP改為192.168.100.13

3、配置Hostname

BigData02配置hostname為 bigdata-senior02.chybinmy.com

BigData03配置hostname為 bigdata-senior03.chybinmy.com

4涤姊、配置hosts

BigData01暇番、BigData02、BigData03三臺機器hosts都配置為：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo vim /etc/hosts
192.168.100.10 bigdata-senior01.chybinmy.com
192.168.100.12 bigdata-senior02.chybinmy.com
192.168.100.13 bigdata-senior03.chybinmy.com

5思喊、配置Windows上的SSH客戶端

在本地Windows中的SSH客戶端上添加對BigData02壁酬、BigData03機器的SSH鏈接。

二十六恨课、服務(wù)器功能規(guī)劃

bigdata-senior01.chybinmy.com	bigdata-senior02.chybinmy.com	bigdata-senior03.chybinmy.com
NameNode	ResourceManage
DataNode	DataNode	DataNode
NodeManager	NodeManager	NodeManager
HistoryServer		SecondaryNameNode

二十七舆乔、在第一臺機器上安裝新的Hadoop

為了和之前BigData01機器上安裝偽分布式Hadoop區(qū)分開來，我們將BigData01上的Hadoop服務(wù)都停止掉剂公，然后在一個新的目錄/opt/modules/app下安裝另外一個Hadoop希俩。
我們采用先在第一臺機器上解壓、配置Hadoop纲辽，然后再分發(fā)到其他兩臺機器上的方式來安裝集群颜武。

6璃搜、解壓Hadoop目錄：

[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/

7、配置Hadoop JDK路徑修改hadoop-env.sh鳞上、mapred-env.sh这吻、yarn-env.sh文件中的JDK路徑：

export JAVA_HOME="/opt/modules/jdk1.7.0_67"

8、配置core-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml

<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
 </property>
</configuration>

fs.defaultFS為NameNode的地址篙议。

hadoop.tmp.dir為hadoop臨時目錄的地址唾糯，默認情況下，NameNode和DataNode的數(shù)據(jù)文件都會存在這個目錄下的對應(yīng)子目錄下鬼贱。應(yīng)該保證此目錄是存在的移怯，如果不存在，先創(chuàng)建吩愧。

9芋酌、配置hdfs-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>bigdata-senior03.chybinmy.com:50090</value>
 </property>
</configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號，因為在規(guī)劃中雁佳，我們將BigData03規(guī)劃為SecondaryNameNode服務(wù)器脐帝。

所以這里設(shè)置為：bigdata-senior03.chybinmy.com:50090

10、配置slaves

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
bigdata-senior01.chybinmy.com
bigdata-senior02.chybinmy.com
bigdata-senior03.chybinmy.com

slaves文件是指定HDFS上有哪些DataNode節(jié)點糖权。

11堵腹、配置yarn-site.xml

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior02.chybinmy.com</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>

根據(jù)規(guī)劃yarn.resourcemanager.hostname這個指定resourcemanager服務(wù)器指向bigdata-senior02.chybinmy.com。

yarn.log-aggregation-enable是配置是否啟用日志聚集功能星澳。

yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多長時間疚顷。

12、配置mapred-site.xml

從mapred-site.xml.template復(fù)制一個mapred-site.xml文件禁偎。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdata-senior01.chybinmy.com:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-senior01.chybinmy.com:19888</value>
    </property>
</configuration>

mapreduce.framework.name設(shè)置mapreduce任務(wù)運行在yarn上腿堤。

mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在BigData01機器上。

mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁面地址和端口號如暖。

二十八笆檀、設(shè)置SSH無密碼登錄

Hadoop集群中的各個機器間會相互地通過SSH訪問，每次訪問都輸入密碼是不現(xiàn)實的盒至，所以要配置各個機器間的

SSH是無密碼登錄的酗洒。

1、在BigData01上生成公鑰

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa

一路回車枷遂，都設(shè)置為默認值樱衷，然后再當(dāng)前用戶的Home目錄下的.ssh目錄中會生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）。

2酒唉、分發(fā)公鑰

yum -y install openssh-server openssh-clients

[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com

3矩桂、設(shè)置BigData02、BigData03到其他機器的無密鑰登錄

同樣的在BigData02痪伦、BigData03上生成公鑰和私鑰后耍鬓，將公鑰分發(fā)到三臺機器上阔籽。

二十九、分發(fā)Hadoop文件

1牲蜀、首先在其他兩臺機器上創(chuàng)建存放Hadoop的目錄

[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app
[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app

2笆制、通過Scp分發(fā)

Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔，文件相當(dāng)大涣达，建議在分發(fā)之前將這個目錄刪除掉在辆，可以節(jié)省硬盤空間并能提高分發(fā)的速度。

doc目錄大小有1.6G度苔。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc
1.6G    /opt/modules/app/hadoop-2.5.0/share/doc
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app

三十匆篓、格式NameNode

在NameNode機器上執(zhí)行格式化：

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format

注意：

如果需要重新格式化NameNode,需要先將原來NameNode和DataNode下的文件全部刪除，不然會報錯寇窑，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir鸦概、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的甩骏。

<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/data/tmp</value>
  </property>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>

因為每次格式化窗市，默認是創(chuàng)建一個集群ID，并寫入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄為dfs/name/current 和 dfs/data/current）饮笛，重新格式化時咨察，默認會生成一個新的集群ID,如果不刪除原來的目錄，會導(dǎo)致namenode中的VERSION文件中是新的集群ID,而DataNode中是舊的集群ID福青，不一致時會報錯摄狱。

另一種方法是格式化時指定集群ID參數(shù)，指定為舊的集群ID无午。

三十一媒役、啟動集群

1、啟動HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh

image

2宪迟、啟動YARN

[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh

在BigData02上啟動ResourceManager:

[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager

image

3酣衷、啟動日志服務(wù)器

因為我們規(guī)劃的是在BigData03服務(wù)器上運行MapReduce日志服務(wù)，所以要在BigData03上啟動踩验。

[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda       ta-senior03.chybinmy.com.out

[hadoop@bigdata-senior03 ~]$ jps
3570 Jps
3537 JobHistoryServer
3310 SecondaryNameNode
3213 DataNode
3392 NodeManager

4、查看HDFS Web頁面

http://bigdata-senior01.chybinmy.com:50070/

5商玫、查看YARN Web 頁面

http://bigdata-senior02.chybinmy.com:8088/cluster

三十二箕憾、測試Job

我們這里用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

1拳昌、準備mapreduce輸入文件wc.input

[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2袭异、在HDFS創(chuàng)建輸入目錄input

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input

3、將wc.input上傳到HDFS

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input

4炬藤、運行hadoop自帶的mapreduce Demo

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output

image

5御铃、查看輸出文件

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /output
Found 2 items
-rw-r--r--   3 hadoop supergroup          0 2016-07-14 16:36 /output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         60 2016-07-14 16:36 /output/part-r-00000

最后編輯于：2020.05.29 12:21:00

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市，隨后出現(xiàn)的幾起案子痪欲，更是在濱河造成了極大的恐慌绢馍，老刑警劉巖，帶你破解...
沈念sama閱讀 212,542評論 6贊 493
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件睡互，死亡現(xiàn)場離奇詭異根竿，居然都是意外死亡，警方通過查閱死者的電腦和手機就珠，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 90,596評論 3贊 385
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門寇壳，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人妻怎，你說我怎么就攤上這事壳炎。” “怎么了逼侦？”我有些...
開封第一講書人閱讀 158,021評論 0贊 348
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵匿辩，是天一觀的道長。經(jīng)常有香客問我偿洁，道長撒汉，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 56,682評論 1贊 284
?港島之戀（遺憾婚禮）
正文為了忘掉前任涕滋，我火速辦了婚禮睬辐，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘宾肺。我一直安慰自己溯饵，他們只是感情好，可當(dāng)我...
茶點故事閱讀 65,792評論 6贊 386
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布锨用。她就那樣靜靜地躺著丰刊，像睡著了一般。火紅的嫁衣襯著肌膚如雪增拥。梳的紋絲不亂的頭發(fā)上啄巧，一...
開封第一講書人閱讀 49,985評論 1贊 291
城市分裂傳說
那天，我揣著相機與錄音掌栅，去河邊找鬼秩仆。笑死，一個胖子當(dāng)著我的面吹牛猾封，可吹牛的內(nèi)容都是我干的澄耍。我是一名探鬼主播，決...
沈念sama閱讀 39,107評論 3贊 410
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼齐莲！你這毒婦竟也來了痢站？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 37,845評論 0贊 268
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤选酗，失蹤者是張志新（化名）和其女友劉穎阵难，沒想到半個月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體星掰，經(jīng)...
沈念sama閱讀 44,299評論 1贊 303
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡多望，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 36,612評論 2贊 327
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了氢烘。大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片怀偷。...
茶點故事閱讀 38,747評論 1贊 341
活死人
序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖播玖，靈堂內(nèi)的尸體忽然破棺而出椎工，到底是詐尸還是另有隱情，我是刑警寧澤蜀踏，帶...
沈念sama閱讀 34,441評論 4贊 333
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布维蒙，位于F島的核電站，受9級特大地震影響果覆，放射性物質(zhì)發(fā)生泄漏颅痊。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點故事閱讀 40,072評論 3贊 317
男人毒藥：我在死后第九天來索命
文/蒙蒙一局待、第九天我趴在偏房一處隱蔽的房頂上張望斑响。院中可真熱鬧，春花似錦钳榨、人聲如沸舰罚。這莊子的主人今日做“春日...
開封第一講書人閱讀 30,828評論 0贊 21
一樁弒父案薛耻，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽营罢。三九已至，卻和暖如春饼齿，著一層夾襖步出監(jiān)牢的瞬間饲漾，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 32,069評論 1贊 267
情欲美人皮
我被黑心中介騙來泰國打工缕溉，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留考传，地道東北人。一個月前我還...
沈念sama閱讀 46,545評論 2贊 362
代替公主和親
正文我出身青樓倒淫，卻偏偏與公主長得像伙菊，于是被迫代替她去往敵國和親。傳聞我的和親對象是個殘疾皇子敌土，可洞房花燭夜當(dāng)晚...
茶點故事閱讀 43,658評論 2贊 350

Hadoop集群環(huán)境搭建

前言

第一部分：Linux環(huán)境安裝

第二部分：Hadoop本地模式安裝

第三部分：Hadoop偽分布式模式安裝

第四部分：完全分布式安裝

第一部分：Linux環(huán)境安裝

第一步、配置Vmware NAT網(wǎng)絡(luò)

第二步、安裝Linux操作系統(tǒng)

第三步淘正、安裝JDK

第二部分：Hadoop本地模式安裝

第四步、Hadoop部署模式

第五步、本地模式部署

第三部分：Hadoop偽分布式模式安裝

第六步、偽分布式Hadoop部署過程

十七铛铁、配置隔显、啟動YARN

第七步多糠、開啟歷史服務(wù)

第四部分：完全分布式安裝

第八步狞贱、完全布式環(huán)境部署Hadoop

推薦閱讀更多精彩內(nèi)容