實(shí)際環(huán)境中Hadoop集群的搭建

對(duì)于Hadoop的背景介紹肆饶,這里就不敘述了,本篇只介紹生產(chǎn)環(huán)境中Hadoop集群的搭建岖常。本集群采用HA模式驯镊,一共4臺(tái)服務(wù)器,一個(gè)名字節(jié)點(diǎn),一個(gè)第二名字節(jié)點(diǎn)竭鞍,兩個(gè)數(shù)據(jù)節(jié)點(diǎn)焕襟。4臺(tái)服務(wù)器都處于同一個(gè)內(nèi)網(wǎng)中伍掀,使之能夠互相通信括饶。
環(huán)境:
1. jdk1.8.0_171
2.zookeeper-3.4.6
3.hadoop-2.6.3

一入录、集群SSH免密登陸設(shè)置

請(qǐng)參照:https://www.cnblogs.com/ivan0626/p/4144277.html

二、安裝JDK(每個(gè)節(jié)點(diǎn)都要安裝)

2.1 下載jdk
https://www.oracle.com/technetwork/java/javase/downloads/index.html
選擇對(duì)應(yīng)jdk版本下載晒夹。

2.2 登錄Linux往湿,切換到root用戶
su root 獲取root用戶權(quán)限,當(dāng)前工作目錄不變(需要root密碼)
或者
sudo -i 不需要root密碼惋戏,直接切換成root(需要當(dāng)前用戶密碼)

2.3 建立java安裝目錄
一般我們將安裝目錄建在usr目錄下:
cd /usr
mkdir java

2.4 安裝java
將下載下來(lái)的.tar.gz壓縮包拷貝到該java目錄中,并解壓到當(dāng)前目錄:
cp 壓縮包路徑 /usr/java/
tar -zxvf 壓縮包名

2.5 配置環(huán)境變量
打開配置文件:vim /etc/profile
添加如下內(nèi)容:(JAVA_HOME根據(jù)實(shí)際目錄來(lái))
JAVA_HOME=/usr/java/jdk1.8.0_171
CLASSPATH=JAVA_HOME/lib/ PATH=PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

2.6 使配置文件生效
命令: source /etc/profile

2.7 查看安裝情況
命令:java -version

安裝成功則會(huì)打印如下信息:
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

三他膳、安裝Zookeeper(任意3個(gè)節(jié)點(diǎn)上安裝)

Zookeeper是一個(gè)分布式的應(yīng)用程序協(xié)調(diào)服務(wù),是集群的管理者响逢,監(jiān)視著集群中各個(gè)節(jié)點(diǎn)的狀態(tài)根據(jù)節(jié)點(diǎn)提交的反饋進(jìn)行下一步合理操作。
ZooKeeper是用Java編寫的棕孙,運(yùn)行在Java環(huán)境上舔亭,因此些膨,在部署zk的機(jī)器上需要安裝Java運(yùn)行環(huán)境。為了正常運(yùn)行zk钦铺,我們需要JRE1.6或者以上的版本订雾。
在集群模式下,建議至少部署3個(gè)zk進(jìn)程矛洞,或者部署奇數(shù)個(gè)zk進(jìn)程洼哎。如果只部署2個(gè)zk進(jìn)程,當(dāng)其中一個(gè)zk進(jìn)程掛掉后沼本,剩下的一個(gè)進(jìn)程并不能構(gòu)成一個(gè)quorum的大多數(shù)噩峦。因此,部署2個(gè)進(jìn)程甚至比單機(jī)模式更不可靠抽兆,因?yàn)?個(gè)進(jìn)程其中一個(gè)不可用的可能性比一個(gè)進(jìn)程不可用的可能性還大识补。

3.1 下載zookeeper
https://zookeeper.apache.org/releases.html
選擇對(duì)應(yīng)的版本下載。

3.2 安裝zookeeper
在安裝之前辫红,我們先統(tǒng)一建立一個(gè)目錄凭涂,后面與Hadoop有關(guān)的框架我們都安裝在這個(gè)目錄中,方便以后管理贴妻。目錄名字隨便起切油,這里我們叫probd。
將下載的zookeeper壓縮包解壓到probd/zookeeper-3.4.6目錄中揍瑟。
cp 壓縮包路徑 /probd/zookeeper-3.4.6/
tar -zxvf 壓縮包名

3.3 配置zookeeper
解壓后的zookeeper包中白翻,有一個(gè)conf目錄,進(jìn)入這個(gè)目錄中有一個(gè)zoo_sample.cfg文件绢片,這是官方提供的樣例配置滤馍,我們需要
重新建立一個(gè)名叫zoo.cfg的文件(名字是固定的),然后照著zoo_sample.cfg中的內(nèi)容修改一些配置即可底循。

#這個(gè)時(shí)間是作為 Zookeeper 服務(wù)器之間或客戶端與服務(wù)器之間維持心跳的時(shí)間間隔巢株,也就是每個(gè) tickTime 時(shí)間就會(huì)發(fā)送一個(gè)心跳,以毫秒為單位熙涤。
tickTime=2000

#LF初始通信時(shí)限阁苞,集群中的follower服務(wù)器(F)與leader服務(wù)器(L)之間初始連接時(shí)能容忍的最多心跳數(shù)(tickTime的數(shù)量)
initLimit=10

#集群中的follower服務(wù)器與leader服務(wù)器之間請(qǐng)求和應(yīng)答之間能容忍的最多心跳數(shù)(tickTime的數(shù)量)
syncLimit=5

#顧名思義就是 Zookeeper 保存數(shù)據(jù)的目錄,默認(rèn)情況下祠挫,Zookeeper 將寫數(shù)據(jù)的日志文件也保存在這個(gè)目錄里那槽。
dataDir=/probd/zookeeper-3.4.6/data/data

#日志文件目錄,Zookeeper保存日志文件的目錄
dataLogDir=/probd/zookeeper-3.4.6/data/logs

#這個(gè)端口就是客戶端連接 Zookeeper 服務(wù)器的端口等舔,Zookeeper 會(huì)監(jiān)聽這個(gè)端口骚灸,接受客戶端的訪問(wèn)請(qǐng)求』胖玻  
clientPort=2181

#這個(gè)參數(shù)指定了清理頻率甚牲,單位是小時(shí)义郑,需要填寫一個(gè)1或更大的整數(shù),默認(rèn)是0丈钙,表示不開啟自己清理功能非驮。
autopurge.purgeInterval=1

#這個(gè)參數(shù)和上面的autopurge.purgeInterval參數(shù)搭配使用,這個(gè)參數(shù)指定了需要保留的文件數(shù)目雏赦。默認(rèn)是保留3個(gè)劫笙。
autopurge.snapRetainCount=3

#服務(wù)器編號(hào)=服務(wù)器地址 : LF通信端口 : 選舉端口
#如:server.N=yyy:A:B
#其中N表示服務(wù)器編號(hào),YYY表示服務(wù)器的IP地址喉誊,A為L(zhǎng)F通信端口邀摆,表示該服務(wù)器與集群中的leader交換的信息的端口。
#B為選舉端口伍茄,表示選舉新leader時(shí)服務(wù)器間相互通信的端口(當(dāng)leader掛掉時(shí)栋盹,其余服務(wù)器會(huì)相互通信,選擇出新的leader)敷矫。
#一般來(lái)說(shuō)例获,集群中每個(gè)服務(wù)器的A端口都是一樣,每個(gè)服務(wù)器的B端口也是一樣曹仗。但是當(dāng)所采用的為偽集群時(shí)榨汤,IP地址都一樣,只能時(shí)A端口和B端口不一樣怎茫。
server.201=probd01:2888:3888
server.202=probd02:2888:3888
server.203=probd03:2888:3888

一般我們只需要修改dataDir收壕、dataLogDir、clientPort和服務(wù)器編號(hào)及端口這幾個(gè)即可轨蛤。(注意別忘了在其它節(jié)點(diǎn)上配置該文件蜜宪,可以用scp命令拷貝到其它節(jié)點(diǎn)上去)

然后手動(dòng)創(chuàng)建上面的dataDir路徑和dataLogDir路徑,并在dataDir路徑下創(chuàng)建一個(gè)名叫myid的文件祥山,編輯文件圃验,指明自己的id,對(duì)應(yīng)上面zoo.cfg中"server."后的數(shù)字缝呕,這里我們?cè)趍yid文件中只寫一個(gè)201就可以了澳窑,別忘了在其它另外兩個(gè)節(jié)點(diǎn)上同樣的步驟分別寫入202、203供常。

OK摊聋,關(guān)于zookeeper的工作就暫時(shí)就做到這些,等把Hadoop安裝配置完成后栈暇,我們?cè)賮?lái)啟動(dòng)zookeeper栗精。

四、安裝Hadoop(每個(gè)節(jié)點(diǎn)都要安裝)

4.1 下載hadoop
https://hadoop.apache.org/releases.html
選擇對(duì)于的版本下載。

4.2 安裝hadoop
上面我們?cè)诎惭bzookeeper的時(shí)候悲立,統(tǒng)一創(chuàng)建了一個(gè)目錄叫probd,現(xiàn)在我們?cè)诶锩鎰?chuàng)建一個(gè)名叫hadoop-2.6.3的子目錄新博,然后將下載的hadoop壓縮包解壓到/probd/hadoop-2.6.3目錄中薪夕。
cp 壓縮包路徑 /probd/hadoop-2.6.3
tar -zxvf 壓縮包名

4.3 配置hadoop
進(jìn)入目錄: /probd/hadoop-2.6.3/etc/hadoop
(1)修改hadoop-env.sh、mapred-env.sh赫悄、yarn-env.sh文件中的jdk的路徑原献,如下:

export JAVA_HOME=/usr/java/jdk1.8.0_171

(2)修改core-site.xml,配置內(nèi)容如下:

<configuration>
    <!-- About cluster -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://probd</value>
        <description>默認(rèn)文件系統(tǒng)的名稱埂淮,URI形式姑隅。HA方式,這里設(shè)置服務(wù)名倔撞,例如:hdfs://mycluster1讲仰,HDFS的客戶端訪問(wèn)HDFS需要此參數(shù)。</description> 
    </property>

    <!-- About zookeeper -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>probd01:2181,probd02:2181,probd03:2181</value>
        <description>Ha功能痪蝇,需要一組zk地址鄙陡,用逗號(hào)分隔。被ZKFailoverController使用于自動(dòng)失效備援failover躏啰。</description> 
    </property>

    <!-- About directory -->
    <property> 
        <name>hadoop.tmp.dir</name>
        <value>/probd/hadoop-2.6.3/data/tmp</value>
        <description>Hadoop的臨時(shí)目錄趁矾,只可以設(shè)置一個(gè)值;建議設(shè)置到一個(gè)足夠空間的地方给僵,而不是默認(rèn)的/tmp下服務(wù)端參數(shù)毫捣,修改需重啟</description> 
    </property>

</configuration>

(3)修改hdfs-site.xml,修改配置如下:

<configuration>
    <!-- About service -->
    <property>
        <name>dfs.nameservices</name>
        <value>probd</value>
        <description>nameservices列表帝际,逗號(hào)分隔蔓同。我們常用的僅配置一個(gè),啟動(dòng)federation功能需要配置多個(gè)</description> 
    </property>

    <!-- About namenode -->
    <property>
        <name>dfs.ha.namenodes.probd</name>
        <value>nn1,nn2</value>
        <description>dfs.ha.namenodes.EXAMPLENAMESERVICE胡本,包含一個(gè)NN列表牌柄。EXAMPLENAMESERVICE是指具體的nameservice名稱,通常就是dfs.nameservices中配置的侧甫。值是預(yù)備配置的NN的ID珊佣。</description> 
    </property>
    
    <property>
        <name>dfs.namenode.rpc-address.probd.nn1</name>
        <value>probd01:8020</value>
        <description>NN的RPC地址和端口</description>
    </property>

<property>
        <name>dfs.namenode.http-address.probd.nn1</name>
        <value>probd01:50070</value>
<description>NN的HTTP地址和端口。0表示任意空閑端口披粟。</description>
    </property>
    
    <property>
        <name>dfs.namenode.rpc-address.probd.nn2</name>
        <value>probd02:8020</value>
    </property> 
    
    <property>
        <name>dfs.namenode.http-address.probd.nn2</name>
        <value>probd02:50070</value>
    </property> 
    
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///probd/hadoop-2.6.3/name</value>
        <description>本地磁盤目錄咒锻,NN存儲(chǔ)fsimage文件的地方∈靥耄可以是按逗號(hào)分隔的目錄列表惑艇,fsimage文件會(huì)存儲(chǔ)在全部目錄,冗余安全。這里多個(gè)目錄設(shè)定滨巴,最好在多個(gè)磁盤思灌,另外,如果其中一個(gè)磁盤故障恭取,不會(huì)導(dǎo)致系統(tǒng)故障泰偿,會(huì)跳過(guò)壞磁盤。由于使用了HA蜈垮,建議僅設(shè)置一個(gè)耗跛。如果特別在意安全,可以設(shè)置2個(gè)</description>
    </property>
    
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://probd01:8485;probd02:8485;probd03:8485/probd</value>
        <description>在多個(gè)NN中共享存儲(chǔ)目錄攒发,用于存放edits文件调塌。這個(gè)目錄,由active寫惠猿,由standby讀羔砾,以保持命名空間數(shù)據(jù)一致。此目錄不需要是dfs.namenode.edits.dir中列出的紊扬。在非HA集群中蜒茄,它不會(huì)使用。建議使用qj方式餐屎,可以不關(guān)注這個(gè)選項(xiàng)</description>
    </property>

    <!-- About journal node -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/probd/hadoop-2.6.3/qjm</value>
        <description>journalnode存放edits文件的目錄</description>
    </property>

    <!-- About datanode -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///probd/hadoop-2.6.3/data/dfs/data</value>
        <description>本地磁盤目錄檀葛,HDFS數(shù)據(jù)存儲(chǔ)Block的地方「顾酰可以是逗號(hào)分隔的目錄列表(典型的屿聋,每個(gè)目錄在不同的磁盤)。這些目錄被輪流使用藏鹊,一個(gè)塊存儲(chǔ)在這個(gè)目錄润讥,下一個(gè)塊存儲(chǔ)在下一個(gè)目錄,依次循環(huán)盘寡。每個(gè)塊在同一個(gè)機(jī)器上僅存儲(chǔ)一份楚殿。不存在的目錄被忽略。必須創(chuàng)建文件夾竿痰,否則被視為不存在脆粥。</description>
    </property>

    <property>
        <name>dfs.datanode.handler.count</name> 
        <value>30</value>
        <description>thread count for request</description>
    </property> 

    <property>
        <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
    </property>

    <property>
        <name>dfs.datanode.du.reserved</name>
        <value>10737418240</value>
        <description>10G</description>
    </property>

    <property>
        <name>dfs.datanode.directoryscan.threads</name>
        <value>3</value>
        <description>
            How many threads should the threadpool used to compile reports
            for volumes in parallel have.
        </description>
    </property>

    <!-- About sshfence -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>shell(/bin/true)</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>10</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>

    <!-- About client failover -->
    <property>
        <name>dfs.client.failover.proxy.provider.probd</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- About failover -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
        <description>是否開啟自動(dòng)故障轉(zhuǎn)移。建議開啟影涉,true</description>
    </property>

    <!-- About replication -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <description>數(shù)據(jù)塊副本數(shù)变隔。此值可以在創(chuàng)建文件是設(shè)定,客戶端可以只有設(shè)定蟹倾,也可以在命令行修改匣缘。不同文件可以有不同的副本數(shù)猖闪。默認(rèn)值用于未指定時(shí)。</description>
    </property>
</configuration>

(4)修改mapred-site.xml肌厨,由于在配置文件目錄下沒有該文件培慌,需要修改名稱:mv mapred-stie.xml.template mapred-site.xml,修改內(nèi)容如下:

    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

(5)修改yarn-site.xml柑爸,修改內(nèi)容如下:

<!-- resourcemanager -->  
  <property> 
    <name>yarn.resourcemanager.ha.enabled</name>  
    <value>true</value> 
    <description>是否啟用HA模式</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.cluster-id</name>  
    <value>yarn-probd</value> 
    <description>集群名稱检柬。在HA下,用來(lái)確保RM參加集群中的leader選舉而不影響其它集群竖配。</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.ha.rm-ids</name>  
    <value>rm1,rm2</value> 
    <description>集群中RM的ID列表,用逗號(hào)分隔里逆。<description>
  </property> 


  <property> 
    <name>yarn.resourcemanager.hostname.rm1</name>  
    <value>probd01</value> 
    <description>為每個(gè)RM-id指定一個(gè)主機(jī)名进胯。或者可以設(shè)置每個(gè)RM的服務(wù)地址</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.hostname.rm2</name>  
    <value>probd02</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.scheduler.address.rm1</name>  
    <value>probd01:8130</value> 
    <description>調(diào)度器地址:端口</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.scheduler.address.rm2</name>  
    <value>probd02:8130</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.resource-tracker.address.rm1</name>  
    <value>probd01:8131</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.resource-tracker.address.rm2</name>  
    <value>probd02:8131</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.address.rm1</name>  
    <value>probd01:8132</value> 
    <description>RM地址:端口</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.address.rm2</name>  
    <value>probd02:8132</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.admin.address.rm1</name>  
    <value>probd01:8133</value> 
    <description>RM管理接口地址:端口</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.admin.address.rm2</name>  
    <value>probd02:8133</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm1</name>  
    <value>probd01:8188</value> 
    <description>RM的網(wǎng)頁(yè)接口地址:端口</description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.webapp.address.rm2</name>  
    <value>probd02:8188</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.ha.admin.address.rm1</name>  
    <value>probd01:23142</value> 
  </property>  
  <property> 
    <name>yarn.resourcemanager.ha.admin.address.rm2</name>  
    <value>probd02:23142</value> 
  </property> 

<property> 
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>  
    <value>true</value> 
<description>故障切換激活原押;在HA下默認(rèn)是可用的胁镐。</description>
  </property>  

<!-- About zookeeper -->  
  <property> 
    <name>yarn.resourcemanager.zk-address</name>  
    <value>probd01:2181,probd02:2181,probd03:2181</value>
    <description>RM所使用的zookeeper服務(wù)器的主機(jī)端口 </description>
  </property>  
  <property> 
    <name>yarn.resourcemanager.zk-state-store.address</name>  
    <value>probd01:2181,probd02:2181,probd03:2181</value>  
  </property>  
  <property> 
    <name>yarn.resourcemanager.nodes.exclude-path</name>  
    <value>/probd/probd-0.3.5/hadoop-2.6.3/etc/hadoop/nodes-exclude</value> 
    <description>存儲(chǔ)拒絕節(jié)點(diǎn)列表的文件。如和包含文件沖突诸衔,包含文件優(yōu)先級(jí)高</description>
  </property>  
  <!-- About nodemanager -->  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle,spark_shuffle</value> 
    <description>請(qǐng)配置為:mapreduce.shuffle盯漂,在Yarn上開啟MR的必須項(xiàng) </description>
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    <description>對(duì)應(yīng)參考yarn.nodemanager.aux-services</description>
  </property> 

上面的配置文件中只要涉及到文件路徑的,都需要手動(dòng)創(chuàng)建笨农,否則在啟動(dòng)的時(shí)候會(huì)報(bào)錯(cuò)就缆。

(6)配置slaves文件,如下:

probd01
probd02
probd03
probd04

(7)將Hadoop添加到環(huán)境變量谒亦,然后更新:source /etc/profile

export HADOOP_HOME=/probd/hadoop-2.6.3
export PATH=$PATH:$HADOOP_HOME/bin

OK,Hadoop的配置就完了(注意每個(gè)節(jié)點(diǎn)都要配置竭宰,配置內(nèi)容都相同),接下來(lái)我們來(lái)啟動(dòng)這些框架份招,在啟動(dòng)之前一定要確保關(guān)閉防火墻切揭。

五、啟動(dòng)集群

確保上面的配置完成之后锁摔,就可以啟動(dòng)集群了廓旬。使用jps命令查看是否啟動(dòng)。另外谐腰,注意啟動(dòng)是有順序的孕豹。

5.1 啟動(dòng)Zookeeper
在之前配置的那3臺(tái)服務(wù)器上分別啟動(dòng)zookeeper:

/probd/zookeeper-3.4.6/bin/zkServer.sh start

5.2 啟動(dòng)Journalnode
最先啟動(dòng)journalnode進(jìn)程的目的就是為了之后存放namenode的元數(shù)據(jù)奠定基礎(chǔ),所以journalnode一定要在namenode之前啟動(dòng)怔蚌。
在任意3臺(tái)服務(wù)器上分別啟動(dòng)Journalnode:

/probd/hadoop-2.6.3/sbin/hadoop-daemon.sh start journalnode

5.3 格式化并啟動(dòng)namenode
之前我們?cè)趆dfs-site.xml配置中指定了probd01和probd02作為主namenode和備namenode節(jié)點(diǎn)巩步,我們只需要格式化主namenode即可,然后需要先啟動(dòng)主namenode桦踊,因?yàn)橹挥袉?dòng)主namenode進(jìn)程后椅野,才能將其元數(shù)據(jù)復(fù)制到備的namenode上。
在namenode probd01上執(zhí)行

/probd/hadoop-2.6.3/bin/hdfs namenode -format
/probd/hadoop-2.6.3/bin/hadoop-daemon.sh start namenode

然后在secondarynamenode probd02上執(zhí)行

/probd/hadoop-2.6.3/bin/hdfs namenode -bootstrapStandby

5.4 格式化zkfc
只在主namenode上格式化zkfc,只是為了連接上zookeeper集群竟闪,然后在zookeeper集群上面創(chuàng)建一個(gè)znode節(jié)點(diǎn): /hadooop-ha/ns1离福,所以在哪里格式化zkfc其實(shí)不并重要,重要的是在zookeeper集群上創(chuàng)建znode炼蛤。
這里在probd01上執(zhí)行:

/probd/hadoop-2.6.3/bin/hdfs zkfc -formatZK

5.5 停掉主namenode進(jìn)程和所有的journalnode
先停掉probd01上的主namenode進(jìn)程和所有的journalnode妖爷,之后會(huì)通過(guò)start-dfs.sh腳本一次性重啟所有進(jìn)程。
在probd01上執(zhí)行:

/probd/hadoop-2.6.3/sbin/hadoop-daemon.sh stop namenode
/probd/hadoop-2.6.3/sbin/hadoop-daemons.sh stop journalnode

5.6 啟動(dòng)HDFS所有進(jìn)程
在probd01上上執(zhí)行

/probd/hadoop-2.6.3/sbin/start-dfs.sh 

5.7 啟動(dòng)yarn
在probd01上啟動(dòng)yarn:

/probd/hadoop-2.6.3/sbin/start-yarn.sh

在其它服務(wù)器分別啟動(dòng)resourcemanager:

/probd/hadoop-2.6.3/sbin/yarn-daemon.sh start resourcemanager

ok,Hadoop集群的搭建到此為止理朋。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末絮识,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子嗽上,更是在濱河造成了極大的恐慌次舌,老刑警劉巖,帶你破解...
    沈念sama閱讀 218,122評(píng)論 6 505
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件兽愤,死亡現(xiàn)場(chǎng)離奇詭異彼念,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)浅萧,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,070評(píng)論 3 395
  • 文/潘曉璐 我一進(jìn)店門逐沙,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人洼畅,你說(shuō)我怎么就攤上這事吩案。” “怎么了土思?”我有些...
    開封第一講書人閱讀 164,491評(píng)論 0 354
  • 文/不壞的土叔 我叫張陵务热,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我己儒,道長(zhǎng)崎岂,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,636評(píng)論 1 293
  • 正文 為了忘掉前任闪湾,我火速辦了婚禮冲甘,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘途样。我一直安慰自己江醇,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,676評(píng)論 6 392
  • 文/花漫 我一把揭開白布何暇。 她就那樣靜靜地躺著陶夜,像睡著了一般。 火紅的嫁衣襯著肌膚如雪裆站。 梳的紋絲不亂的頭發(fā)上条辟,一...
    開封第一講書人閱讀 51,541評(píng)論 1 305
  • 那天黔夭,我揣著相機(jī)與錄音,去河邊找鬼羽嫡。 笑死本姥,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的杭棵。 我是一名探鬼主播婚惫,決...
    沈念sama閱讀 40,292評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼魂爪!你這毒婦竟也來(lái)了先舷?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,211評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤滓侍,失蹤者是張志新(化名)和其女友劉穎密浑,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體粗井,經(jīng)...
    沈念sama閱讀 45,655評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,846評(píng)論 3 336
  • 正文 我和宋清朗相戀三年街图,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了浇衬。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,965評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡餐济,死狀恐怖耘擂,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情絮姆,我是刑警寧澤醉冤,帶...
    沈念sama閱讀 35,684評(píng)論 5 347
  • 正文 年R本政府宣布,位于F島的核電站篙悯,受9級(jí)特大地震影響蚁阳,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜鸽照,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,295評(píng)論 3 329
  • 文/蒙蒙 一螺捐、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧矮燎,春花似錦定血、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,894評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至峡谊,卻和暖如春茫虽,著一層夾襖步出監(jiān)牢的瞬間刊苍,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,012評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工席噩, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留班缰,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 48,126評(píng)論 3 370
  • 正文 我出身青樓悼枢,卻偏偏與公主長(zhǎng)得像埠忘,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子馒索,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,914評(píng)論 2 355