hadoop安裝與集群

啟動(dòng)hadoop集群
在hadoop01上輸入start-dfs.sh
在hadoop01上輸入start-yarn.sh
在hadoop02上/opt/modules/app/hadoop/sbin輸入./yarn-daemon.sh start resourcemanager啟動(dòng)ResourceManager
在hadoop01上/opt/modules/app/hadoop/sbin/輸入mr-jobhistory-daemon.sh start historyserver啟動(dòng)historyserver
在windows上配置主機(jī)名
然后使用主機(jī)名啟動(dòng)
hadoop01:50070
hadoop02:8088

1.克隆虛擬機(jī)3個(gè) 配置上ip

http://www.reibang.com/p/c04532d6a4da

2.修改主機(jī)名

vim /etc/sysconfig/network
hadoop01 
hadoop02 
hadoop03
然后重啟虛擬機(jī) 
reboot 命令

3.綁定虛擬機(jī)的主機(jī)名和IP

vim /etc/hosts
192.168.121.140    hadoop01
192.168.121.141    hadoop02
192.168.121.142    hadoop03

4.規(guī)劃

hadoop01 hadoop02 hadoop03
Namenode ResourceManager
DataNode DataNode DataNodede
NodeManager NodeManager NodeManager
HistoryServer SecondayNameNode

5.在一臺(tái)主機(jī)上裝hadoop 然后使用scp命令拷貝到其他虛擬機(jī)上

6.在opt里建modules/app 目錄

mkdir -p modules/app
將 hadoop-2.8.3.jar.gz文件解壓到這個(gè)文件下
tar   -zxvf   hadoop-2.8.3.jar.gz
修改名字為hadoop
mv  hadoop-2.8.3  hadoop

7. 配置Hadoop JDK路徑修改hadoop-env.sh箩帚、mapred-env.sh校赤、yarn-env.sh文件中的JDK路徑：

java -version

添加環(huán)境變量
vim /etc/profile

export HADOOP_HOME=/opt/modules/app/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc /profile  生效

在/opt/modules/app/hadoop/etc/hadoop 修改配置文件hadoop-env.sh、mapred-env.sh癌佩、yarn-env.sh添加java_home的環(huán)境變量

export  JAVA_HOME="/opt/jdk1.8"

8嗜憔、配置core-site.xml

vim core-site.xml

<configuration>                //Namenode主機(jī)地址 這上是放在hadoop01上
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop01:8020</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/modules/app/hadoop2.5.0/data/tmp</value>
 </property>
</configuration>

fs.defaultFS為NameNode的地址秃励。

hadoop.tmp.dir為hadoop臨時(shí)目錄的地址，默認(rèn)情況下吉捶，NameNode和DataNode的數(shù)據(jù)文件都會(huì)存在這個(gè)目錄下的對(duì)應(yīng)子目錄下夺鲜。應(yīng)該保證此目錄是存在的皆尔，如果不存在，先創(chuàng)建币励。
mkdir  -p  /opt/modules/app/hadoop2.5.0/data/tmp

9慷蠕、在/opt/modules/app/hadoop/etc/hadoop 修改配置hdfs-site.xml

啟動(dòng)secondnamenode在hadoop03上主機(jī)上

vim    hdfs-site.xml

<configuration>
 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop03:50090</value>
 </property>
</configuration>

dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪(fǎng)問(wèn)地址和端口號(hào)，因?yàn)樵谝?guī)劃中榄审，我們將hadoop03規(guī)劃為SecondaryNameNode服務(wù)器砌们。

所以這里設(shè)置為：hadoop03:50090

10杆麸、在/opt/modules/app/hadoop/etc/hadoop 修改配置slaves

vim   slaves

hadoop01
hadoop02
hadoop03

slaves文件是指定HDFS上有哪些DataNode節(jié)點(diǎn)搁进。

11、在/opt/modules/app/hadoop/etc/hadoop 修改配置yarn-site.xml

vim   yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop02</value>
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>


根據(jù)規(guī)劃yarn.resourcemanager.hostname這個(gè)指定resourcemanager服務(wù)器指向hadoop02

yarn.log-aggregation-enable是配置是否啟用日志聚集功能昔头。

yarn.log-aggregation.retain-seconds是配置聚集的日志在HDFS上最多保存多長(zhǎng)時(shí)間

12饼问、在/opt/modules/app/hadoop/etc/hadoop 修改配置mapred-site.xml

從mapred-site.xml.template復(fù)制一個(gè)mapred-site.xml文件。

cp    mapred-site.xml.template    mapred-site.xml
vim   mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop01:19888</value>
    </property>


mapreduce.framework.name設(shè)置mapreduce任務(wù)運(yùn)行在yarn上揭斧。

mapreduce.jobhistory.address是設(shè)置mapreduce的歷史服務(wù)器安裝在hadoop01機(jī)器上莱革。

mapreduce.jobhistory.webapp.address是設(shè)置歷史服務(wù)器的web頁(yè)面地址和端口號(hào)。

13.設(shè)置SSH無(wú)密碼登錄

Hadoop集群中的各個(gè)機(jī)器間會(huì)相互地通過(guò)SSH訪(fǎng)問(wèn)讹开，每次訪(fǎng)問(wèn)都輸入密碼是不現(xiàn)實(shí)的盅视，所以要配置各個(gè)機(jī)器間的
所有虛擬機(jī)都要做
SSH是無(wú)密碼登錄的。
1). 在hadoop01上生成公鑰

    在/opt/modules/app/hadoop里輸入ssh-keygen -t rsa
    一路回車(chē)

2).把公鑰發(fā)給所有電腦(包括自己)

    yum install ssh-clients
    yum install -y openssh-clients
    [hadoop@hadoop01 hadoop]$ ssh-copy-id hadoop01
    [hadoop@hadoop02 hadoop]$ ssh-copy-id hadoop02
    [hadoop@hadoop03 hadoop]$ ssh-copy-id hadoop03

3). 設(shè)置hadoop02旦万、hadoop03到其他機(jī)器的無(wú)密鑰登錄
同樣的在hadoop02闹击、hadoop03上生成公鑰和私鑰后，將公鑰分發(fā)到三臺(tái)機(jī)器上成艘。
4).把上述1.2命令在其他虛擬機(jī)上再做一遍,分發(fā)公鑰

14.分發(fā)Hadoop文件

1赏半、首先在其他兩臺(tái)機(jī)器上創(chuàng)建存放Hadoop的目錄

[hadoop@hadoop02 ~]$ mkdir /opt/modules/app
[hadoop@hadoop03 ~]$ mkdir /opt/modules/app

2、通過(guò)Scp分發(fā)

Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔淆两，文件相當(dāng)大断箫，建議在分發(fā)之前將這個(gè)目錄刪除掉，可以節(jié)省硬盤(pán)空間并能提高分發(fā)的速度秋冰。

doc目錄大小有1.6G仲义。

[hadoop@hadoop01 hadoop]$ du -sh /opt/modules/app/hadoop/share/doc
1.6G    
rm  -rf  /opt/modules/app/hadoop/share/doc
[hadoop@hadoop02 hadoop]$ scp -r /opt/modules/app/hadoop/ hadoop02:/opt/modules/app
[hadoop@hadoop03 hadoop]$ scp -r /opt/modules/app/hadoop/ hadoop03:/opt/modules/app

15.格式化NameNode

1).在NameNode機(jī)器上執(zhí)行格式化：

[hadoop@hadoop01 hadoop]$hdfs namenode -format

/opt/modules/app/hadoop-2.5.0/data/tmp
注意：

如果需要重新格式化NameNode,需要先將原來(lái)NameNode和DataNode下的文件全部刪除，不然會(huì)報(bào)錯(cuò)剑勾，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir埃撵、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的甥材。

<property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
  </property>
<property>
     <name>dfs.namenode.name.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/name</value>
  </property>
<property>
     <name>dfs.datanode.data.dir</name>
     <value>file://${hadoop.tmp.dir}/dfs/data</value>
  </property>

因?yàn)槊看胃袷交⒘恚J(rèn)是創(chuàng)建一個(gè)集群ID，并寫(xiě)入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄為dfs/name/current 和 dfs/data/current）洲赵，重新格式化時(shí)鸳惯，默認(rèn)會(huì)生成一個(gè)新的集群ID,如果不刪除原來(lái)的目錄商蕴，會(huì)導(dǎo)致namenode中的VERSION文件中是新的集群ID,而DataNode中是舊的集群ID，不一致時(shí)會(huì)報(bào)錯(cuò)芝发。

另一種方法是格式化時(shí)指定集群ID參數(shù)绪商，指定為舊的集群ID。

16.啟動(dòng)hadoop集群

1)辅鲸、啟動(dòng)HDFS

[hadoop@hadoop01 hadoop]$ start-dfs.sh

image.png

2)格郁、啟動(dòng)YARN

[hadoop@hadoop01 hadoop]$ /opt/modules/app/hadoop/sbin/start-yarn.sh

在hadoop02上啟動(dòng)ResourceManager:

[hadoop@hadoop02 hadoop]$ sbin/yarn-daemon.sh start resourcemanager

image.png

3)、啟動(dòng)日志服務(wù)器

因?yàn)槲覀円?guī)劃的是在hadoop01服務(wù)器上運(yùn)行MapReduce日志服務(wù)独悴，所以要在hadoop01上啟動(dòng)例书。

[hadoop@hadoop01 ~]$ /opt/modules/app/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/modules/app/hadoop/logs/mapred-hadoop-historyserver-hadoop01

[hadoop@bigdata-senior03 ~]$ jps
3570 Jps
3537 JobHistoryServer
3310 SecondaryNameNode
3213 DataNode
3392 NodeManager

4)、查看HDFS Web頁(yè)面

http://hadoop01:50070/

5)刻炒、查看YARN Web 頁(yè)面

http://hadoop02:8088/cluster

6).修改C:\Windows\System32\drivers\etc下的hosts文件
添加
192.168.121.140 hadoop01
192.168.121.141 hadoop02
192.168.121.142 hadoop03

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末决采，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子坟奥，更是在濱河造成了極大的恐慌树瞭，老刑警劉巖，帶你破解...
沈念sama閱讀 216,470評(píng)論 6贊 501
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件爱谁，死亡現(xiàn)場(chǎng)離奇詭異晒喷，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)访敌，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,393評(píng)論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門(mén)凉敲，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人捐顷，你說(shuō)我怎么就攤上這事荡陷。” “怎么了迅涮？”我有些...
開(kāi)封第一講書(shū)人閱讀 162,577評(píng)論 0贊 353
道士緝兇錄：失蹤的賣(mài)姜人
文/不壞的土叔我叫張陵废赞，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我叮姑，道長(zhǎng)唉地，這世上最難降的妖魔是什么？我笑而不...
開(kāi)封第一講書(shū)人閱讀 58,176評(píng)論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任传透，我火速辦了婚禮耘沼，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘朱盐。我一直安慰自己群嗤，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 67,189評(píng)論 6贊 388
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開(kāi)白布兵琳。她就那樣靜靜地躺著狂秘，像睡著了一般骇径。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上者春，一...
開(kāi)封第一講書(shū)人閱讀 51,155評(píng)論 1贊 299
城市分裂傳說(shuō)
那天破衔，我揣著相機(jī)與錄音，去河邊找鬼钱烟。笑死晰筛，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的拴袭。我是一名探鬼主播读第，決...
沈念sama閱讀 40,041評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開(kāi)眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼稻扬！你這毒婦竟也來(lái)了卦方？” 一聲冷哼從身側(cè)響起羊瘩，我...
開(kāi)封第一講書(shū)人閱讀 38,903評(píng)論 0贊 274
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤泰佳，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后尘吗，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體逝她，經(jīng)...
沈念sama閱讀 45,319評(píng)論 1贊 310
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,539評(píng)論 2贊 332
?白月光啟示錄
正文我和宋清朗相戀三年睬捶，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了黔宛。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 39,703評(píng)論 1贊 348
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡擒贸，死狀恐怖臀晃，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情介劫，我是刑警寧澤徽惋，帶...
沈念sama閱讀 35,417評(píng)論 5贊 343
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站座韵，受9級(jí)特大地震影響险绘，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜誉碴，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,013評(píng)論 3贊 325
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一宦棺、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧黔帕，春花似錦代咸、人聲如沸。這莊子的主人今日做“春日...
開(kāi)封第一講書(shū)人閱讀 31,664評(píng)論 0贊 22
一樁弒父案呐芥，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)白华。三九已至，卻和暖如春贩耐，著一層夾襖步出監(jiān)牢的瞬間弧腥，已是汗流浹背。一陣腳步聲響...
開(kāi)封第一講書(shū)人閱讀 32,818評(píng)論 1贊 269
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工潮太，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留管搪，地道東北人。一個(gè)月前我還...
沈念sama閱讀 47,711評(píng)論 2贊 368
代替公主和親
正文我出身青樓铡买，卻偏偏與公主長(zhǎng)得像更鲁，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子奇钞，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,601評(píng)論 2贊 353