CentOS7安裝Hadoop集群

安裝Hadoop之前奉狈,請(qǐng)先安裝好zookeeper集群并啟動(dòng)
參考 CentOS7安裝Zookeeper集群

我這里準(zhǔn)備了三臺(tái)服務(wù)器,一臺(tái)主機(jī)名為hadoop1(做NameNode)孽椰,一臺(tái)主機(jī)名為hadoop2(做DataNode),一臺(tái)主機(jī)名為hadoop3(做DataNode)

192.168.1.186(hadoop1)
192.168.1.188(hadoop2)
192.168.1.18(hadoop3)

創(chuàng)建名為 hadoop 的用戶野芒,參考CentOS7建立用戶

將所有hadoop服務(wù)器框杜,配置好 hadoop 用戶的免密碼登錄,讓所有hadoop主機(jī)之間可以免密碼互通
參考 CentOS7配置ssh無密碼登錄

設(shè)置好zookeeper踱蠢、hadoop所有服務(wù)器的 hosts 文件的內(nèi)容

192.168.1.232   zookeeper1
192.168.1.200   zookeeper2
192.168.1.233   zookeeper3

192.168.1.186   hadoop1
192.168.1.188   hadoop2
192.168.1.18    hadoop3

切換到 hadoop 用戶火欧,安裝并配置hadoop,從http://hadoop.apache.org/releases.html找到一個(gè)你想要的版本茎截,下載binary包(下載到hadoop1機(jī)上苇侵,配置完畢以后再?gòu)?fù)制到其他機(jī)器上),我這里下載的是hadoop-2.7.3.tar.gz

su hadoop
cd ~
wget http://119.90.25.43/mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

解壓縮企锌,并重命名為hadoop

tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop

編輯 hadoop-env.sh 文件榆浓,修改JAVA_HOME部分,不知道java按照位置的請(qǐng)參考CentOS7安裝OpenJDK

vi ~/hadoop/etc/hadoop/hadoop-env.sh

編輯 yarn-env.sh 文件撕攒,修改JAVA_HOME部分

vi ~/hadoop/etc/hadoop/yarn-env.sh

編輯 slaves 文件陡鹃,添加DataNode節(jié)點(diǎn)服務(wù)器的主機(jī)名,我這里添加了兩個(gè)

vi ~/hadoop/etc/hadoop/slaves

建立臨時(shí)文件夾

mkdir ~/hadoop/tmp

編輯 core-site.xml 文件

vi ~/hadoop/etc/hadoop/core-site.xml

添加如下內(nèi)容

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>zookeeper1:2181,zookeeper2:2181,zookeeper3:2181</value>
</property>
</configuration>

編輯 hdfs-site.xml 文件

vi ~/hadoop/etc/hadoop/hdfs-site.xml

添加如下內(nèi)容

<configuration>
<property>
<name>dfs.http.address</name>
<value>hadoop1:50070</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

復(fù)制 mapred-site.xml.template 文件為 mapred-site.xml

cp ~/hadoop/etc/hadoop/mapred-site.xml.template ~/hadoop/etc/hadoop/mapred-site.xml

編輯其內(nèi)容

vi ~/hadoop/etc/hadoop/mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop1:9001</value>
</property>
<property>
<name>mapred.map.tasks</name>
<value>20</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>4</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>
</configuration>

修改 yarn-site.xml 文件

vi ~/hadoop/etc/hadoop/yarn-site.xml

將其內(nèi)容修改為

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
 <name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
 <value>hadoop1:8030</value>
</property>
<property>
 <name>yarn.resourcemanager.webapp.address</name>
 <value>hadoop1:8088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop1:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

將配置好的hadoop文件夾復(fù)制到其他節(jié)點(diǎn)機(jī)器

scp -r ~/hadoop hadoop@hadoop2:~/
scp -r ~/hadoop hadoop@hadoop3:~/
cd ~/hadoop
./bin/hdfs namenode -format
./sbin/start-all.sh
啟動(dòng)完畢

在NameNode機(jī)器中抖坪,使用jps命令杉适,看到下面內(nèi)容就說明成功了


在其他DataNode節(jié)點(diǎn)查看jps



可以打開瀏覽器,查看http://192.168.1.186:50070
一般我們是使用http://hadoop1:50070這個(gè)地址訪問柳击,因?yàn)閔adoop1才是NameNode機(jī)器,當(dāng)然片习,這需要你打開瀏覽器的那臺(tái)機(jī)器配置hosts文件

停止hadoop的命令

./sbin/stop-all.sh
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末捌肴,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子藕咏,更是在濱河造成了極大的恐慌状知,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,884評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件孽查,死亡現(xiàn)場(chǎng)離奇詭異饥悴,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)盲再,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,347評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門西设,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人答朋,你說我怎么就攤上這事贷揽。” “怎么了梦碗?”我有些...
    開封第一講書人閱讀 157,435評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵禽绪,是天一觀的道長(zhǎng)蓖救。 經(jīng)常有香客問我,道長(zhǎng)印屁,這世上最難降的妖魔是什么循捺? 我笑而不...
    開封第一講書人閱讀 56,509評(píng)論 1 284
  • 正文 為了忘掉前任,我火速辦了婚禮雄人,結(jié)果婚禮上从橘,老公的妹妹穿的比我還像新娘。我一直安慰自己柠衍,他們只是感情好洋满,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,611評(píng)論 6 386
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著珍坊,像睡著了一般牺勾。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上阵漏,一...
    開封第一講書人閱讀 49,837評(píng)論 1 290
  • 那天驻民,我揣著相機(jī)與錄音,去河邊找鬼履怯。 笑死回还,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的叹洲。 我是一名探鬼主播柠硕,決...
    沈念sama閱讀 38,987評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼运提!你這毒婦竟也來了蝗柔?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,730評(píng)論 0 267
  • 序言:老撾萬榮一對(duì)情侶失蹤民泵,失蹤者是張志新(化名)和其女友劉穎癣丧,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體栈妆,經(jīng)...
    沈念sama閱讀 44,194評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡胁编,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,525評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了鳞尔。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片嬉橙。...
    茶點(diǎn)故事閱讀 38,664評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖寥假,靈堂內(nèi)的尸體忽然破棺而出憎夷,到底是詐尸還是另有隱情,我是刑警寧澤昧旨,帶...
    沈念sama閱讀 34,334評(píng)論 4 330
  • 正文 年R本政府宣布拾给,位于F島的核電站祥得,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏蒋得。R本人自食惡果不足惜级及,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,944評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望额衙。 院中可真熱鬧饮焦,春花似錦、人聲如沸窍侧。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,764評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽伟件。三九已至硼啤,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間斧账,已是汗流浹背谴返。 一陣腳步聲響...
    開封第一講書人閱讀 31,997評(píng)論 1 266
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留咧织,地道東北人嗓袱。 一個(gè)月前我還...
    沈念sama閱讀 46,389評(píng)論 2 360
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像习绢,于是被迫代替她去往敵國(guó)和親渠抹。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,554評(píng)論 2 349

推薦閱讀更多精彩內(nèi)容