hadoop-2.6.5 集群搭建

1、官網(wǎng)下載hadoop-2.6.5.tar.gz 安裝包(下載地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop- 2.6.5/hadoop-2.6.5.tar.gz)孕蝉,上傳到虛擬機(jī)沿量。
2耸三、將hadoop包進(jìn)行解壓縮:tar -zxvf hadoop-2.6.5.tar.gz
3昼牛、修改hadoop-env.sh(告訴其java的運(yùn)行環(huán)境):
編輯vim hadoop-2.6.5/etc/hadoop/hadoop-env.sh
修改export JAVA_HOME=/home/linux/java/jdk1.7.0_80
4、配置hadoop相關(guān)環(huán)境變量:

HADOOP_HOME=/home/linux/hadoop/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile
輸入hadoop命令泽铛,顯示以下命令:

Paste_Image.png
則hadoop安裝成功

修改hadoop-2.6.5/etc/hadoop/core-site.xml文件:

#所有節(jié)點(diǎn)都需添加此配置
<property>
  <name>fs.default.name</name>
  <value>hdfs://master:9000</value>
</property>
hdfs系統(tǒng)會(huì)把用到的數(shù)據(jù)存儲(chǔ)在core-site.xml中由hadoop.tmp.dir指定壮韭,而這個(gè)值默認(rèn)位于/tmp/hadoop-${user.name}下面北发, 
由于/tmp目錄在系統(tǒng)重啟時(shí)候會(huì)被刪除,所以應(yīng)該修改目錄位置喷屋。 修改core-site.xml(在所有站點(diǎn)上都修改)
<property>
  <name>hadoop.tmp.dir</name>
  <value>/var/hadoop</value>
</property>

執(zhí)行命令:hdfs namenode -format --格式化namenode數(shù)據(jù)存儲(chǔ)目錄
創(chuàng)建hadoop/data目錄
修改hadoop-2.6.5/etc/hadoop/hdfs-site.xml文件:

#指定數(shù)據(jù)存儲(chǔ)目錄
#master站點(diǎn)配置
<property>
  <name>dfs.name.dir</name>
  <value>/home/linux/tools/hadoop/data/namenode</value>
</property>
slave所有節(jié)點(diǎn)配置
<property>
  <name>dfs.data.dir</name>
  <value>/home/linux/tools/hadoop/data/datanode</value>
</property>
<property>
所有站點(diǎn)都配置
  <name>dfs.tmp.dir</name>
  <value>/home/linux/tools/hadoop/data/tmp</value>
</property>
#指定數(shù)據(jù)備份數(shù)
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>


hadoop集群?jiǎn)?dòng)命令:

namenode執(zhí)行命令:
hadoop-daemon.sh start namenode --啟動(dòng)namenode
datenode執(zhí)行命令:
hadoop-daemon.sh start datenode --啟動(dòng)datenode
執(zhí)行命令:jps #查看啟動(dòng)進(jìn)程

hadoop集群關(guān)閉命令:

namenode執(zhí)行命令:
hadoop-daemon.sh stop namenode --關(guān)閉namenode
datenode執(zhí)行命令:
hadoop-daemon.sh stopdatenode --關(guān)閉datenode

--關(guān)閉防火墻琳拨,命令:systemctl stop firewalld
hadoop集群web監(jiān)控界面訪問(wèn)地址:http://master:50070

hadoop集群統(tǒng)一管理配置:

修改master節(jié)點(diǎn)下/hadoop/etc/hadoop/slaves文件:
vim /hadoop/etc/hadoop/slaves
添加datanode:

node1
node2
node3

在master上執(zhí)行命令:

start-dfs.sh  #啟動(dòng)整個(gè)集群
      (備注:建議對(duì)集群配置免密登錄(配置方法:http://www.reibang.com/p/e3308b9c3fbe);
      因?yàn)槟J(rèn)啟動(dòng)會(huì)遠(yuǎn)程登錄到每個(gè)節(jié)點(diǎn)上進(jìn)行啟動(dòng)屯曹,包括自身主節(jié)點(diǎn)从绘,如果未配置則每次要手動(dòng)輸入每臺(tái)登錄的密碼寄疏。)
stop-dfs.sh  #關(guān)閉整個(gè)集群
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市僵井,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌驳棱,老刑警劉巖批什,帶你破解...
    沈念sama閱讀 221,198評(píng)論 6 514
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異社搅,居然都是意外死亡驻债,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,334評(píng)論 3 398
  • 文/潘曉璐 我一進(jìn)店門(mén)形葬,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)合呐,“玉大人,你說(shuō)我怎么就攤上這事笙以√适担” “怎么了?”我有些...
    開(kāi)封第一講書(shū)人閱讀 167,643評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵猖腕,是天一觀的道長(zhǎng)拆祈。 經(jīng)常有香客問(wèn)我,道長(zhǎng)倘感,這世上最難降的妖魔是什么放坏? 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 59,495評(píng)論 1 296
  • 正文 為了忘掉前任,我火速辦了婚禮老玛,結(jié)果婚禮上淤年,老公的妹妹穿的比我還像新娘。我一直安慰自己蜡豹,他們只是感情好麸粮,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,502評(píng)論 6 397
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著余素,像睡著了一般豹休。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上桨吊,一...
    開(kāi)封第一講書(shū)人閱讀 52,156評(píng)論 1 308
  • 那天威根,我揣著相機(jī)與錄音,去河邊找鬼视乐。 笑死洛搀,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的佑淀。 我是一名探鬼主播留美,決...
    沈念sama閱讀 40,743評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了谎砾?” 一聲冷哼從身側(cè)響起逢倍,我...
    開(kāi)封第一講書(shū)人閱讀 39,659評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎景图,沒(méi)想到半個(gè)月后较雕,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 46,200評(píng)論 1 319
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡挚币,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,282評(píng)論 3 340
  • 正文 我和宋清朗相戀三年亮蒋,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片妆毕。...
    茶點(diǎn)故事閱讀 40,424評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡慎玖,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出笛粘,到底是詐尸還是另有隱情趁怔,我是刑警寧澤,帶...
    沈念sama閱讀 36,107評(píng)論 5 349
  • 正文 年R本政府宣布闰蛔,位于F島的核電站痕钢,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏序六。R本人自食惡果不足惜任连,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,789評(píng)論 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望例诀。 院中可真熱鬧随抠,春花似錦、人聲如沸繁涂。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,264評(píng)論 0 23
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)扔罪。三九已至秉沼,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間矿酵,已是汗流浹背唬复。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,390評(píng)論 1 271
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留全肮,地道東北人敞咧。 一個(gè)月前我還...
    沈念sama閱讀 48,798評(píng)論 3 376
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像辜腺,于是被迫代替她去往敵國(guó)和親休建。 傳聞我的和親對(duì)象是個(gè)殘疾皇子乍恐,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,435評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容

  • 1. Zookeeper介紹: 1.基本介紹: Zookeeper: 為分布式應(yīng)用提供分布式協(xié)作(協(xié)調(diào))服務(wù)。使用...
    奉先閱讀 4,579評(píng)論 0 10
  • 簡(jiǎn)述 hadoop 集群一共有4種部署模式测砂,詳見(jiàn)《hadoop 生態(tài)圈介紹》茵烈。HA模式的集群里面會(huì)部署兩臺(tái)NN(最...
    mtide閱讀 7,025評(píng)論 0 10
  • hadoop集群HA環(huán)境搭建 準(zhǔn)備工具 VMware12安裝包瞧毙, 破解序列號(hào):5A02H-AU243-TZJ49-...
    485b1aca799e閱讀 2,134評(píng)論 1 1
  • 版權(quán)聲明:本文為博主原創(chuàng)文章,未經(jīng)博主允許不得轉(zhuǎn)載寄症。 目錄-[-]1 先決條件2 實(shí)驗(yàn)環(huán)境搭建 21 準(zhǔn)備工...
    三三At你閱讀 843評(píng)論 0 3
  • 時(shí)間管理 只要你愿意,你的一天將是四十八小時(shí)矩动,而不是二十四小時(shí)有巧。 時(shí)間就是上帝給你的資本。命運(yùn)之神是公平的悲没,他給每...
    煜寶閱讀 182評(píng)論 0 0