Hadoop3.2 集群搭建

Hadoop3.2 集群新版本的搭建詳細(xì)講解過(guò)程,從下面第一張官方的圖來(lái)看,最新版是3.2散庶,所以大豬將使用3.2的版本來(lái)演示,過(guò)程中遇到的坑留給自己凌净,把路留給你們悲龟,IT之路還有大豬。

大豬 為了把文章壓縮極簡(jiǎn)方便小伙伴閱讀冰寻,將使用root帳號(hào)進(jìn)行所有操作须教。

  1. 準(zhǔn)備兩臺(tái)主機(jī)10.211.55.1110.211.55.12

  2. 對(duì)應(yīng)的hostname為m1.example.com斩芭、m2.example.com
    具體命令操作如下

  3. 主機(jī)免密鑰登錄


  1. 同步hosts


  1. 下載 jdk1.8

  2. 配置Java環(huán)境


  3. 環(huán)境變量生效 source /etc/profile

  1. 兩臺(tái)主機(jī)創(chuàng)建好hadoop的文件夾


  1. 環(huán)境配置 hadoop-3.2.0.tar.gz

  2. 參數(shù)配置

運(yùn)行用戶操作轻腺,添加如下幾句到 /soft/hadoop/etc/hadoop/hadoop-env.sh

  1. 環(huán)境變量生效 source /etc/profile

  2. hadoop 配置文件

core-site.xml 配置


hdfs-site.xml 配置


yarn-site.xml 配置


mapred-site.xml 配置


  1. 格式化name文件夾 hadoop namenode -format

  2. 啟動(dòng) start-all.sh
    成功結(jié)果如下

  3. 訪問(wèn) http://m1.example.com:8088/cluster

心明眼亮的你、從此刻開(kāi)始划乖。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末贬养,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子琴庵,更是在濱河造成了極大的恐慌误算,老刑警劉巖,帶你破解...
    沈念sama閱讀 211,639評(píng)論 6 492
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件细卧,死亡現(xiàn)場(chǎng)離奇詭異尉桩,居然都是意外死亡,警方通過(guò)查閱死者的電腦和手機(jī)贪庙,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 90,277評(píng)論 3 385
  • 文/潘曉璐 我一進(jìn)店門蜘犁,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái),“玉大人止邮,你說(shuō)我怎么就攤上這事这橙。” “怎么了导披?”我有些...
    開(kāi)封第一講書人閱讀 157,221評(píng)論 0 348
  • 文/不壞的土叔 我叫張陵屈扎,是天一觀的道長(zhǎng)。 經(jīng)常有香客問(wèn)我撩匕,道長(zhǎng)鹰晨,這世上最難降的妖魔是什么? 我笑而不...
    開(kāi)封第一講書人閱讀 56,474評(píng)論 1 283
  • 正文 為了忘掉前任,我火速辦了婚禮模蜡,結(jié)果婚禮上漠趁,老公的妹妹穿的比我還像新娘。我一直安慰自己忍疾,他們只是感情好闯传,可當(dāng)我...
    茶點(diǎn)故事閱讀 65,570評(píng)論 6 386
  • 文/花漫 我一把揭開(kāi)白布。 她就那樣靜靜地躺著卤妒,像睡著了一般甥绿。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上则披,一...
    開(kāi)封第一講書人閱讀 49,816評(píng)論 1 290
  • 那天共缕,我揣著相機(jī)與錄音,去河邊找鬼收叶。 笑死骄呼,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的判没。 我是一名探鬼主播蜓萄,決...
    沈念sama閱讀 38,957評(píng)論 3 408
  • 文/蒼蘭香墨 我猛地睜開(kāi)眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼澄峰!你這毒婦竟也來(lái)了嫉沽?” 一聲冷哼從身側(cè)響起,我...
    開(kāi)封第一講書人閱讀 37,718評(píng)論 0 266
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤俏竞,失蹤者是張志新(化名)和其女友劉穎绸硕,沒(méi)想到半個(gè)月后,有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體魂毁,經(jīng)...
    沈念sama閱讀 44,176評(píng)論 1 303
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡玻佩,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,511評(píng)論 2 327
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了席楚。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片咬崔。...
    茶點(diǎn)故事閱讀 38,646評(píng)論 1 340
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖烦秩,靈堂內(nèi)的尸體忽然破棺而出垮斯,到底是詐尸還是另有隱情,我是刑警寧澤只祠,帶...
    沈念sama閱讀 34,322評(píng)論 4 330
  • 正文 年R本政府宣布兜蠕,位于F島的核電站,受9級(jí)特大地震影響抛寝,放射性物質(zhì)發(fā)生泄漏熊杨。R本人自食惡果不足惜曙旭,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,934評(píng)論 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望晶府。 院中可真熱鬧夷狰,春花似錦、人聲如沸郊霎。這莊子的主人今日做“春日...
    開(kāi)封第一講書人閱讀 30,755評(píng)論 0 21
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)书劝。三九已至,卻和暖如春土至,著一層夾襖步出監(jiān)牢的瞬間购对,已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書人閱讀 31,987評(píng)論 1 266
  • 我被黑心中介騙來(lái)泰國(guó)打工陶因, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留骡苞,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 46,358評(píng)論 2 360
  • 正文 我出身青樓楷扬,卻偏偏與公主長(zhǎng)得像解幽,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子烘苹,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 43,514評(píng)論 2 348

推薦閱讀更多精彩內(nèi)容

  • 新鮮文章躲株,昨天剛經(jīng)過(guò)線上驗(yàn)證過(guò)的,使用它導(dǎo)出了3億的用戶數(shù)據(jù)出來(lái)镣衡,花了半個(gè)小時(shí)霜定,性能還是穩(wěn)穩(wěn)的,好了不吹牛皮了廊鸥,直...
    kikiki2閱讀 135評(píng)論 0 2
  • 通過(guò)spark-submit會(huì)固定占用一占的資源望浩,有什么辦法,在任務(wù)不運(yùn)作的時(shí)候?qū)①Y源釋放惰说,讓其它任務(wù)使用呢磨德,ya...
    kikiki2閱讀 218評(píng)論 0 2
  • 在Flink中我們有時(shí)候需要分析數(shù)據(jù)1點(diǎn)到2點(diǎn)的范圍,可是經(jīng)過(guò)Region又比較慢,這時(shí)候我們就可以定制Table...
    kikiki2閱讀 156評(píng)論 0 1
  • 在這樣一種場(chǎng)景助被,用戶的登錄行為數(shù)據(jù)都會(huì)以LoginEvent的行式記錄下來(lái)剖张,每次失敗或者成功以及錯(cuò)誤都會(huì)記錄下來(lái),...
    kikiki2閱讀 222評(píng)論 0 2
  • 在Phoenix客戶端使用自定義函數(shù)UDF時(shí)候是正常的,但是在本地測(cè)試的時(shí)候報(bào)Function類找不到的異常揩环。 異...
    kikiki2閱讀 141評(píng)論 0 2