hadoop的搭建筆記2-完全分布式搭建

分三步走:
一、機(jī)器的規(guī)劃


屏幕快照 2018-02-27 13.56.08.png

datanode 和nodemanager每臺(tái)機(jī)器都搭配 一個(gè)作為數(shù)據(jù)存儲(chǔ) 淮逻,一個(gè)數(shù)據(jù)分析
領(lǐng)導(dǎo)者: 一號(hào)機(jī)分配namenode
二號(hào)機(jī) resourcemanager
三號(hào)機(jī)secondarymanager
一號(hào)機(jī)多一個(gè)historyserver

規(guī)劃好以后就開始搭建,不在之前的偽分布式里面進(jìn)行了阁簸,這里重新建一個(gè)app文件夾來(lái)進(jìn)行
屏幕快照 2018-02-27 14.03.10.png

二爬早、搭建
分三小步:1.前期準(zhǔn)備
2.修改那三個(gè)-env.sh文件
3.修改相關(guān)的 -site.xml文件

開始:
解壓到app目錄下, 然后刪除share下的doc


屏幕快照 2018-02-27 14.09.07.png

修改的三個(gè)文件:


![屏幕快照 2018-02-27 14.12.41.png](http://upload-images.jianshu.io/upload_images/417433-036b2185200e9054.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

1· hadoop-env.sh
2· yarn-env.sh
3· mapred-env.sh文件

配置上java 的路徑
export JAVA_HOME="java的解壓路徑"

然后是修改四個(gè)-site.xml文件 請(qǐng)參考《hadoop的搭建筆記》那里


屏幕快照 2018-02-27 14.19.03.png

1.core-site.xml
2.hdfs-site.xml
3.yarn-site.xml
4.mapred-site.xml

1.core-site.xml:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lyanmei001:8020</value> //一個(gè)默認(rèn)的入口
</property>
<property>
<name>hadoop.tmp.dir</name> //緩存目錄
<value>/opt/moduels/hadoop-2.5.0/data/tmp</value> //沒(méi)有這個(gè)目錄 需要去先把這個(gè)目錄建好
</property>
</configuration>

所以先退出回來(lái)建緩存文件夾
屏幕快照 2018-02-27 14.40.13.png

2.hdfs-site.xml
<property>
<name>dfs.replication</name> //待定 應(yīng)該如圖配置的是權(quán)限是否開啟
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name> //secondarynamenode的配置
<value>yanmei003:50090</value> //放到的三號(hào)機(jī)上面
</property>

屏幕快照 2018-02-27 14.45.47.png

3.mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>       //歷史服務(wù)器  在一號(hào)機(jī)上  所以要加上
    <name>mapreduce.jobhistory.address</name>
    <value>yanmei001:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>yanmei001:19888</value>
</property>
屏幕快照 2018-02-27 14.49.43.png

記得改mapred-site.xml的名字
用mv 移動(dòng)的時(shí)候就可以改名了


屏幕快照 2018-02-27 14.52.37.png

4.yarn-site.xml


屏幕快照 2018-02-27 14.54.19.png

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>yanmei002</value>
</property>

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name> //緩存時(shí)間
<value>604800</value>
</property>
</configuration>

解釋點(diǎn):
<property>
<name>yarn.resourcemanager.hostname</name> //resourcemanager 在2號(hào)機(jī)器上 yanmei002
<value>yanmei002</value>
</property>

到這搭建就完成了 启妹,不過(guò)只是在一號(hào)機(jī)器上搭建了 筛严,
其他機(jī)器怎么辦了,兩個(gè)方法 :
1.去解壓重復(fù)以上步驟
2.直接拷貝過(guò)去 (先在個(gè)機(jī)器上建好存儲(chǔ)拷貝內(nèi)容的文件夾)


屏幕快照 2018-02-27 15.16.41.png
屏幕快照 2018-02-27 15.18.02.png

命令: scp -r hadoop-2.5.0/ yanmei002:/opt/app //2號(hào)機(jī)器

scp -r hadoop-2.5.0/ yanmei003:/opt/app //3號(hào)機(jī)器

完了以后記得格式化namenode

bin/hdfs namenode -format
查看data/tmp文件


屏幕快照 2018-02-27 15.23.58.png

第三步饶米、啟動(dòng)各個(gè)進(jìn)程
按照機(jī)器規(guī)劃來(lái)啟動(dòng)各個(gè)進(jìn)程
啟動(dòng)hadoop類型:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode
啟動(dòng)yarn:
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
啟動(dòng)歷史服務(wù)器:
啟動(dòng):sbin/mr-jobhistory-daemon.sh start historyserver
關(guān)閉命令:
sbin/mr-jobhistory-daemon.sh stop historyserver

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末桨啃,一起剝皮案震驚了整個(gè)濱河市车胡,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌照瘾,老刑警劉巖匈棘,帶你破解...
    沈念sama閱讀 217,406評(píng)論 6 503
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異析命,居然都是意外死亡主卫,警方通過(guò)查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,732評(píng)論 3 393
  • 文/潘曉璐 我一進(jìn)店門鹃愤,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)队秩,“玉大人,你說(shuō)我怎么就攤上這事昼浦♀勺剩” “怎么了?”我有些...
    開封第一講書人閱讀 163,711評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵关噪,是天一觀的道長(zhǎng)鸟蟹。 經(jīng)常有香客問(wèn)我,道長(zhǎng)使兔,這世上最難降的妖魔是什么建钥? 我笑而不...
    開封第一講書人閱讀 58,380評(píng)論 1 293
  • 正文 為了忘掉前任,我火速辦了婚禮虐沥,結(jié)果婚禮上熊经,老公的妹妹穿的比我還像新娘。我一直安慰自己欲险,他們只是感情好镐依,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,432評(píng)論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著天试,像睡著了一般槐壳。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上喜每,一...
    開封第一講書人閱讀 51,301評(píng)論 1 301
  • 那天务唐,我揣著相機(jī)與錄音,去河邊找鬼带兜。 笑死枫笛,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的刚照。 我是一名探鬼主播刑巧,決...
    沈念sama閱讀 40,145評(píng)論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來(lái)了海诲?” 一聲冷哼從身側(cè)響起繁莹,我...
    開封第一講書人閱讀 39,008評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎特幔,沒(méi)想到半個(gè)月后咨演,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,443評(píng)論 1 314
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡蚯斯,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,649評(píng)論 3 334
  • 正文 我和宋清朗相戀三年薄风,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片拍嵌。...
    茶點(diǎn)故事閱讀 39,795評(píng)論 1 347
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡遭赂,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出横辆,到底是詐尸還是另有隱情撇他,我是刑警寧澤,帶...
    沈念sama閱讀 35,501評(píng)論 5 345
  • 正文 年R本政府宣布狈蚤,位于F島的核電站困肩,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏脆侮。R本人自食惡果不足惜锌畸,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,119評(píng)論 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望靖避。 院中可真熱鬧潭枣,春花似錦、人聲如沸幻捏。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,731評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)粘咖。三九已至蚣抗,卻和暖如春侈百,著一層夾襖步出監(jiān)牢的瞬間瓮下,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 32,865評(píng)論 1 269
  • 我被黑心中介騙來(lái)泰國(guó)打工钝域, 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留讽坏,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,899評(píng)論 2 370
  • 正文 我出身青樓例证,卻偏偏與公主長(zhǎng)得像路呜,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,724評(píng)論 2 354

推薦閱讀更多精彩內(nèi)容