hadoop的安裝和三種模式的配置

Hadoop安裝

在Linux、Windows晓淀、macOS下安裝都需要先安裝java環(huán)境,再安裝hadoop盏档,均需要配置環(huán)境變量凶掰。怎么配置可自行查找資料,這里就不介紹了蜈亩。

Hadoop的運(yùn)行模式配置

Hadoop的運(yùn)行模式分為3種:本地運(yùn)行模式懦窘、偽分布運(yùn)行模式、集群運(yùn)行模式稚配。

1畅涂、獨(dú)立模式即本地運(yùn)行模式

無需運(yùn)行任何守護(hù)進(jìn)程,所有程序都在單個JVM上執(zhí)行道川。由于在本機(jī)模式下測試和調(diào)試MapReduce程序較為方便午衰,因此,這種模式適宜用在開發(fā)階段冒萄。獨(dú)立模式無需配置任何文件臊岸。

2、偽分布運(yùn)行模式

如果Hadoop對應(yīng)的Java進(jìn)程都運(yùn)行在一個物理機(jī)器上尊流,稱為偽分布運(yùn)行模式帅戒。以Windows為例,在其它系統(tǒng)下崖技,需要修改路徑蜘澜。Linux下需要在hadoop-2.7.2/etc/hadoop/hadoop-env.sh指定java環(huán)境變量

偽分布運(yùn)行模式需要配置core-site.xml、hdfs-site.xml响疚、mapred-site.xml鄙信、yarn-site.xml

core-site.xml:指定hadoop的主節(jié)點(diǎn)master。

hdfs-site.xml:指定hadoop中的文件副本數(shù)忿晕。

mapred-site.xml:指定mapreduce的資源管理装诡。

yarn-site.xml:

core-site.xml配置如下:

<configuration>

<property>

? ? ? ? <name>hadoop.tmp.dir</name>

? ? ? ? <value>/G:/tmp</value> <!--windows下創(chuàng)建文件夾 -->

<value>/home/hadoop/bigdata/temp</value> <!--linux下創(chuàng)建文件夾 指定hadoop運(yùn)行時產(chǎn)生臨時文件的存儲目錄-->

? ? ? ? <description>Abase for other temporary directories.</description>

? </property>

<property>

? ? ? ? <name>fs.default.name</name>

? ? ? ? <value>hdfs://localhost:9000</value>? ?

</property>

</configuration>

hdfs-site.xml配置:

<configuration>

? ? ? ? <property>

? ? ? ? ? ? ? <name>dfs.replication</name>

? ? ? ? ? ? ? <value>1</value><!--副本為1 -->

? ? ? ? </property>

? <property>

? ? ? ? <name>dfs.namenode.name.dir</name>

? ? ? ? <value>/G:/tmp/data/namenode</value><!--windows下創(chuàng)建文件夾 ,linux需要指定目錄-->

? ? </property>

? ? <property>

? ? ? ? <name>dfs.datanode.data.dir</name>

? ? ? ? <value>/G:/tmp/data/datanode</value><!--windows下創(chuàng)建文件夾,linux需要指定目錄 -->

</property>

<property>

? <name>dfs.namenode.secondary.http-address</name>

? ? <value>http://localhost:50090</value>

? </property>

</configuration>

mapred-site.xml配置:

<configuration>

? ? ? <property>

? ? ? ? ? ? <name>mapreduce.framework.name</name>

? ? ? ? ? ? <value>yarn</value>(選擇yarn來mapreduce)

? ? ? </property>

</configuration>

yarn-site.xml配置:

<configuration>

? ? ? ? <property>

? ? ? ? ? ? ? ? <name>yarn.resourcemanager.hostname</name>

? ? ? ? ? ? ? ? <value>localhost</value>

? ? ? ? </property>

? ? ? ? <property>

? ? ? ? ? ? ? ? <name>yarn.nodemanager.aux-services</name>

? ? ? ? ? ? ? ? <value>mapreduce_shuffle</value>

? ? ? ? </property>

</configuration>

Windows下啟動hadoop

1鸦采、運(yùn)行cmd窗口宾巍,切換到hadoop安裝目錄下的bin目錄下執(zhí)行hdfs namenode -format

2、運(yùn)行cmd窗口渔伯,切換到hadoop的sbin目錄顶霞,執(zhí)行start-all.cmd,它將會啟動5個進(jìn)程锣吼。

啟動之后选浑,可用jps命令查看,如下圖玄叠,然后可進(jìn)行增刪改查古徒、創(chuàng)建的命令操作。

Linux下啟動hadoop

1读恃、切換到hadoop安裝目錄下的bin目錄下執(zhí)行hdfs namenode -format

2隧膘、切換到hadoop的sbin目錄,執(zhí)行start-all.sh寺惫,它將會啟動5個進(jìn)程疹吃。

啟動之后,可用jps命令查看西雀。

3互墓、集群模式

Linux系統(tǒng),在虛擬機(jī)中創(chuàng)建四臺系統(tǒng):首先創(chuàng)建4臺虛擬機(jī)蒋搜,分別命名為hp001、hp002判莉、hp003豆挽、hp004。安裝成功后券盅,然后分別修改主機(jī)名(hp001帮哈、hp002、hp003锰镀、hp004)娘侍,再修改/etc/hosts文件(hp002、hp003泳炉、hp004同hp001)憾筏,本機(jī)IP對應(yīng)主機(jī)名。

hadoop1? node1作為名稱節(jié)點(diǎn)

hadoop2? node2作為輔助名稱節(jié)點(diǎn)

hadoop3? node3作為數(shù)據(jù)節(jié)點(diǎn)

hadoop4? node4作為數(shù)據(jù)節(jié)點(diǎn)

完全分布式配置方式:配置文件/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/下的四個xml文件花鹅。

core-site.xml

<configuration>

? ? ? ? <property>

? <name>fs.defaultFS</name>

? <value>hdfs://hp001</value>

? </property>

? <property>

? <name>hadoop.tmp.dir</name>

? <value>/home/hadoop/bigdata</value>

? </property>

</configuration>

hdfs-site.xml

<configuration>

? ? ? ? <property>

? ? ? ? ? ? ? ? <name>dfs.replication</name>

? ? ? ? ? ? ? ? <value>3</value>

? ? ? ? </property>

? ? ? ? <property>

? <name>dfs.namenode.secondary.http-address</name>

? ? <value>hp002:50090</value>

? </property>

</configuration>

mapred-site.xml

<configuration>

? ? ? ? <property>

? ? ? ? ? ? ? ? <name>mapreduce.framework.name</name>

? ? ? ? ? ? ? ? <value>yarn</value>

? ? ? ? </property>

</configuration>

yarn-site.xml

<configuration>

? ? ? ? <property>

? <name>yarn.resourcemanager.hostname</name>

? <value>hp001</value>

? </property>

? <property>

? <name>yarn.nodemanager.aux-services</name>

? <value>mapreduce_shuffle</value>

? ? </property>

</configuration>

把/home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop/slaves文件修改為

hp003

hp004

在集群上分發(fā)以上5個文件

cd /home/hadoop/bigdata/hadoop-2.7.2/etc/hadoop

xsync core-site.xml

xsync hdfs-site.xml

xsync mapred-site.xml

xsync yarn-site.xml

xsync slaves

首次啟動hadoop

1)格式化文件系統(tǒng)

$>hadoop namenode -format

2)啟動所有進(jìn)程

$>start-all.sh

3)查詢進(jìn)程

$>xcall jps

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末氧腰,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌古拴,老刑警劉巖箩帚,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異黄痪,居然都是意外死亡紧帕,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進(jìn)店門桅打,熙熙樓的掌柜王于貴愁眉苦臉地迎上來是嗜,“玉大人油额,你說我怎么就攤上這事叠纷。” “怎么了潦嘶?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長掂僵。 經(jīng)常有香客問我锰蓬,道長芹扭,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任,我火速辦了婚禮矫钓,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘舍杜。我一直安慰自己新娜,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布既绩。 她就那樣靜靜地躺著概龄,像睡著了一般。 火紅的嫁衣襯著肌膚如雪饲握。 梳的紋絲不亂的頭發(fā)上旁钧,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天吸重,我揣著相機(jī)與錄音,去河邊找鬼歪今。 笑死嚎幸,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的寄猩。 我是一名探鬼主播嫉晶,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼田篇!你這毒婦竟也來了替废?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤泊柬,失蹤者是張志新(化名)和其女友劉穎椎镣,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體兽赁,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡状答,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了刀崖。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片惊科。...
    茶點(diǎn)故事閱讀 40,144評論 1 351
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖亮钦,靈堂內(nèi)的尸體忽然破棺而出馆截,到底是詐尸還是另有隱情,我是刑警寧澤蜂莉,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布蜡娶,位于F島的核電站,受9級特大地震影響映穗,放射性物質(zhì)發(fā)生泄漏窖张。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一男公、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧合陵,春花似錦枢赔、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽低剔。三九已至速梗,卻和暖如春肮塞,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背姻锁。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工枕赵, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人位隶。 一個月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓拷窜,卻偏偏與公主長得像,于是被迫代替她去往敵國和親涧黄。 傳聞我的和親對象是個殘疾皇子篮昧,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評論 2 355