MacOS下Hadoop環(huán)境搭建

安裝

Homebrew是MacOs系統(tǒng)下一款強大的軟件包管理工具整吆,通過它可以安裝git拱撵、wget等工具,同樣Hadoop的安裝也可以通過它來進(jìn)行:

brew install hadoop

這樣hadoop被安裝在系統(tǒng)的 /usr/local/Cellar/hadoop 目錄之下表蝙。

配置

hadoop安裝后拴测,提供三種運行模式:

獨立模式
偽分布模式
完全分布式

以下是《Hadoop權(quán)威指南》對這三種模式的解釋:

Standalone (or local) mode
There are no daemons running and everything runs in a single JVM. Standalone
mode is suitable for running MapReduce programs during development, since it is
easy to test and debug them.

Pseudodistributed mode
The Hadoop daemons run on the local machine, thus simulating a cluster on a small
scale.

Fully distributed mode
The Hadoop daemons run on a cluster of machines.

在用brew安裝完成后,Hadoop默認(rèn)是獨立模式府蛇,這種模式?jīng)]有開辟守護(hù)進(jìn)程集索,運行與JVM虛擬機上,適合MapReduce的測試與調(diào)試。而偽分布式模式會開辟守護(hù)進(jìn)程务荆,運行效果和在集群上類似妆距,所以這里,我們將在電腦上進(jìn)行偽分布模式的配置函匕。

1.配置文件

在目錄/usr/local/Cellar/hadoop/xxxxx/libexec/etc/hadoop/下進(jìn)行配置:

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

需要對core-site.xml娱据、hdfs-site.xml、mapred-site.xml盅惜、yarn-site.xml四個文件添加這些鍵值對中剩。(可以將該文件夾復(fù)制多份,開啟Hadoop時調(diào)用不同的文件下從而可以開啟不同的模式)

2.ssh登陸配置

在偽分布模式下酷窥,Hadoop是需要通過ssh來登陸的咽安,如果配置了ssh秘鑰伴网,登陸就不需要做密碼輸入蓬推。先查看本地目錄~/.ssh/下是否存在id_rsa和id_rsa.pub文件,如果沒有的話澡腾,可以通過:

ssh-keygen -t rsa

進(jìn)行生成沸伏。如果沒有~/.ssh/文件夾,需要先手動創(chuàng)立一下动分,然后在此文件夾下操作毅糟。
為了讓系統(tǒng)接受登陸,需要將共鑰傳入authorized_keys文件:

cat id_rsa.pub >> authorized_keys

最后澜公,在MacOs下姆另,需要在設(shè)置里面打開遠(yuǎn)程登錄權(quán)限,進(jìn)入系統(tǒng)偏好設(shè)置 >> 共享 >> 遠(yuǎn)程登錄坟乾。將其設(shè)置為開啟就可以了迹辐。


系統(tǒng)偏好設(shè)置

共享

通過命令行運行:

ssh localhost

exit

查看能夠登錄成功。

3.格式化namenode節(jié)點

配置的最后一步是格式化namenode節(jié)點甚侣,在命令行運行:

hdfs namenode -format

該操作會對系統(tǒng)臨時文件夾下的目錄進(jìn)行操作明吩,不會對硬盤產(chǎn)生格式化。

啟動與關(guān)閉Hadoop

進(jìn)入 /usr/local/Cellar/hadoop/xxxxxx/sbin/ 目錄
啟動調(diào)用以下腳本:

% start-dfs.sh
% start-yarn.sh
% mr-jobhistory-daemon.sh start historyserver

關(guān)閉調(diào)用以下腳本:

% mr-jobhistory-daemon.sh stop historyserver
% stop-yarn.sh
% stop-dfs.sh

程序默認(rèn)的是調(diào)用hadoop配置文件夾下的配置文件殷费,當(dāng)我們做了多個配置文件夾印荔,可以這樣啟動其他的配置模式。

% start-dfs.sh --config path-to-config-directory
% start-yarn.sh --config path-to-config-directory
% mr-jobhistory-daemon.sh --config path-to-config-directory start historyserver

狀態(tài)查看

Hadoop的運行狀態(tài)怎樣详羡?光啟動和關(guān)閉看不出什么狀況仍律,甚至都不知道有沒有啟動成功。這里有兩種方式可以驗證Hadoop的運行狀況实柠。

1.命令行jps

在命令行輸入jps水泉,可以查看到j(luò)ava進(jìn)程的,當(dāng)沒有啟動Hadoop時,只看得到j(luò)ps一個進(jìn)程茶行。如果啟動成功會多出許多進(jìn)程躯概,同樣,關(guān)閉后這些進(jìn)程就沒有了畔师。

2.網(wǎng)頁

在瀏覽器打開如下鏈接可以進(jìn)入不同的管理界面:

Resource Manager: http://localhost:50070
JobTracker: http://localhost:8088
Specific Node Information: http://localhost:8042

參考文獻(xiàn)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末娶靡,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子看锉,更是在濱河造成了極大的恐慌姿锭,老刑警劉巖,帶你破解...
    沈念sama閱讀 223,002評論 6 519
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件伯铣,死亡現(xiàn)場離奇詭異呻此,居然都是意外死亡,警方通過查閱死者的電腦和手機腔寡,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,357評論 3 400
  • 文/潘曉璐 我一進(jìn)店門焚鲜,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人放前,你說我怎么就攤上這事忿磅。” “怎么了凭语?”我有些...
    開封第一講書人閱讀 169,787評論 0 365
  • 文/不壞的土叔 我叫張陵葱她,是天一觀的道長。 經(jīng)常有香客問我似扔,道長吨些,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 60,237評論 1 300
  • 正文 為了忘掉前任炒辉,我火速辦了婚禮豪墅,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘辆脸。我一直安慰自己但校,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 69,237評論 6 398
  • 文/花漫 我一把揭開白布啡氢。 她就那樣靜靜地躺著状囱,像睡著了一般。 火紅的嫁衣襯著肌膚如雪倘是。 梳的紋絲不亂的頭發(fā)上亭枷,一...
    開封第一講書人閱讀 52,821評論 1 314
  • 那天,我揣著相機與錄音搀崭,去河邊找鬼叨粘。 笑死猾编,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的升敲。 我是一名探鬼主播答倡,決...
    沈念sama閱讀 41,236評論 3 424
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼驴党!你這毒婦竟也來了瘪撇?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 40,196評論 0 277
  • 序言:老撾萬榮一對情侶失蹤港庄,失蹤者是張志新(化名)和其女友劉穎倔既,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體鹏氧,經(jīng)...
    沈念sama閱讀 46,716評論 1 320
  • 正文 獨居荒郊野嶺守林人離奇死亡渤涌,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,794評論 3 343
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了把还。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片实蓬。...
    茶點故事閱讀 40,928評論 1 353
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖笨篷,靈堂內(nèi)的尸體忽然破棺而出瞳秽,到底是詐尸還是另有隱情,我是刑警寧澤率翅,帶...
    沈念sama閱讀 36,583評論 5 351
  • 正文 年R本政府宣布,位于F島的核電站袖迎,受9級特大地震影響冕臭,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜燕锥,卻給世界環(huán)境...
    茶點故事閱讀 42,264評論 3 336
  • 文/蒙蒙 一辜贵、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧归形,春花似錦托慨、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,755評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至蔼紧,卻和暖如春婆硬,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背奸例。 一陣腳步聲響...
    開封第一講書人閱讀 33,869評論 1 274
  • 我被黑心中介騙來泰國打工彬犯, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 49,378評論 3 379
  • 正文 我出身青樓谐区,卻偏偏與公主長得像湖蜕,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子宋列,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 45,937評論 2 361

推薦閱讀更多精彩內(nèi)容