配置單機(jī)hadoop(*nix環(huán)境)

參考官網(wǎng)說明
可以點(diǎn)擊getting started看最新版本
也可以看歷史版本瘦馍,比如2.9.2

步驟0,關(guān)防火墻
systemctl disable firewalld.service
重啟
注意,單機(jī)模式(不是偽分布式)也需要關(guān)防火墻,不然會(huì)卡住2分多鐘驶乾,顯示:
INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

步驟1,配置ssh認(rèn)證
首先配置ssh的key認(rèn)證方式登錄(國內(nèi)喜歡叫作免密碼登錄):
ssh-keygen循签,然后一堆回車
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 600 authorized_keys
ssh localhost
如果顯示命令提示符级乐,即成功,Ctrl+D退出即可
如果要求輸入密碼县匠,就沒有成功

步驟2风科,配置環(huán)境變量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
可以把配置文件放入單獨(dú)的文件夾,比如在用戶目錄創(chuàng)建文件夾乞旦,然后讓hadoop認(rèn)識(shí)它:
export HADOOP_CONF_DIR=`pwd`
把hadoop文件夾中的默認(rèn)配置文件(etc/hadoop/*)復(fù)制過來
下面修改配置xml文件就可以在這文件夾中修改了贼穆,也可以保留多個(gè)不同文件夾的配置文件

步驟3,單機(jī)(standalone)運(yùn)行
先創(chuàng)建個(gè)文本文件兰粉,用于wordcount輸入:
vim input
然后運(yùn)行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.y.z.jar wordcount input output
可以使用 cat output/* 看結(jié)果故痊,也可以用hadoop fs -cat output/*

最后三個(gè)參數(shù)不寫,就能顯示其他示例的名字
最后兩個(gè)參數(shù)不寫玖姑,就能顯示這個(gè)示例需要的參數(shù)
運(yùn)行前要?jiǎng)h除output文件夾愕秫,否則報(bào)錯(cuò)慨菱、停止,不會(huì)覆蓋的(保護(hù)計(jì)算結(jié)果)

步驟4戴甩,偽分布式(pseudo)運(yùn)行dfs分布式文件系統(tǒng)
修改core-site.xml和hdfs-site.xml符喝,參照官網(wǎng)
hadoop namenode -format
$HADOOP_HOME/sbin/start-dfs.sh
可以使用jps命令查看java進(jìn)程列表:
可以使用命令查看網(wǎng)頁是否準(zhǔn)備好:curl localhost:50070,沒報(bào)錯(cuò)就行
使用ifconfig查看ip地址等恐,可以使用同一臺(tái)或另一臺(tái)電腦打開http://<ip地址>:50070
可以在網(wǎng)頁上看到datanode正常運(yùn)行洲劣,可以看文件系統(tǒng)中的文件
為了運(yùn)行word count程序,先創(chuàng)建用戶目錄课蔬,上傳input文件
hadoop fs -mkdir -p .
hadoop fs -put input input
然后運(yùn)行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.y.z.jar wordcount input output
查看結(jié)果:
hadoop fs -cat output/*
刪除結(jié)果:
hadoop fs -rm -r -f output

步驟5囱稽,偽分布式(pseudo)運(yùn)行yarn程序調(diào)度系統(tǒng)
從mapred-site.xml.template復(fù)制到mapred-site.xml
修改mapred-site.xml和yarn-site.xml
使用jps查看java進(jìn)程
使用本機(jī)或另一臺(tái)機(jī)器的瀏覽器查看http://<ip地址>:8088,就是yarn的管理主頁面
運(yùn)行程序:
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-x.y.z.jar wordcount input output
查看結(jié)果和刪除結(jié)果與之前命令也都一樣

步驟6二跋,關(guān)閉之前打開的服務(wù)
$HADOOP_HOME/stop-yarn.sh
$HADOOP_HOME/stop-dfs.sh

好了战惊,現(xiàn)在你已經(jīng)成功地運(yùn)行(并關(guān)閉)了hadoop環(huán)境!

備注扎即,沒有特別配置的情況下吞获,namenode和datanode等數(shù)據(jù)文件夾會(huì)放在/tmp/hadoop-<username>文件夾下,如果重啟系統(tǒng)之后谚鄙,/tmp文件夾沒有了各拷,就需要重新格式化namenode
如果namenode中有記錄的文件,就需要等待datanode匯報(bào)自己持有的文件闷营,所有文件準(zhǔn)備好烤黍,才會(huì)退出safemode,集群才可以使用傻盟,這種小測試環(huán)境可能需要半分鐘到兩分鐘速蕊,也可以嘗試使用命令強(qiáng)制退出safemode,hdfs dfsadmin -safemode leave娘赴,不過文件找不全就可能報(bào)錯(cuò)规哲;也可以使用hdfs dfsadmin -safemode get查看狀態(tài)
在namenode的頁面中可以查看startup情況,顯示safemode持續(xù)的時(shí)間

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末诽表,一起剝皮案震驚了整個(gè)濱河市唉锌,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌竿奏,老刑警劉巖袄简,帶你破解...
    沈念sama閱讀 207,113評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異议双,居然都是意外死亡痘番,警方通過查閱死者的電腦和手機(jī)捉片,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,644評(píng)論 2 381
  • 文/潘曉璐 我一進(jìn)店門平痰,熙熙樓的掌柜王于貴愁眉苦臉地迎上來汞舱,“玉大人,你說我怎么就攤上這事宗雇“何撸” “怎么了?”我有些...
    開封第一講書人閱讀 153,340評(píng)論 0 344
  • 文/不壞的土叔 我叫張陵赔蒲,是天一觀的道長泌神。 經(jīng)常有香客問我,道長舞虱,這世上最難降的妖魔是什么欢际? 我笑而不...
    開封第一講書人閱讀 55,449評(píng)論 1 279
  • 正文 為了忘掉前任,我火速辦了婚禮矾兜,結(jié)果婚禮上损趋,老公的妹妹穿的比我還像新娘。我一直安慰自己椅寺,他們只是感情好浑槽,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,445評(píng)論 5 374
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著返帕,像睡著了一般桐玻。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上荆萤,一...
    開封第一講書人閱讀 49,166評(píng)論 1 284
  • 那天镊靴,我揣著相機(jī)與錄音,去河邊找鬼观腊。 笑死邑闲,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的梧油。 我是一名探鬼主播苫耸,決...
    沈念sama閱讀 38,442評(píng)論 3 401
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼儡陨!你這毒婦竟也來了褪子?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 37,105評(píng)論 0 261
  • 序言:老撾萬榮一對情侶失蹤骗村,失蹤者是張志新(化名)和其女友劉穎嫌褪,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體胚股,經(jīng)...
    沈念sama閱讀 43,601評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡笼痛,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 36,066評(píng)論 2 325
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片缨伊。...
    茶點(diǎn)故事閱讀 38,161評(píng)論 1 334
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡摘刑,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出刻坊,到底是詐尸還是另有隱情枷恕,我是刑警寧澤,帶...
    沈念sama閱讀 33,792評(píng)論 4 323
  • 正文 年R本政府宣布谭胚,位于F島的核電站徐块,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏灾而。R本人自食惡果不足惜胡控,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,351評(píng)論 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望旁趟。 院中可真熱鬧铜犬,春花似錦、人聲如沸轻庆。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,352評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽余爆。三九已至纷宇,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間蛾方,已是汗流浹背像捶。 一陣腳步聲響...
    開封第一講書人閱讀 31,584評(píng)論 1 261
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留桩砰,地道東北人拓春。 一個(gè)月前我還...
    沈念sama閱讀 45,618評(píng)論 2 355
  • 正文 我出身青樓,卻偏偏與公主長得像亚隅,于是被迫代替她去往敵國和親硼莽。 傳聞我的和親對象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,916評(píng)論 2 344

推薦閱讀更多精彩內(nèi)容

  • 一煮纵、系統(tǒng)參數(shù)配置優(yōu)化 1懂鸵、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置行疏,然后執(zhí)行s...
    張偉科閱讀 3,721評(píng)論 0 14
  • 終極算法 關(guān)注微信號(hào)每天收聽我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 129,678評(píng)論 12 168
  • 前言 Hadoop在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)重要匆光,Hadoop是大數(shù)據(jù)技術(shù)的基礎(chǔ),對Hadoop基礎(chǔ)知識(shí)的掌握的...
    piziyang12138閱讀 1,965評(píng)論 0 3
  • 今天酿联,我們就要回臨清了终息,心里有些興奮夺巩,我想:哈爾濱那么冷,和臨清的溫差那么大周崭,是不是我回臨清了之后就會(huì)感到特別...
    周侃侃閱讀 141評(píng)論 0 0
  • 記不清從啥時(shí)候起劲够,電商異軍突起,帶來的影響也是巨大的休傍,衣食住行娛一應(yīng)俱全,大到家具家電蹲姐,小到零食日用品磨取,從出門交通...
    碧落_7113閱讀 321評(píng)論 0 0