centos安裝hadoop

1)如果系統(tǒng)已經(jīng)安裝java遏匆,通過以下方式設(shè)置java相關(guān)環(huán)境變量:

$ ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 Mar 20 14:49 /usr/bin/java -> /etc/alternatives/java
$ ls -lrt  /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 Mar 20 14:49 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64/jre/bin/java

設(shè)置java相關(guān)環(huán)境變量:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH

如果系統(tǒng)沒有安裝java运嗜,下載相應(yīng)java版本進(jìn)行安裝,然后設(shè)置java相關(guān)環(huán)境變量即可除盏。

2)設(shè)置ssh免登錄

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

3)以偽分布式模式安裝hadoop-2.7.6

從官方網(wǎng)站下載hadoop 2.7.6:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

將hadoop-2.7.6.tar.gz文件拷貝到/usr/local目錄并解壓,然后設(shè)置相關(guān)的環(huán)境變量:

export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$HADOOP_HOME/bin:$PATH

進(jìn)入/usr/local/hadoop-2.7.6/etc目錄味混,依次修改以下配置文件:

  • core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  • hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

格式化hdfs文件系統(tǒng):

$ hdfs namenode -format

啟動(dòng)hdfs:

$ /usr/local/hadoop-2.7.6/sbin/start-dfs.sh

在瀏覽器輸入:http://localhost:50070/,可以看到NameNode的相關(guān)信息诫惭。

4)運(yùn)行示例程序

在hdfs上創(chuàng)建相應(yīng)目錄翁锡,并上傳相應(yīng)的文件到該目錄:

$ cat log
hello hadoop
hello hdfs
hello mapreduce
$ hdfs dfs -mkdir -p /user/root/input
$ hdfs dfs -put log input
$ hdfs dfs -ls /user/root/input
Found 1 items
-rw-r--r--   1 root supergroup         40 2018-07-23 06:33 /user/root/input/log

運(yùn)行示例程序:

$ hadoop jar /usr/local/hadoop-2.7.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'he[a-z.]+'

查看運(yùn)行結(jié)果:

$ hdfs dfs -cat output/*
3   hello

參考:

https://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市夕土,隨后出現(xiàn)的幾起案子馆衔,更是在濱河造成了極大的恐慌,老刑警劉巖怨绣,帶你破解...
    沈念sama閱讀 216,402評(píng)論 6 499
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件角溃,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡篮撑,警方通過查閱死者的電腦和手機(jī)减细,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,377評(píng)論 3 392
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來赢笨,“玉大人未蝌,你說我怎么就攤上這事〖攵剩” “怎么了萧吠?”我有些...
    開封第一講書人閱讀 162,483評(píng)論 0 353
  • 文/不壞的土叔 我叫張陵,是天一觀的道長嘶伟。 經(jīng)常有香客問我怎憋,道長,這世上最難降的妖魔是什么九昧? 我笑而不...
    開封第一講書人閱讀 58,165評(píng)論 1 292
  • 正文 為了忘掉前任绊袋,我火速辦了婚禮,結(jié)果婚禮上铸鹰,老公的妹妹穿的比我還像新娘癌别。我一直安慰自己,他們只是感情好蹋笼,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,176評(píng)論 6 388
  • 文/花漫 我一把揭開白布展姐。 她就那樣靜靜地躺著,像睡著了一般剖毯。 火紅的嫁衣襯著肌膚如雪圾笨。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,146評(píng)論 1 297
  • 那天逊谋,我揣著相機(jī)與錄音擂达,去河邊找鬼。 笑死胶滋,一個(gè)胖子當(dāng)著我的面吹牛板鬓,可吹牛的內(nèi)容都是我干的悲敷。 我是一名探鬼主播,決...
    沈念sama閱讀 40,032評(píng)論 3 417
  • 文/蒼蘭香墨 我猛地睜開眼俭令,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼后德!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起抄腔,我...
    開封第一講書人閱讀 38,896評(píng)論 0 274
  • 序言:老撾萬榮一對(duì)情侶失蹤瓢湃,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后妓柜,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體箱季,經(jīng)...
    沈念sama閱讀 45,311評(píng)論 1 310
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,536評(píng)論 2 332
  • 正文 我和宋清朗相戀三年棍掐,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了藏雏。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 39,696評(píng)論 1 348
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡作煌,死狀恐怖掘殴,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情粟誓,我是刑警寧澤奏寨,帶...
    沈念sama閱讀 35,413評(píng)論 5 343
  • 正文 年R本政府宣布,位于F島的核電站鹰服,受9級(jí)特大地震影響病瞳,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜悲酷,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,008評(píng)論 3 325
  • 文/蒙蒙 一套菜、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧设易,春花似錦逗柴、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,659評(píng)論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至屠尊,卻和暖如春旷祸,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背讼昆。 一陣腳步聲響...
    開封第一講書人閱讀 32,815評(píng)論 1 269
  • 我被黑心中介騙來泰國打工肋僧, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 47,698評(píng)論 2 368
  • 正文 我出身青樓嫌吠,卻偏偏與公主長得像,于是被迫代替她去往敵國和親掺炭。 傳聞我的和親對(duì)象是個(gè)殘疾皇子辫诅,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 44,592評(píng)論 2 353

推薦閱讀更多精彩內(nèi)容

  • 終極算法 關(guān)注微信號(hào)每天收聽我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 129,856評(píng)論 12 168
  • hadoop依賴1.7+的jdk 如果是3.0+版本的hadoop依賴1.8+的idk炕矮,安裝jdk 配置SSH 配...
    Garwer閱讀 667評(píng)論 0 2
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1者冤、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf肤视,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,748評(píng)論 0 14
  • 前陣子看過一篇報(bào)道涉枫;說有所小學(xué)老師為了讓學(xué)生有更好的成績邢滑,利用午休時(shí)間給學(xué)生輔導(dǎo)作業(yè);因?yàn)橐粋€(gè)孩子潦草愿汰,在批評(píng)教育...
    唐人生閱讀 401評(píng)論 0 1
  • 我現(xiàn)在23歲困后,在外邊上學(xué),時(shí)常會(huì)想起剛上大學(xué)的時(shí)候爸爸給我寫的一封信衬廷,5摇予、6年過去了,再次看起時(shí)還是會(huì)無限感慨吗跋,有...
    市民邢女士閱讀 183評(píng)論 0 1