ubuntu下Hadoop安裝以及配置

1.java環(huán)境配置

1.官網(wǎng)下載安裝包:

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

image.png

2.解壓該安裝包并把它放到對應(yīng)目錄下:

獲取root權(quán)限

:$ su
password:

根目錄下創(chuàng)建java目錄

:# mkdir /java

移動(dòng)安裝包到該目錄下
解壓到當(dāng)前目錄

:# tar -xvf  jdk-8u191-linux.tar.gz
3.配置環(huán)境變量

打開environment文件

:# gedit /etc/environment

修改如下:

保存使環(huán)境變量生效

:# source /etc/environment
4.查看是否配置成功
:# java -version

出現(xiàn)如下內(nèi)容,則配置成功
5.設(shè)為永久環(huán)境變量

打開profile文件

:# gedit /etc/profile

在文件最后增加如下(如果你的文件路徑和我不同,記得修改):

使環(huán)境變量生效

:# source /etc/profile
6.重啟系統(tǒng)

重啟系統(tǒng)

:# reboot

重啟完成后查看java環(huán)境變量

:# java -version

2.安裝ssh

檢查是否安裝了ssh服務(wù)
:# apt-cache policy openssh-client openssh-server
安裝ssh服務(wù)
:# apt-get install openssh-server
查看ssh服務(wù)開啟情況
:# ps -e|grep ssh
開啟ssh服務(wù)
:# sudo /etc/init.d/ssh start
修改配置文件(否則root用戶無法訪問)

打開ssh的配置文件

:# gedit /etc/ssh/sshd_config

增加語句

:# PermitRootLogin yes

修改如下
重啟ssh服務(wù)
:# sudo /etc/init.d/ssh restart
若想實(shí)現(xiàn)遠(yuǎn)程訪問,在此基礎(chǔ)上請參考這篇博客:https://blog.csdn.net/Venry_/article/details/85233991

3.hadoop偽分布式安裝配置

1.從官網(wǎng)下載安裝包https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
2.解壓安裝包

和解壓jdk一樣,新建一個(gè)hadoop文件夾侮攀,然后將安裝包移動(dòng)過來進(jìn)行解壓

:# mkdir /hadoop
:# mv 下載路徑 /hadoop
:# tar -xvf /hadoop/hadoop-2.9.2.tar.gzip
3.配置hadoop環(huán)境變量

打開profile文件

:# gedit /etc/profile

修改如下(如果你的文件路徑和我不同未巫,記得修改):

保存profile文件

:# source /etc/profile
4.添加jdk

打開hadoop-env.sh文件

:# gedit /hadoop/hadoop-2.9.2/etc/hadoop/hadoop-env.sh

修改如下:
5.修改core-site.xml

打開

:# gedit hadoop/hadoop-2.9.2/etc/hadoop/core-site.xml

修改內(nèi)容(如果你的文件路徑和我不同扫尺,記得修改):

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/hadoop/hadoop-2.9.2/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改截圖
6.修改hdfs-site.xml

打開

:# gedit hadoop/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

修改內(nèi)容(如果你的文件路徑和我不同约急,記得修改):

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/hadoop/hadoop-2.9.2/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/hadoop/hadoop-2.9.2/tmp/dfs/data</value>
        </property>
</configuration>

修改截圖
7.配置完成后零远,執(zhí)行namenode的初始化
:# ./hadoop/hadoop-2.9.2/bin/hdfs namenode -format
8.啟動(dòng)namenode和datanode進(jìn)程
:# ./hadoop/hadoop-2.9.2/sbin/start-dfs.sh

運(yùn)行截圖

特別注意:如果在執(zhí)行此步驟時(shí),輸完密碼后厌蔽,出現(xiàn)ssh拒絕登錄的情況,如下:

localhost:permission denied,please try again

你需要再次編輯ssh配置文件牵辣,即/etc/ssh/sshd_config,然后找到PermitRootLogin prohibit-password將其注釋掉奴饮,如下:

#PermitRootLogin prohibit-password

然后重啟ssh服務(wù):

:# sudo service ssh restart

現(xiàn)在再次重啟namenode和datanode進(jìn)程服務(wù)就不會(huì)拒絕登入了纬向!

9.查看信息

成功啟動(dòng)后,可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息戴卜,還可以在線查看 HDFS 中的文件逾条。





參考博客:https://blog.csdn.net/Venry_/article/details/85236171
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市投剥,隨后出現(xiàn)的幾起案子师脂,更是在濱河造成了極大的恐慌,老刑警劉巖江锨,帶你破解...
    沈念sama閱讀 219,539評論 6 508
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件吃警,死亡現(xiàn)場離奇詭異,居然都是意外死亡啄育,警方通過查閱死者的電腦和手機(jī)酌心,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,594評論 3 396
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來挑豌,“玉大人安券,你說我怎么就攤上這事∶ビⅲ” “怎么了侯勉?”我有些...
    開封第一講書人閱讀 165,871評論 0 356
  • 文/不壞的土叔 我叫張陵,是天一觀的道長债蓝。 經(jīng)常有香客問我壳鹤,道長,這世上最難降的妖魔是什么饰迹? 我笑而不...
    開封第一講書人閱讀 58,963評論 1 295
  • 正文 為了忘掉前任芳誓,我火速辦了婚禮,結(jié)果婚禮上啊鸭,老公的妹妹穿的比我還像新娘锹淌。我一直安慰自己,他們只是感情好赠制,可當(dāng)我...
    茶點(diǎn)故事閱讀 67,984評論 6 393
  • 文/花漫 我一把揭開白布赂摆。 她就那樣靜靜地躺著挟憔,像睡著了一般。 火紅的嫁衣襯著肌膚如雪烟号。 梳的紋絲不亂的頭發(fā)上绊谭,一...
    開封第一講書人閱讀 51,763評論 1 307
  • 那天,我揣著相機(jī)與錄音汪拥,去河邊找鬼达传。 笑死,一個(gè)胖子當(dāng)著我的面吹牛迫筑,可吹牛的內(nèi)容都是我干的宪赶。 我是一名探鬼主播,決...
    沈念sama閱讀 40,468評論 3 420
  • 文/蒼蘭香墨 我猛地睜開眼脯燃,長吁一口氣:“原來是場噩夢啊……” “哼搂妻!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起辕棚,我...
    開封第一講書人閱讀 39,357評論 0 276
  • 序言:老撾萬榮一對情侶失蹤欲主,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后坟募,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體岛蚤,經(jīng)...
    沈念sama閱讀 45,850評論 1 317
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,002評論 3 338
  • 正文 我和宋清朗相戀三年懈糯,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片单雾。...
    茶點(diǎn)故事閱讀 40,144評論 1 351
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡赚哗,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出硅堆,到底是詐尸還是另有隱情屿储,我是刑警寧澤,帶...
    沈念sama閱讀 35,823評論 5 346
  • 正文 年R本政府宣布渐逃,位于F島的核電站够掠,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏茄菊。R本人自食惡果不足惜疯潭,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,483評論 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望面殖。 院中可真熱鬧竖哩,春花似錦、人聲如沸脊僚。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,026評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至增淹,卻和暖如春椿访,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背虑润。 一陣腳步聲響...
    開封第一講書人閱讀 33,150評論 1 272
  • 我被黑心中介騙來泰國打工赎离, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人端辱。 一個(gè)月前我還...
    沈念sama閱讀 48,415評論 3 373
  • 正文 我出身青樓梁剔,卻偏偏與公主長得像,于是被迫代替她去往敵國和親舞蔽。 傳聞我的和親對象是個(gè)殘疾皇子荣病,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,092評論 2 355

推薦閱讀更多精彩內(nèi)容

  • 終極算法 關(guān)注微信號(hào)每天收聽我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 129,957評論 12 168
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1渗柿、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf个盆,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,754評論 0 14
  • 1.Linux安裝前的配置 1.1.關(guān)閉防火墻 本站文檔是假定「服務(wù)器在防火墻以內(nèi)」的前提下編纂的朵栖,在這個(gè)前提下...
    lao男孩閱讀 3,323評論 0 4
  • 前言 Hadoop在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)重要颊亮,Hadoop是大數(shù)據(jù)技術(shù)的基礎(chǔ),對Hadoop基礎(chǔ)知識(shí)的掌握的...
    piziyang12138閱讀 1,968評論 0 3
  • 修藍(lán)博士可以治好三十幾個(gè)神經(jīng)病患陨溅,為什么別人不能呢终惑?區(qū)別在哪里呢?我們念零極限可不可以給別人治病或解決各種問題...
    空瓶子1314閱讀 8,751評論 0 6