Ubuntu 18.04 安裝 Hadoop系統(tǒng)環(huán)境

安裝ubuntu-server系統(tǒng)

安裝系統(tǒng)

選擇系統(tǒng)語(yǔ)言-English

1.png

鍵盤(pán)設(shè)置-Chinese

2.png

選擇操作Install ubuntu

3.png

設(shè)置網(wǎng)絡(luò)（這里選擇默認(rèn)）

4.png

選擇Done

5.png

6.png

文件系統(tǒng)設(shè)置-選擇使用整個(gè)磁盤(pán)

7.png

選擇磁盤(pán)

8.png

選擇Done

9.png

選擇繼續(xù)Continue

10.png

配置文件設(shè)置

11.png

12.png

正在安裝

13.png

Reboot Now

14.png

15.png

16.png

安裝ssh環(huán)境

配置root用戶(hù)密碼

修改root用戶(hù)的初始密碼

sudo passwd

17.png

退出當(dāng)前用戶(hù)狈谊，使用root登陸系統(tǒng)。

關(guān)閉防火墻

systemctl stop firewalld.service

開(kāi)機(jī)不啟動(dòng)防火墻

systemctl disable firewalld.service

查看防火墻狀態(tài)

ufw status

inactive狀態(tài)是防火墻關(guān)閉狀態(tài)沟沙，active是開(kāi)啟狀態(tài)河劝。

配置root用戶(hù)遠(yuǎn)程連接

（注：裝了ssh-server，如果未安裝矛紫，請(qǐng)先安裝）

apt-get install openssh-server

修改sshd_config

vim /etc/ssh/sshd_config

找到

# Authentication:
LoginGraceTime 120
PermitRootLogin without passwd
StrictModes yes

改成

# Authentication:
LoginGraceTime 120
PermitRootLogin yes
StrictModes yes

然后重啟SSH服務(wù)即可赎瞎。

重啟過(guò)后通過(guò)shell連接：

18.png

設(shè)置ssh localhost 免密碼登錄

ssh localhost
exit

輸入密碼登錄本機(jī)和退出本機(jī)

19.png

在進(jìn)行了初次登陸后，會(huì)在當(dāng)前家目錄用戶(hù)下有一個(gè).ssh文件夾颊咬，進(jìn)入該文件夾下：

cd ~/.ssh/

使用rsa算法生成秘鑰和公鑰對(duì)：

ssh-keygen -t rsa

20.png

運(yùn)行后一路回車(chē)就可以了务甥，其中第一個(gè)是要輸入秘鑰和公鑰對(duì)的保存位置，默認(rèn)是在：

.ssh/id_rsa

然后把公鑰加入到授權(quán)中：

cat ./id_rsa.pub >> ./authorized_keys

再次ssh localhost的時(shí)候就可以無(wú)密碼登陸了喳篇。

安裝jdk

解壓jdk

創(chuàng)建一個(gè)java的文件夾敞临，用戶(hù)存放Java文件

mkdir /usr/local/java

通過(guò)ftp工具把下載好的jdk安裝包上傳到j(luò)ava文件夾下。

21.png

解壓：

cd /usr/local/java
tar -vxzf jdk-8u181-linux-x64.tar.gz

解壓成功后會(huì)在當(dāng)前目錄下看到：

jdk1.8.0_181文件夾

然后刪除安裝包：

rm jdk-8u181-linux-x64.tar.gz

配置jdk

設(shè)置環(huán)境變量：

vim /etc/profile

在末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

重新加載環(huán)境變量的配置文件：

source /etc/profile

檢測(cè)：

java -version

22.png

安裝Hadoop

解壓hadoop

創(chuàng)建一個(gè)hadoop的文件夾麸澜，用戶(hù)存放hadoop文件

mkdir /usr/local/hadoop

通過(guò)ftp工具把下載好的hadoop安裝包上傳到hadoop文件夾下挺尿。

解壓：

cd /usr/local/hadoop
tar -vxzf hadoop-2.7.7.tar.gz

解壓完成：

23.png

移動(dòng)hadoop-2.7.7文件下的文件到當(dāng)前的目錄

mv ./hadoop-2.7.7/* ./

刪除hadoop-2.7.7文件夾

rm -rf ./hadoop-2.7.7

查看文件夾的所有者以及用戶(hù)組，最重要的是擁有者是否是當(dāng)前用戶(hù)

24.png

如果擁有者不是當(dāng)前用戶(hù)，則修改為當(dāng)前用戶(hù)：

sudo chown -R 當(dāng)前用戶(hù)名 ./hadoop

配置hadoop

設(shè)置環(huán)境變量：

vim /etc/profile

在末尾添加：

JAVA_HOME=/usr/local/java/jdk1.8.0_181
HADOOP_HOME=/usr/local/hadoop
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export PATH
export HADOOP_HOME

重新加載環(huán)境變量的配置文件：

source /etc/profile

檢測(cè)：

hadoop version

25.png

修改配置文件

在core-site.xml 中添加

<!-- 指定HDFS老大（namenode）的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)路徑 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
 </property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>

26.png

在 hdfs-site.xml 中添加

<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置</description>
</property>

<!-- 設(shè)置hdfs副本數(shù)量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

27.png

在 hadoop-env.sh 中更改 JAVA_HOME

注釋掉：

export JAVA_HOME=${JAVA_HOME}

添加：

export JAVA_HOME=/usr/local/java/jdk1.8.0_181

測(cè)試编矾，啟動(dòng)

格式化namenode：

hadoop namenode -format

28.png

啟動(dòng)hdfs

start-all.sh

29.png

查看相應(yīng)的進(jìn)程：

jps

30.png

確定5個(gè)進(jìn)程全部啟動(dòng)熟史。

訪(fǎng)問(wèn)測(cè)試：

10.168.1.129:50070

31.png

設(shè)置開(kāi)機(jī)啟動(dòng)

進(jìn)入/etc/init.d/目錄下

cd /etc/init.d/

創(chuàng)建文件hadoop

vim hadoop

寫(xiě)入開(kāi)機(jī)啟動(dòng)相關(guān)的腳本內(nèi)容

#!/bin/bash
#
# chkconfig: 2345 88 33
# description: Starts and stops Hadoop server

### BEGIN INIT INFO
# Required-Start:
# Required-Stop:
# Default-Start:        2 3 4 5
# Default-Stop:         0 1 6
# Short-Description:    Starts and stops Hadoop server
# Description:          Starts and stops Hadoop server
### END INIT INFO

start(){
    #
    # Start Hadoop
    #
    /usr/local/hadoop/sbin/start-all.sh
}
stop(){
    #
    # Stop Hadoop
    #
    /usr/local/hadoop/sbin/stop-all.sh
}

case "$1" in
    start)
        start
        exit $?
    ;;

    stop)
        stop
        exit $?
    ;;

    restart)
        #
        # Restart Hadoop
        #
        stop
        sleep 5
        start
        exit $?
    ;;

*)
echo "Usage hadoop start/stop/restart"
exit 1;;
esac

設(shè)置文件權(quán)限

chmod +x hadoop

添加到服務(wù)中

update-rc.d -f hadoop defaults

測(cè)試

service hadoop start

查看服務(wù)是否啟動(dòng)成功

jps