（四）搭建Hadoop
硬件條件：
- JDK1.8 （本系列文章一有分享如何下載）
- Ubuntu 18.04LTS
目的是要搭建Hadoop（單機(jī)版）
第一步：下載Hadoop2.7.7
從以下地址下載后解壓到dev文件夾
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
批注 2019-12-09 144949.png
# 解壓
fi@ubuntu:~/dev$ tar -zxvf hadoop-2.7.7.tar.gz
第二步：配置Hadoop環(huán)境變量
由于建立的dev文件夾下準(zhǔn)程配置環(huán)境變量的纽匙， 那么進(jìn)到這個(gè)dev的文件夾后
# 文件中添加如下代碼
fi@ubuntu:~/dev$ sudo gedit ~/.bashrc
批注 2019-12-09 145821.png
# 執(zhí)行命令
fi@ubuntu:~/dev$source ~/.bashrc
第三步：配置hadoop-env.sh
sudo gedit /dev/hadoop-2.7.7/etc/hadoop/hadoop-env.sh
# 找到The java implementation to use.將其下面的一行改為：
export JAVA_HOME=/home/stephyfifi/dev/jdk1.8.0_231/
第四步：配置core-site.xml
其中IP為虛擬機(jī)IP
# 打開(kāi)以下文檔添加內(nèi)容
fi@ubuntu:~/dev/hadoop-2.7.7/etc/hadoop$ sudo gedit core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:///dev/hadoop-2.7.7</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1</value>
</property>
</configuration>
# 保存關(guān)閉
第五步：配置core-site.xml
fi@ubuntu:~/dev/hadoop-2.7.7/etc/hadoop$ sudo gedit hdfs-site.xml
# 打開(kāi)的文檔添加以下內(nèi)容,并且新建下面<value>要求的文件夾吁系，tmp柱衔、dfs、data
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///dev/hadoop-2.7.7/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///dev/hadoop-2.7.7/tmp/dfs/data</value>
</property>
</configuration>
第六步：SSH免密登陸
在命令行中輸入如下內(nèi)容
sudo apt-get install openssh-server
cd ~/.ssh/
ssh localhost ssh-keygen -t rsa
/* 這個(gè)過(guò)程中持續(xù)按回車(chē)就可以了 */
cat id_rsa.pub >> authorized_keys
第七步：?jiǎn)?dòng)與停止
# 第一次啟動(dòng)hdfs需要格式化砸逊，在命令行中輸入如下命令（出現(xiàn)詢問(wèn)輸入Y or N,全部輸Y即可）
fi@ubuntu:~/dev/hadoop-2.7.7$ ./bin/hdfs namenode -format
# 啟動(dòng)
./sbin/start-dfs.sh
# 停止
./sbin/stop-dfs.sh
第八步：驗(yàn)證
驗(yàn)證，瀏覽器輸入：http://127.0.0.1:50070
第九步：配置yarn
#1 配置mapred-site.xml
cd /dev/hadoop-2.7.7/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml
# 在文件中添加內(nèi)容
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
#2 配置yarn-site.xml
# 命令行中輸入如下命令：
sudo gedit yarn-site.xml
# 在文件中添加內(nèi)容
<configuration>
<!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
# 3 yarn啟動(dòng)與停止
# 啟動(dòng)
cd /dev/hadoop-2.7.7/sbin/
./start-yarn.sh
# 停止
cd /dev/hadoop-2.7.7/sbin/
./stop-yarn.sh
# 驗(yàn)證 瀏覽器 打開(kāi)
http://127.0.0.1 :8088
成功啦
