軟件環(huán)境
java version "1.8.0_181"
Apache Hadoop 3.2.0
CentOS Linux release 7.4.1708 (Core)
查看 JDK 與 Hadoop 版本匹配
1. Linux 相關(guān)設(shè)置
1.1 設(shè)置靜態(tài) IP
CentOS 7下面配置靜態(tài)IP
https://www.linuxidc.com/Linux/2017-10/147449.htm
1.2 設(shè)置主機名與 IP 地址映射
修改主機名和 IP 地址映射
vi /etc/hostname，修改主機名（如纯露，刪掉原有內(nèi)容息拜，命名為 hadoop）
systemctl restart network抚笔，重啟網(wǎng)卡
ping hadoop儒士，ping 通證明成功
參考鏈接：
https://blog.csdn.net/sheldonharris/article/details/81287450
https://blog.csdn.net/q18810146167/article/details/62224082
https://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_linux_043_hostname.html
1.3 免密碼 ssh 設(shè)置
ssh-keygen -t rsa钦奋，然后一路回車即可
cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys蓄喇，復(fù)制到公共密鑰中
ssh localhost花鹅，測試
http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#%E7%9B%AE%E7%9A%84
擴展閱讀：
DSA與RSA的區(qū)別：https://blog.csdn.net/buaaroid/article/details/49428653
1.4 防火墻設(shè)置
# 查看防火墻狀態(tài)
systemctl status firewalld
systemctl is-active firewalld
# 啟動防火墻
systemctl start firewalld
# 停止防火墻
systemctl stop firewalld
# 查看IP配置
more /etc/hosts
2. JDK 安裝
編輯/etc/profile文件踩叭，在文件末尾添加以下內(nèi)容
# 設(shè)置 jdk 環(huán)境變量
export JAVA_HOME=/usr/java/jdk1.8.0_152
export PATH=$JAVA_HOME/bin:$PATH
參考鏈接：
3. Hadoop 安裝
3.1 下載 Hadoop
Hadoop 安裝地址：/usr/local/hadoop/hadoop-3.2.0
# 解壓 Hadoop 到指定文件夾
tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop
# 查看 Hadoop 版本信息
cd /usr/hadoop/local/hadoop-3.2.0
./bin/hadoop version
4. Hadoop 配置
4.1 建立目錄
# 在 /usr/hadoop/ 目錄下，建立 tmp翠胰、hdfs/name容贝、hdfs/data 目錄
mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/data
mkdir /usr/local/hadoop/hdfs/name
4.2 設(shè)置環(huán)境變量
# 設(shè)置環(huán)境變量
vi /etc/profile
# set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin
# 使環(huán)境變量生效
source /etc/profile
# CentOS版本用
source ~/.bash_profile
4.3 修改 Hadoop 配置文件
配置以下 5 個文件：
hadoop-3.2.0/etc/hadoop/hadoop-env.sh
hadoop-3.2.0/etc/hadoop/core-site.xml
hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hadoop-3.2.0/etc/hadoop/mapred-site.xml
hadoop-3.2.0/etc/hadoop/yarn-site.xml
4.3.1 hadoop-env.sh
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_152
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
另一種配置用戶：
start-dfs.sh、stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh之景、stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
4.3.2 core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI斤富，文件系統(tǒng)://namenode標(biāo)識:端口號</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
<description>namenode上本地的hadoop臨時文件夾</description>
</property>
</configuration>
注：
- name 節(jié)點用 fs.defaultFS，不建議使用 fs.default.name锻狗；
- hadoop.tmp.dir 是hadoop文件系統(tǒng)依賴的基礎(chǔ)配置满力，很多路徑都依賴它焕参。如果 hdfs-site.xml 中不配置 namenode 和 datanode 的存放位置，默認(rèn)就放在如下路徑中油额。
NameNode
dfs.name.dir
預(yù)設(shè)值：${hadoop.tmp.dir}/dfs/name
DataNode
dfs.data.dir
預(yù)設(shè)值：${hadoop.tmp.dir}/dfs/data
參考鏈接：
http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/core-default.xml
https://blog.csdn.net/scgaliguodong123_/article/details/44498173
4.3.3 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本個數(shù)叠纷，配置默認(rèn)是3,應(yīng)小于datanode機器數(shù)量</description>
</property>
</configuration>
4.3.4 mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
4.3.5 yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
5. Hadoop 啟動及測試
5.1 格式化 namenode
cd /usr/local/hadoop/hadoop-3.2.0
./bin/hdfs namenode -format
成功的話，會看到 “successfully formatted” 和 “Exitting with status 0” 的提示潦嘶，若為 “Exitting with status 1” 則是出錯涩嚣。
5.2 啟動 Hadoop
cd /usr/local/hadoop/hadoop-3.2.0/sbin
./start-all.sh
5.3 驗證啟動是否成功
jps
出現(xiàn)如下進程，啟動成功
NodeManager
Jps
DataNode
NameNode
SecondaryNameNode
ResourceManager
參考鏈接：
(防坑筆記)hadoop3.0 (一) 環(huán)境部署與偽分布式(hdfs)
https://blog.csdn.net/coffeeandice/article/details/78879151
5.4 瀏覽器訪問管理頁面
Namenode information: http://hadoop1:9870
All Applications: http://hadoop1:8088
HDFS NameNode web interface: http://hadoop1:8042
6. MapReduce 測試自帶實例 wordcount
6.1 創(chuàng)建測試文件
6.2 上傳測試文件到 hdfs
# 查看 hdfs 上的目錄
hadoop fs -ls /
# 創(chuàng)建input目錄掂僵，源數(shù)據(jù)的存放地
hadoop fs -mkdir /input
# 如果有output目錄航厚，刪除；把結(jié)果集輸出到這里锰蓬，事先不能存在
hadoop fs -rm -r /output
# 把提前準(zhǔn)備好的文本文件上傳到 hdfs 的 /input 目錄
hadoop fs -put /home/hadoop/data/*.txt /input
6.3 執(zhí)行程序 WordCount
cd /usr/local/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-3.2.0.jar wordcount /input /output
# 查看 hdfs 上 /output 生成的結(jié)果
hadoop fs -ls /output
# 輸出詞頻統(tǒng)計結(jié)果
hadoop fs -cat /output/part-r-00000
注：
MapReduce操作出現(xiàn)錯誤: 找不到或無法加載主類org.apache.hadoop.mapreduce.v2.app.MRAppMaster 問題解決方法
https://blog.csdn.net/qq_41684957/article/details/81710190
參考鏈接：
用瀏覽器不能訪問hadoop集群ａ２恰！Ｇ叟ぁ麻顶！
https://blog.csdn.net/w3045872817/article/details/74204604
通過頁面驗證hadoop是否安裝成功的方法
https://blog.csdn.net/tsundere_ning/article/details/79590871
執(zhí)行shell腳本報錯 '\357\273\277': command not found 解決辦法
https://blog.csdn.net/joeyon1985/article/details/39345939
https://huoding.com/2011/05/14/78
hadoop3.0.0沒有conf文件夾怎么辦？舱卡？
