一、相關(guān)參數(shù)
- CentOS 7.3
- Jdk 1.8.1_181
- Hadoop 2.7.6
- 兩臺阿里云服務(wù)器稚晚、一臺騰訊云服務(wù)器
二镜沽、修改服務(wù)器的主機(jī)名和hosts
可以通過hostname進(jìn)行臨時性的修改迈窟，但為便于管理睁枕，需直接進(jìn)行永久性的修改
-
永久性的修改：hostnamectl set-hostname master將主機(jī)名修改為master
- 另外兩臺云服務(wù)器修改為slave1盗胀、slave2
- 重啟后生效
-
修改/etc/hosts域名映射,master為內(nèi)網(wǎng)IP艘蹋、slave1|2為外網(wǎng)IP
- 這點(diǎn)非常重要，以slave1為例：slave1為內(nèi)網(wǎng)IP票灰、master和slave2為外網(wǎng)IP
三女阀、srt上傳文件
通過點(diǎn)擊打開SFTP連接窗口，相關(guān)命令如下：
- 服務(wù)器命令不變屑迂，本地命令為在服務(wù)器命令之前加一個l,代表本地
- 如：
cd/lcd,ls/lls - 上傳文件是
put,上傳某個目錄下的所有文件可以采用put ./* - 下載文件是
get,下載某個目錄下的所有文件可以采用get ./*
四浸策、jdk的安裝（先把安裝包上傳到指定的目錄下）
- 解壓釋放文件，如
tar -zvxf jdk-8u181-linux-x64.tar.gz - 在/etc/profile文件中配置JAVA_HOME路徑,如：
JAVA_HOME=/opt/soft/jdk1.8.0_181
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH
- 保存/etc/profile文件惹盼，通過
source /etc/profile進(jìn)行更新操作 - 通過
java -version查詢是否安裝成功
五庸汗、ssh免密碼登陸
- 在每一個云服務(wù)器上通過
ssh-keygen -t rsa生成一對公鑰和私鑰 (在/root/.ssh 目錄下) - 通過scp命令將公鑰傳輸?shù)搅硪慌_云服務(wù)器，例如：
scp id_rsa.pub root@slave1:/root - 切換到服務(wù)器 輸入:
cat id_rsa.pub >>/root/.ssh/authorized_keys
六手报、關(guān)閉服務(wù)器的防火墻
-
systemctl stop firewalld.service
停止firewall
systemctl disable firewalld.service
禁止防火墻開機(jī)啟動 - 通過
firewall-cmd --state命令查看防火墻狀態(tài)
七蚯舱、hadoop集群的安裝
1.下載hadoop安裝包，并上傳到服務(wù)器對應(yīng)的管理目錄下
- 然后將安裝包進(jìn)行解壓掩蛤，如
tar -zxvf hadoop-2.7.6.tar.gz - 修改hadoop-env.sh配置文件枉昏，添加JAVA_HOME
JAVA_HOME=/opt/soft/jdk1.8.0_181
export JAVA_HOME
5.修改yarn-env.sh配置文件，添加JAVA_HOME同上
6.修改slaves配置文件揍鸟，添加slave1兄裂、slave2
7.修改core-site.xml配置文件，添加如下內(nèi)容
<property>
<name>fs.defaultFS</name>
#訪問路徑
<value>hdfs://vdata1:9000</value>
#為名稱節(jié)點(diǎn)指定的名稱和端口號
</property>
<property>
<name>hadoop.tmp.dir</name>
#元數(shù)據(jù)存放的位置(fsiamge 和 edits 元數(shù)據(jù))
<value>/opt/workspace/hadoop/tmp</value>
#此處需要在主節(jié)點(diǎn)上創(chuàng)建這個目錄
#而從節(jié)點(diǎn)不需要蜈亩，運(yùn)行時會自動創(chuàng)建
</property>
8.修改hdfs-site.xml配置文件懦窘，添加如下內(nèi)容
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>vdata1:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
#名稱節(jié)點(diǎn)本地文件 系統(tǒng)中存放元數(shù)據(jù)文件表的目錄
<value>file:/opt/workspace/hadoop/namenode/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/workspace/hadoop/datanode/data</value>
</property>
<property>
<name>dfs.replication</name>
#副本數(shù)量
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
#是否開啟web上操作HDFS
<value>true</value>
</property>
9.修改 mapred-site.xml配置文件
執(zhí)行 cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
#決定作業(yè)是提交到Y(jié)ARN集群還是使用本作業(yè)執(zhí)行器來本地運(yùn)行
#該屬性的合法值為yarn 或者 local
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>vdata1:10020</value>
#mapreduce的運(yùn)行歷史
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>vdata1:19888</value>
</property>
- 修改yarn-site.xml配置文件
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>vdata1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>vdata1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>vdata1:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>vdata1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>vdata1:8088</value>
</property>
11.將相關(guān)的配置文件復(fù)制到其它的子節(jié)點(diǎn)上前翎，如下:
scp * root@vdata3:/opt/soft/hadoop-2.6.0-cdh5.5.0/etc/hadoop/
八稚配、格式化namenode
命令如下hdfs namenode -format
為了執(zhí)行命令方便可以將HADOOP_HOME配置到/etc/profile的path路徑下
HADOOP_HOME=/opt/soft/hadoop-2.7.6
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
九、啟動集群
可以通過如下命令方式(sbin目錄下)
start-all.sh 啟動集群
stop-all.sh 停止集群
輸入hadoop version查看hadoop是否安裝成功
十港华、hadoop常用的命令
顯示命令目錄:hdfs dfs –help
顯示目錄：hdfs dfs –ls <path>
創(chuàng)建目錄：hdfs dfs –mkdir [-p] <path>
刪除目錄或文件：hadoop fs -rm [-r|-R] <path>
上傳文件：hdfs dfs -put <localsrc > …… <dst>
查看文件內(nèi)容：hdfs dfs -text <src>;hadoop fs -tail <src>;hadoop fs -cat <src>
配置集群需要遠(yuǎn)程復(fù)制的幾點(diǎn)如下
- /etc/hosts
- /etc/profile
- hadoop的所有配置文件
因?yàn)閭浞菔?分道川，所以集群最少的有三臺
