Hadoop Multi Node Cluster的規(guī)劃如圖5-1所示：
由多臺電腦組成:有一臺主要的電腦master，在HDFS擔任NameNode角色锰霜，在MapReduce2(YARN)擔任ResourceManager角色。
有多臺的電腦data1、data2、data3包警，在HDFS擔任DataNode角色，在MapReduce2(YARN)擔任NodeManager角色 底靠。
說明表如下：
Hadoop Multi Node Cluster的安裝步驟：
1 ? 復制Single Node Cluster到data1
2 ? 設定data1服務器
3 ? 復制data1服務器至data2害晦、data3、master
4 ? 設定data2暑中、data3服務器
5 ? 設定master服務器
6???master連接至data1壹瘟、data2、data3建立HDFS目錄
7???建立與格式化NameNode HDFS 目錄
8 ?? 啟動HadoopMulti Node cluster
9 ?? 開啟HadoopResource-Manager Web介面
10 ?? 開啟NameNodeWeb介面
Hadoop Multi Node Cluster的安裝命令：
5.1.復制Single NodeCluster到data1
我們將之前所建立的Single Node Cluster VirtualBox hadoop虛擬機復制到data1
5.2.設定data1服務器
Step2.編輯data1固定IP
sudo gedit /etc/network/interfaces輸入下列內(nèi)容
auto eth0 iface eth0 inet dhcp?
auto eth1 iface eth1 inet static
?address 192.168.56.101
netmask 255.255.255.0
network 192.168.56.0
broadcast 192.168.56.255
Step3.設定hostname
sudo gedit /etc/hostname輸入下列內(nèi)容:
data1
Step4.設定hosts文件
sudo gedit /etc/hosts輸入下列內(nèi)容:
127.0.0.1 localhost 127.0.1.1 hadoop
192.168.56.100 master
192.168.56.101 data1
192.168.56.102 data2
192.168.56.103 data3
Step5.修改core-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml在之間鳄逾，輸入下列內(nèi)容:
? fs.default.name? hdfs://master:9000?
Step6.修改yarn-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml在之間稻轨，輸入下列內(nèi)容:
yarn.resourcemanager.resource-tracker.address? ? master:8025? ? ? yarn.resourcemanager.scheduler.address? ? master:8030? ? ? yarn.resourcemanager.address? ? master:8050?
?Step7.修改mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml在之間，輸入下列內(nèi)容:
?mapred.job.tracker? master:54311
Step8.修改hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml在之間雕凹，輸入下列內(nèi)容:
?? dfs.replication?? 3 ??
dfs.datanode.data.dir ??
?file:/usr/local/hadoop/hadoop_data/hdfs/datanode?
?5.3.復制data1服務器至data2殴俱、data3、master
5.4.設定data2请琳、data3服務器
Step2.設定data2固定IP
sudo gedit /etc/network/interfaces輸入下列內(nèi)容
auto eth0 iface eth0 inet dhcp?
auto eth1 iface eth1 inet static
?address 192.168.56.102
netmask 255.255.255.0
network 192.168.56.0
broadcast 192.168.56.255
Step3.設定data2主機名稱
sudo gedit /etc/hostname輸入下列內(nèi)容:
data2
Step6.設定data3固定IP
sudo gedit /etc/network/interfaces輸入下列內(nèi)容
auto eth0 iface eth0 inet dhcp?
auto eth1 iface eth1 inet static
?address 192.168.56.103
netmask 255.255.255.0
network 192.168.56.0
broadcast 192.168.56.255
Step7.設定data3主機名稱
sudo gedit /etc/hostname輸入下列內(nèi)容:
data3
5.5.設定master服務器
Step2.設定master固定IP
sudo gedit /etc/network/interfaces輸入下列內(nèi)容
auto eth0 iface eth0 inet dhcp?
auto eth1 iface eth1 inet static
?address 192.168.56.100
netmask 255.255.255.0
network 192.168.56.0
broadcast 192.168.56.255
Step3.設定master主機名稱
sudo gedit /etc/hostname輸入下列內(nèi)容:
master
Step4.設定hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml輸入下列內(nèi)容:
??? dfs.replication? 3 ?
dfs.namenode.name.dir? ? file:/usr/local/hadoop/hadoop_data/hdfs/namenode
Step5.設定master文件
sudo gedit /usr/local/hadoop/etc/hadoop/master輸入下列內(nèi)容:
?master
Step6.設定slaves文件
sudo gedit /usr/local/hadoop/etc/hadoop/slaves輸入下列內(nèi)容:
?data1data2data3
5.6.master連接至data1粱挡、data2赠幕、data3建立HDFS目錄
masterSSH連接至data1并建立HDFS目錄
ssh data1
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown qcl:qcl -R /usr/local/hadoopexitmaster
SSH連接至data2并建立HDFS目錄
ssh data2
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown qcl:qcl -R /usr/local/hadoopexitmaster
SSH連接至data3并建立HDFS目錄
ssh data3
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
sudo chown qcl:qcl -R /usr/local/hadoop
exit
5.7.建立與格式化NameNode HDFS 目錄
Step1 重新建立NameNode HDFS目錄
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
sudo chown -R qcl:qcl /usr/local/hadoop
Step2 格式化NameNode HDFS 目錄
hadoop namenode -format
5.8.啟動Hadoop
啟動start-dfs.sh俄精，再啟動 start-yarn.sh
start-dfs.sh ? start-yarn.sh或
啟動全部
start-all.sh查看目前所執(zhí)行的行程
jps
Hadoop Resource-Manager Web頁面
http://master:8088/
5.9.開啟Hadoop Resource-ManagerWeb介面
開啟HDFS Web UI網(wǎng)址
http://master:50070/
安裝代碼命令來自《Python+Spark 2.0+Hadoop機器學習與大數(shù)據(jù)實戰(zhàn)》
新浪微博BigDataAI的博客
