前言

第一步我們配置了hadoop的偽分布式搭建邪码，第二步的過程就是在第一步的基礎上進行分布式的搭建裕菠。

配置環(huán)境

環(huán)境：已經(jīng)搭建好偽分布式hadoop的CentOS6.4

目的

hadoop的集群搭建，一臺主節(jié)點和三臺子節(jié)點霞扬。
主節(jié)點和子節(jié)點的主機名由自己設置
（配置是使用的）ip和主機名

192.168.8.10   master
192.168.8.11   node1
192.168.8.12   node2
192.168.8.13   node3

子節(jié)點虛擬機的網(wǎng)關與主節(jié)點的設置一樣糕韧，這樣可以保證連通枫振。

搭建過程

克隆主機

在我的計算機中喻圃，選擇待克隆的主機右鍵->管理->克隆》嗦耍可以先克隆一臺進行設置斧拍，在去設置另外兩臺
選擇創(chuàng)建完全克隆

克隆類型

設置虛擬機名稱

新虛擬機名稱設置

CentOS的修改設置

修改主機名

打開虛擬機，打開命令提示符杖小，進入root用戶

$ vim /etc/sysconfig/network

修改ip

將主機名設置為node1保存退出
在虛擬機右上角有兩個小電腦右鍵->Edit Connections

ip設置選項

eth1的ipv4設置為DHCP

eth2的ip設置

關閉防火墻

$ service iptables status       #查看防火墻狀態(tài) 
$ service iptables stop         #關閉防火墻
$ chkconfig iptables --list     #查看防火墻開機啟動狀態(tài)
$ chkconfig iptables off        #關閉防火墻開機啟動

修改完主機名和ip后重啟虛擬機

注：重啟虛擬機是為了讓新修改主機名生效，同時網(wǎng)卡也從新啟動扫腺；如果自是修改了ip可以不必重啟虛擬機岗照，可以直接使用shell重啟網(wǎng)卡

$ service network restart

按照以上方法克隆出另外兩臺虛擬機（node2和node3），然后修改主機名和ip

修改主節(jié)點master主機的hosts

$ vim /etc/hosts

在里面添加三臺node的ip與主機名的映射笆环。

192.168.8.10   master
192.168.8.11   node1
192.168.8.12   node2
192.168.8.13   node3

嘗試主節(jié)點是否能ping通三個子節(jié)點攒至，能ping的同說明ip設置正確，ping不通從新檢測ip配置
將主節(jié)點的hosts文件復制到其它三個子節(jié)點

$ scp /etc/hosts node1:/etc/hosts
$ scp /etc/hosts node2:/etc/hosts
$ scp /etc/hosts node3:/etc/hosts

嘗試其節(jié)點是否能ping通主節(jié)點躁劣。

子節(jié)點的ssh設置

進入.ssh目錄

$ cd ~/.ssh

$ ssh-keygen -t rsa    #生成`rsa`
$ ssh-copy-id node1 #給node1設設置免秘鑰登錄
$ ssh-copy-id localhost #也執(zhí)行一遍

嘗試登錄自身

$ ssh node1

將生成的ssh公鑰cp到其主機迫吐，實現(xiàn)免秘鑰連接。

$ ssh-copy-id  -i ~/.ssh/id_rsa.pub master   #cp到主節(jié)點

并嘗試登錄主節(jié)點

圖片僅供參考

注： exit可以退出ssh登錄账忘，以上ssh配置在node2志膀，node3中做同樣的操作熙宇。

三臺子節(jié)點的公鑰都cp到主節(jié)點中，我們可以通過查看authorized_keys文件查看結果

$ more authorized_keys

authorized_keys文件

$ scp /root/.ssh/authorized_keys node1:/root/.ssh/authorized_keys 
$ scp /root/.ssh/authorized_keys node2:/root/.ssh/authorized_keys
$ scp /root/.ssh/authorized_keys node3:/root/.ssh/authorized_keys

相互進行免密鑰登錄一次梧却，第一次會輸入一次密碼奇颠。

至此子節(jié)點centOS配置結束。

hadoop修改

子節(jié)點中的hadoop的配置文件不用修改放航，只需要將tmp文件夾下的文件刪除
hadoop的core-site.xml中hadoop.tmp.dir的value值就為tmp文件夾路徑

core-site.xml

需要刪除的文件

$ rm -rf dfs/
$ rm -rf nm-local-dir

上面是三個子節(jié)點hadoop設置烈拒，都需要執(zhí)行

hadoop主節(jié)點設置
修改hdfs-site.xml文件

將屬性修改為3

slaver內(nèi)容

主節(jié)點四個服務

子節(jié)點三個服務

查看節(jié)點
$ hdfs dfsadmin -report
$ yarn node -list

注： 如果修改slavers文件前以啟動hadoop，那么子節(jié)點需要單獨啟動

$ hadoop-daemon.sh start datanode
$ yarn-daemon.sh start nodemanager