【Hadoop大數(shù)據(jù)基礎(chǔ)】##
第三節(jié) Hadoop分布式集群安裝
3.1 環(huán)境準(zhǔn)備
3.2 服務(wù)器規(guī)劃
3.3 tar上傳服務(wù)器和解壓情況
3.4 修改profile文件
3.5 SHH免簽設(shè)置
3.6 hosts文件修改
3.7 將hadoop目錄scp到其他2臺(tái)服務(wù)器上
3.8 hadoop啟動(dòng)
3.1. 環(huán)境準(zhǔn)備：
3臺(tái)阿里云服務(wù)器: 10.0.73.21湖员； 10.0.73.20 清蚀； 10.0.73.6汞舱；
hadoop-2.6.0.tar.gz
jdk-8u65-linux-x64.tar.gz
3.2. 服務(wù)器規(guī)劃：
3.3. tar上傳服務(wù)器和解壓情況：
jdk解壓：
hadoop解壓：
解壓之后：
3.4. 修改profile文件：
在profile文件上添加如下圖信息：
使profile文件生效：
3.5. SHH免簽設(shè)置：
1） 檢查系統(tǒng)是否安裝了ssh：
如果沒有按照那么就用yum和rpm 可以通過yum或rpm安裝包進(jìn)行安裝 yum install ssh 上圖顯示已經(jīng)按照晕鹊！
2） ssh的rsa秘鑰生成：ssh-keygen -t rsa -P ''
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 將生成的公鑰id_rsa.pub 內(nèi)容追加到authorized_keys：
3）這里需要將另外2臺(tái)節(jié)點(diǎn)的id_rsa.pub內(nèi)容添加到本機(jī)的authorized_keys文件中：
4）將本機(jī)的authorized_keys文件scp到其他2臺(tái)服務(wù)器：
5）記得要設(shè)置600的權(quán)限給authorized_keys
chmod 600 .ssh/authorized_keys：
3.6. hosts文件修改：
該文件另外2臺(tái)服務(wù)器也要跟著修改：
hadoop文件修改：
1）進(jìn)入$HADOOP_HOME/etc/hadoop目錄如下圖：
2）修改hadoop-env.sh文件如下：
3）修改yarn-env.sh文件如下：
4）修改core-site.xml文件如下：
5）修改hdfs-site.xml文件如下：
6）修改mapred-site.xml文件如下：
7）修改yarn-site.xml文件如下：
8）修改slaves文件如下：
3.7. 將hadoop目錄scp到其他2臺(tái)服務(wù)器上：
3.8. hadoop啟動(dòng)
1）格式化HDFS 格式化NameNode,不需要每次啟動(dòng)都需要格式化,機(jī)器第一次啟動(dòng)的時(shí)候需要格式化一次蜻拨；如果多次格式化元扔，注意要保持datanode的clusterID一致掐场，否則要出現(xiàn)nodes instead of minReplication (=1). There are 0 datanode(s) running an的錯(cuò)誤往扔！
2）啟動(dòng)hadoop
3）查看各節(jié)點(diǎn)情況：
以上內(nèi)容由小張網(wǎng)校學(xué)員-Like提供
更多課程可以關(guān)注
【微信公眾號(hào)】小張網(wǎng)校
公眾號(hào)內(nèi)有微信群，掃描加入后更多大牛交流學(xué)習(xí)
