學校的分布式計算實驗室需要部署大數據平臺供研究學習使用腌紧。先前搭建了CDH5.14的版本砸喻，因為服務器調整現重新部署，簡單記錄一下部署過程挟裂。
實例信息
為了便于管理享钞，本例中所有實例均運行于VMware ESXi 6.7之上。
| 角色 | 主機名 | 配置 | IP地址 |
|---|---|---|---|
| 主節(jié)點 | cdh-master | 24核 60G內存 1TB磁盤 | 192.168.83.90 |
| 從節(jié)點1 | cdh-slave0 | 24核 60G內存 1TB磁盤 | 192.168.83.91 |
| 從節(jié)點2 | cdh-slave1 | 24核 60G內存 1TB磁盤 | 192.168.83.92 |
| 從節(jié)點3 | cdh-slave2 | 24核 60G內存 1TB磁盤 | 192.168.83.93 |
下載相關軟件包
| 名稱 | 下載地址 |
|---|---|
| JDK1.7 | http://www.oracle.com/technetwork/java/java-archive-downloads-javase7-521261.html（選擇Linux64位 rpm包） |
| Cloudera Manager RPMs | http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/ |
| Cloudera Manager Installer | http://archive.cloudera.com/cm5/installer/5.15.0/cloudera-manager-installer.bin |
| Cloudera Manager Repo | http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo |
| CDH Parcel | http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel |
| CDH Parcel SHA1 | http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 |
部署過程
系統預處理
以下操作針對每個實例诀蓉。
按照實例表信息申請ESXi實例栗竖，配置相關信息。（主機名渠啤、IP地址等）
配置Hosts各機器hosts：
vi /etc/hosts
192.168.83.90 cdh-master
192.168.83.91 cdh-slave0
192.168.83.92 cdh-slave1
192.168.83.93 cdh-slave2
關閉防火墻并禁止開機啟動：
systemctl stop firewalld.service
systemctl disable firewalld.service
關閉SELINUX：
vi /etc/selinux/config
SELINUX=disabled
reboot 0 // 重啟生效
配置免密登陸：
需要保證各節(jié)點可以免密登陸狐肢。
配置主節(jié)點自身免密登陸。在主節(jié)點上生成公鑰并添加到已知密鑰中：
ssh-keygen -t rsa // 回車
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh-master
配置主節(jié)點免密登陸各從節(jié)點沥曹。在各個從節(jié)點上生成公鑰并將其添加到主節(jié)點已知密鑰中：
ssh-keygen -t rsa // 回車
ssh-copy-id -i ~/.ssh/id_rsa.pub root@cdh-master
配置從節(jié)點間免密登陸份名。將主節(jié)點上存放的已知密鑰拷貝到各從節(jié)點：
scp ~/.ssh/authorized_keys root@cdh-slave0:~/.ssh/
scp ~/.ssh/authorized_keys root@cdh-slave1:~/.ssh/
scp ~/.ssh/authorized_keys root@cdh-slave2:~/.ssh/
組件安裝與配置
上傳軟件包
將相關軟件包上傳至各實例。其中主節(jié)點需要上傳所有軟件包妓美，從節(jié)點需要上傳如下五個文件：
oracle-j2sdk1.7-1.7.0 update67-1.x86_64.rpm
jdk-7u80-linux-x64.rpm
cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm
cloudera-manager.repo
安裝JDK（各節(jié)點）
首先需要卸載預裝JDK：
rpm -qa | grep java //查詢是否有預裝JDK
yum remove java* //若有僵腺，予以刪除
執(zhí)行安裝：
rpm -ivh jdk-7u80-linux-x64.rpm
rpm -ivh oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm
環(huán)境變量：
vi /etc/profile
// 在尾部添加：
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
// 使之生效并測試：
source /etc/profile
java -version
NTP時間同步配置（各節(jié)點）
時間同步對節(jié)點間協調很重要。
安裝NTP（各節(jié)點）：
yum install ntp -y
修改配置文件/etc/ntp.conf（主節(jié)點）：
// server 0 上一行添加北郵NTP服務器地址：
server s2c.time.edu.cn prefer
測試同步一次時間（主節(jié)點）：
ntpdate s2c.time.edu.cn
啟動NTP并配置開機啟動（主節(jié)點）：
systemctl start ntpd
systemctl enable ntpd
使用ntpstat命令查看是否已成功完成同步壶栋，如下是完成同步的狀態(tài)辰如。同步需要一定的時間，請耐心等待贵试。
synchronised to NTP server (202.112.10.36) at stratum 6
time correct to within 1338 ms
polling server every 64 s
從節(jié)點與主節(jié)點同步時間琉兜，在各從節(jié)點設置定時同步任務：
ntpdate cdh-master // 與主節(jié)點同步一次時間
crontab -e // 創(chuàng)建計劃任務
00 */1 * * * /usr/sbin/ntpdate cdh-master >> /root/ntpdate.log 2>&1 // 每1小時與主節(jié)點執(zhí)行一次時間同步
crontab -l // 查看計劃任務
安裝Cloudera Manager
主節(jié)點安裝
修改倉庫文件中的版本號：
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改為：
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/
安裝4個cloudera開頭的rpm和1個enterprise開頭的rpm：
yum localinstall --nogpgcheck cloudera-* enterprise-*
從節(jié)點安裝
修改倉庫文件中的版本號：
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/
// 修改為：
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/
安裝cloudera-manager-agent和cloudera-manager-daemons兩個rpm：
// 注意這兩個rpm有依賴關系，需要一同安裝：
yum localinstall --nogpgcheck cloudera-manager-agent* cloudera-manager-daemons*
在主節(jié)點安裝cloudera-manager-installer.bin
設置安裝權限锡移、刪除原數據庫連接屬性呕童、開始安裝：
chmod +x cloudera-manager-installer.bin
rm -rf /etc/cloudera-scm-server/db.properties
./cloudera-manager-installer.bin
出現如上則表示Cloudera Manager安裝成功。若失敗請根據日志排錯淆珊。多半是防火墻之類的問題夺饲。
此時通過訪問主節(jié)點的7180端口可以看到主頁面，此時先不要登陸：
添加CDH包（主節(jié)點）
添加下載好的parcel
將下載好的CDH包及校驗信息（注意重命名）移動至如下目錄：
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/
// 以下，校驗信息sha1改為sha：
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha
設置權限并重啟cloudera-scm-server
chown cloudera-scm.cloudera-scm /opt/ -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
/etc/init.d/cloudera-scm-server restart // 重啟需要一定時間
CDH安裝與分發(fā)完成后可能會出現如下提示
Cloudera recommends setting /proc/sys/vm/swappiness to a maximum of 10. Current setting is 30. Use the sysctl command to change this setting at run time and edit /etc/sysctl.conf for this setting to be saved after a reboot. You can continue with installation, but Cloudera Manager might report that your hosts are unhealthy because they are swapping. The following hosts are affected:
將vm.swappiness=10添加至/etc/sysctl.conf中往声，讓實例盡可能的使用物理內存以提升性能擂找。
echo 'vm.swappiness=10'>> /etc/sysctl.conf
// 重啟機器以生效：
reboot 0
重啟機器后請注意檢查cloudera-scm-server、cloudera-scm-agent是否都處于運行狀態(tài)后再開始安裝浩销。
開始安裝
在瀏覽器中輸入主節(jié)點IP地址加端口號7180贯涎，輸入默認用戶名和密碼，進入安裝向導慢洋，同意相關協議塘雳，選擇相應的版本，開始安裝普筹。
安裝向導完成后即完成CDH的安裝過程败明。若在安裝過程中報錯，請檢查先前步驟是否完成太防，并嘗試重新啟動（機器或cloudera-scm-agent）
