系統(tǒng)參數(shù)
系統(tǒng)centos:CentOS Linux release 7.5.1804 (Core)
JDK:jdk-8u162-linux-x64
Cloudera Manager:5.15.0
服務(wù)器5臺(tái),內(nèi)存16g迫卢,磁盤50g冶共,其中主節(jié)點(diǎn)磁盤不要小于50g,其他的可適當(dāng)減少或增加配置
1家卖、提前下載各個(gè)離線安裝包文件
由于在線安裝速度很慢上荡,最好還是先把安裝包先下載下載馒闷,為了方便安裝以下安裝包放在server01服務(wù)器上的/root/soft/目錄下叁征,在通過scp命令將cloudera-manager-agent沛善、cloudera-manager-daemons金刁、cloudera-manager.repo這三個(gè)文件拷貝到server02~05的/root/soft/目錄下
jdk1.8(自行下載)
CM軟件包(除了里面jdk的rpm包,其他的都下載下來)
cloudera-manager-installer.bin
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel
CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1
2媳友、系統(tǒng)參數(shù)配置
所有節(jié)點(diǎn)修改hostname醇锚,第一臺(tái)服務(wù)器命名為server01坯临,依次命名
hostnamectl --static set-hostname server01
修改hosts:
vim /etc/hosts
根據(jù)自己的6臺(tái)服務(wù)器IP地址,在最后面增加:
192.168.242.51 server01
192.168.242.52 server02
192.168.242.53 server03
192.168.242.54?server04
192.168.242.55 server05
所有節(jié)點(diǎn)關(guān)閉防火墻和selinux
systemctl stop firewalld.service #停止
systemctl disable firewalld.service #禁止firewall開機(jī)啟動(dòng)
firewall-cmd --state #查看默認(rèn)防火墻狀態(tài)(關(guān)閉后顯示notrunning赶促,開啟后顯示running)
vim /etc/selinux/config #找到SELINUX改為:SELINUX=disabled
所有節(jié)點(diǎn)ssh無密碼登錄
先在server01上執(zhí)行:
ssh-keygen -t rsa #一路回車到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #將公鑰拷貝到本機(jī)的authorized_keys上
再在其他節(jié)點(diǎn)分別執(zhí)行以下命令:
ssh-keygen -t rsa #一路回車到完成
ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #注意此處不變鸥滨,將公鑰拷貝到server01的authorized_keys上
在server01上谤祖,將authorized_keys分發(fā)到其他節(jié)點(diǎn)服務(wù)器:
scp ~/.ssh/authorized_keys root@server02:~/.ssh/
scp ~/.ssh/authorized_keys root@server03:~/.ssh/
scp ~/.ssh/authorized_keys root@server04:~/.ssh/
scp ~/.ssh/authorized_keys root@server05:~/.ssh/
scp ~/.ssh/authorized_keys root@server06:~/.ssh/
JDK安裝
rpm -qa |grep java #如果有就卸載粥喜。沒有就不用執(zhí)行下面
yum remove java* #刪除自帶的java
切換到j(luò)dk所在目錄,執(zhí)行安裝命令
tar?zxvf?jdk-8u171-linux-x64.tar.gz
設(shè)置環(huán)境變量:
vim /etc/profile
在最后面增加:
JAVA_HOME=/usr/java/jdk1.8.0_171JRE_HOME=${JAVA_HOME}/jreCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libPATH=${JAVA_HOME}/bin:$PATH
退出保存卿吐,執(zhí)行以下命令使環(huán)境變量生效但两,并驗(yàn)證JDK安裝是否正確
source /etc/profile #使環(huán)境變量生效
java -version #查看JDK是否安裝正確
?安裝ntp時(shí)間同步軟件
yum install ntp -y
vim /etc/ntp.conf
添加如下配置:
restrict 192.168.242.0 mask 255.255.255.0 nomodify notrap
server cn.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 1.asia.pool.ntp.org nomodify notrap noquery
restrict 2.asia.pool.ntp.org nomodify notrap noquery
server 127.0.0.1
fudge 127.0.0.1 stratum 10
時(shí)間同步
/usr/sbin/ntpdate cn.pool.ntp.org
在server02~06上谨湘,修改/etc/ntp.conf配置改為以下
server 192.168.242.51
restrict 192.168.242.51 nomodify notrap noquery
server 127.0.0.1
fudge 127.0.0.1 stratum 10
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
子節(jié)點(diǎn)需要定期同步主節(jié)點(diǎn)的時(shí)間紧阔,所以需要在各個(gè)子節(jié)點(diǎn)增加一個(gè)定時(shí)任務(wù):
#每個(gè)從節(jié)點(diǎn),從master節(jié)點(diǎn)同步時(shí)間
ntpdate server01
#做一個(gè)計(jì)劃任務(wù)(從節(jié)點(diǎn))
crontab -e
#表示每3小時(shí)同步一次時(shí)間
00 */3 * * * /usr/sbin/ntpdate server01 >> /root/ntpdate.log 2>&1
#查看計(jì)劃任務(wù)
crontab -l
使用systemctl is-enabled chronyd檢查是否為enabled的活孩,如果在運(yùn)行則關(guān)閉該服務(wù)乖仇,不然ntp在系統(tǒng)重啟的時(shí)候不會(huì)啟動(dòng)
systemctl disable chronyd.service
systemctl enable ntpd.service
systemctl restart ntpd
ntpstat #查看是否同步
最后所有服務(wù)器檢查一下時(shí)間是否一致
3乃沙、?Cloudera Manager安裝
修改倉庫文件cloudera-manager.repo警儒,把版本號(hào)加上
cd ~/soft/ #根據(jù)前面說的,所有文件均在此目錄下
vim?cloudera-manager.repo
[cloudera-manager]name = Cloudera Manager
baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/ #主要改這里的版本號(hào)
gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
gpgcheck = 1
開始server01的安裝:
yum localinstall --nogpgcheck *.rpm
從機(jī)server02~05安裝
yum localinstall --nogpgcheck *.rpm
最后在server01~06節(jié)點(diǎn)檢查我們安裝包
yum list | grep cloudera
進(jìn)入server01的cloudera-manager-installer.bin所在目錄?
設(shè)置安裝權(quán)限:
chmod u+x cloudera-manager-installer.bin
執(zhí)行安裝命令:
./cloudera-manager-installer.bin
如果提示需要?jiǎng)h除配置文件,則刪除該文件
rm -rf /etc/cloudera-scm-server/db.properties
重新執(zhí)行安裝命令变姨,根據(jù)安裝向?qū)б宦穘ext隆夯。注意别伏,如果之前master上沒有手動(dòng)安裝rpm包此時(shí)就會(huì)聯(lián)網(wǎng)下載,下載速度一般都較慢愧口,太費(fèi)時(shí)間类茂。
相同配置下順利安裝時(shí)間在1分鐘內(nèi)即可完成巩检。?
然后我們?cè)趙eb瀏覽器訪問?http://192.168.242.51:7180/,看是否能打開頁面即可领舰,先不要進(jìn)行登錄操作。
注意:CDH server服務(wù)器啟動(dòng)需要一些時(shí)間舍咖,等1分鐘左右锉桑。
如果能訪問,那證明 cloudera manager安裝正常攻柠。
4后裸、CDH服務(wù)安裝
前面完成cloudera manager安裝之后server01會(huì)在/opt目錄下生成cloudera文件夾轻抱,將之前下載好的CDH-*文件移動(dòng)到parcel-repo文件夾中
mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/
mv ?CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha #注意這里有重命名
將cloudera manager的用戶授權(quán)給/opt和日志目錄:
chown cloudera-scm.cloudera-scm /opt -R
chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R
重啟cloudera-scm-server(重要)
/etc/init.d/cloudera-scm-server restart
重啟速度較慢,約1分鐘后訪問?http://192.168.242.51:7180/?登陸较店,賬號(hào)密碼都是:admin?
選擇免費(fèi)版本容燕,根據(jù)自身需要一路next安裝蘸秘。
這樣安裝成功了
5醋虏、錯(cuò)誤
1.查看日志,日志文件在/var/log毛秘,查詢相應(yīng)的模塊日志
2.cloudera-manager-agent和cloudera-manager-daemons要安裝最新版的阻课,不然會(huì)出現(xiàn)報(bào)錯(cuò)
3.如果選擇了單用戶模式,則要給cloudera-scm用戶添加root權(quán)限抹恳,并使用命令:usermod -s /bin/bash?cloudera-scm
4.從節(jié)點(diǎn)時(shí)間沒有同步主節(jié)點(diǎn)的話署驻,關(guān)閉主節(jié)點(diǎn)绊序,再同步
systemctl?stop?ntpd
/usr/sbin/ntpdate cn.pool.ntp.org
systemctl?restart?ntpd
ntpstat