• 2018年9月7日 截至到今天位仁，CDH已經(jīng)更新到6.0.0了。

本文介紹的CDH的安裝是在本機(jī)上搭建的三個(gè)虛擬機(jī)中的方椎，我的物理機(jī)配置如下：

物理機(jī)配置.png

通常說的CDH主要分為兩個(gè)部分：CDH 和 CDH Manager聂抢。CDH主要就是包含了Hadoop等的一些大數(shù)據(jù)組件的安裝包，而CDH Manager就是管理和監(jiān)控這些的一個(gè)系統(tǒng)棠众。

2 基礎(chǔ)環(huán)境配置

JDK的安裝

虛擬機(jī)安裝成功后琳疏，
配置JDK環(huán)境，CDH對(duì)JDK有嚴(yán)格的要求闸拿，在CentOS中空盼，必須放在/usr/java/ 目錄下面；

防火墻關(guān)閉

使用systemctl stop firewalld.service指令檢查防火墻狀態(tài)新荤；
使用systemctl disable firewalld.service指令關(guān)閉防火墻開機(jī)啟動(dòng)揽趾；

防火墻操作.png

NTP 服務(wù)的安裝

具體的思路為：主節(jié)點(diǎn)安裝了NTP服務(wù)，然后作為NTP服務(wù)器苛骨，對(duì)所有的從節(jié)點(diǎn)提供時(shí)間同步服務(wù)篱瞎。具體的安裝流程如下：
在所有的節(jié)點(diǎn)上安裝NTP服務(wù)：

sudo yum install ntp –y；

配置開機(jī)啟動(dòng)：

sudo systemctl enable ntpd.service;
# 或者 
sudo chkconfig ntpd on;  
#（現(xiàn)在新的開機(jī)啟動(dòng)走的是第一條指令了痒芝。）

最好重啟機(jī)器俐筋，檢查是否生效：

sudo reboot；
systemctl status ntpd.service

也可以通過指令檢查是否設(shè)置成功：

chkconfig –list ntpd ;
#如果2-5都是on严衬，則成功配置了澄者。

從節(jié)點(diǎn)配置，如果從節(jié)點(diǎn)也能聯(lián)網(wǎng)的話请琳，把所有的節(jié)點(diǎn)的時(shí)區(qū)設(shè)置為同一個(gè)即可粱挡，具體設(shè)置指令為：
查看當(dāng)前的時(shí)區(qū)信息：

[bigdata@mini00 ~]$ timedatectl status
      Local time: Sun 2017-07-23 14:45:23 CST
  Universal time: Sun 2017-07-23 06:45:23 UTC
        RTC time: Sun 2017-07-23 06:45:23
       Time zone: Asia/Shanghai (CST, +0800)
     NTP enabled: no
NTP synchronized: yes
 RTC in local TZ: no
      DST active: n/a

設(shè)置亞洲上海時(shí)區(qū)：

sudo timedatectl set-timezone Asia/Shanghai

安裝包的下載

此次安裝是基于CDH5.10.0版本。
CDH Manager的下載地址如下：
http://archive.cloudera.com/cm5/cm/5/

CDH Manager下載頁面.png

具體如下圖所示：

CDH5.10.0的下載.png

以上的配置和CDH沒有關(guān)系的俄精，是CentOS7的基本環(huán)境的配置

CDH 安裝環(huán)境配置

復(fù)制虛擬機(jī)

重新打開虛擬機(jī)的時(shí)候抱怔，都選擇我已經(jīng)復(fù)制該虛擬機(jī)，這樣的話嘀倒，VMare會(huì)為該虛擬機(jī)重新生成一個(gè)網(wǎng)卡屈留，不然的話局冰，會(huì)依然使用以前的網(wǎng)卡，造成IP沖突灌危。

復(fù)制虛擬機(jī).png

修改域名

#查看域名
hostnamectl
#修改域名
hostnamectl set-hostname cdh01

注銷當(dāng)前用戶之后康二，新域名即可生效。

設(shè)置IP

[bigdata234@cdh03 ~]$ sudo vi /etc/hosts
[sudo] password for bigdata234:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.225.131 cdh01
192.168.225.132 cdh02
192.168.225.133 cdh03

免密登陸

確定cdh01為主節(jié)點(diǎn)勇蝙，在主節(jié)點(diǎn)生成密鑰后沫勿，拷貝到從節(jié)點(diǎn)上。從節(jié)點(diǎn)不需要生成密鑰拷貝到主節(jié)點(diǎn)味混，此處注意陷入了死循環(huán)中产雹。

Mysql的安裝

此時(shí)的mysql的安裝只安裝在主節(jié)點(diǎn)上。
參考另外一篇文章

上傳已經(jīng)下載的文件翁锡，然后拷貝到各個(gè)節(jié)點(diǎn)上

文件解壓

每個(gè)節(jié)點(diǎn)上都解壓CM蔓挖，解壓的路徑是/opt/ 下；

tar -zxvf cloudera-manager-centos7-cm5.11.0_x86_64.tar.gz -C /opt/

解壓的結(jié)果如下：

[root@cdh01 opt]# tree -L 2
.
├── cloudera
│   ├── csd
│   └── parcel-repo
└── cm-5.11.0
    ├── etc
    ├── lib
    ├── lib64
    ├── log
    ├── run
    ├── sbin
    └── share

11 directories, 0 files

在所有節(jié)點(diǎn)上配置主機(jī)的名稱

vi cm-5.11.0/etc/cloudera-scm-agent/config.ini

如下：

server_host=cdh01

創(chuàng)建用戶

至于為什么要?jiǎng)?chuàng)建用戶馆衔，不能使用當(dāng)前的root或者別的用戶瘟判，CDH的官網(wǎng)有說明。
三個(gè)節(jié)點(diǎn)上面都創(chuàng)建用戶：cloudera-scm 角溃。

useradd --system --home-dir /opt/cm-5.11.0/run/cloudera-scm-server/  --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

用戶創(chuàng)建后拷获，修改目錄的用戶權(quán)限：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/
chown -R cloudera-scm:cloudera-scm /opt/cm-5.11.0/

建立數(shù)據(jù)庫

首先，在每個(gè)節(jié)點(diǎn)减细，都將驅(qū)動(dòng)拷貝到CM的目錄下面：

cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.11.0/share/cmf/lib/

其次匆瓜，在主節(jié)點(diǎn)執(zhí)行腳本，創(chuàng)建數(shù)據(jù)庫,該腳本是CM自帶的未蝌，

/opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p密碼 --scm-host localhost scm scm cm庫的密碼

安裝CDH

文件拷貝

只在 主節(jié)點(diǎn) 拷貝陕壹，從節(jié)點(diǎn)在安裝的時(shí)候會(huì)自動(dòng)完成復(fù)制的。
（1）树埠、將CDH的parcel文件糠馆、sha1文件和JSON文件拷貝到/opt/cloudera/parcel-repo/目錄下面；
（2）怎憋、將sha1文件修改為sha文件又碌；
（3）、

創(chuàng)建HIVE數(shù)據(jù)庫绊袋、集群監(jiān)控?cái)?shù)據(jù)庫毕匀、HUE、OOZIE數(shù)據(jù)庫

/**hive數(shù)據(jù)庫**/
DROP DATABASE IF EXISTS hive;
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON hive.* TO 'hive'@"%" IDENTIFIED BY "hivepassword";

/**集群監(jiān)控?cái)?shù)據(jù)庫**/
DROP DATABASE IF EXISTS amon;
CREATE DATABASE amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@"%" IDENTIFIED BY "amonpassword";

/**hue數(shù)據(jù)庫**/
DROP DATABASE IF EXISTS hue;
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@"%" IDENTIFIED BY "huepassword";

/**oozie數(shù)據(jù)庫**/
DROP DATABASE IF EXISTS oozie;
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'ooziepassword';

GRANT ALL ON cmf.* TO 'cmf'@'%' IDENTIFIED BY 'cmfpassword';

啟動(dòng)

主節(jié)點(diǎn)：

sudo /opt/cm-5.11.0/etc/init.d/cloudera-scm-server start
sudo /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start

從節(jié)點(diǎn)：

sudo /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start

相應(yīng)的重啟癌别，暫停皂岔，分別為restart,stop。
錯(cuò)誤日志的位置：
/opt/cm-5.11.0/log/cloudera-scm-agent

CM啟動(dòng)日志在文件/opt/cm-5.11.0/log/cloudera-scm-server/cloudera-scm-server.log中展姐；

....
2018-09-08 15:05:18,543 INFO WebServerImpl:org.mortbay.log: jetty-6.1.26.cloudera.4
2018-09-08 15:05:18,647 INFO WebServerImpl:org.mortbay.log: Started SelectChannelConnector@0.0.0.0:7180
2018-09-08 15:05:18,648 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.
.....

7180端口已經(jīng)啟動(dòng)

相關(guān)網(wǎng)址

歡迎界面

image.png

image.png

image.png

http://192.168.225.131:7180/cmf/express-wizard/wizard

image.png

出現(xiàn)主機(jī)運(yùn)行不良的原因是沒有刪除主機(jī)以前生成的cm_guid導(dǎo)致的躁垛，可以參考文章：https://blog.csdn.net/u011031430/article/details/74057601

image.png

刪除重新安裝

如果安裝錯(cuò)誤了剖毯，刪除重新安裝，按照以下步驟：
1 刪除全部的從節(jié)點(diǎn)上的文件包括教馆，cloudrea和cm-xxx逊谋，重新解壓；2‘
2 為新的文件夾修改用戶組土铺；1’
3 修改config文件胶滋，使其的服務(wù)節(jié)點(diǎn)都是cdh01；2‘
4 刪除CM數(shù)據(jù)庫悲敷；drop database cm; 2’
5 創(chuàng)建CM數(shù)據(jù)庫究恤；2'　
6 從節(jié)點(diǎn)上，拷貝數(shù)據(jù)庫驅(qū)動(dòng)到cmf/lib下后德；
7 主節(jié)點(diǎn)部宿，清空cloudera下的文件，只保留csd和paracel-repo文件夾探遵；
8 主節(jié)點(diǎn)窟赏，刪除rm -f /opt/cloudera-manager/cm-5.11.1/lib/cloudera-scm-agent/cm_guid妓柜，重啟主節(jié)點(diǎn)的agent（restart）
9 重啟箱季，首先啟動(dòng)主節(jié)點(diǎn)的管理；再啟動(dòng)從節(jié)點(diǎn)的agent棍掐；

安裝的過程中出現(xiàn)錯(cuò)誤：
/opt/cm-5.11.0/lib64/cmf/service/client/deploy-cc.sh: line 115: perl: command not found
是因?yàn)閜erl沒有安裝：
yum install -y perl藏雏，安裝完后，重試即可作煌；

Command aborted because of exception: Command timed-out after 90 seconds
一般是內(nèi)存太少了導(dǎo)致的掘殴，對(duì)于主節(jié)點(diǎn)要求至少5GB，從節(jié)點(diǎn)要求至少2GB
可以多試幾次粟誓，說不定就通過了奏寨。