CDH安裝筆記
安裝CDH我們需要做的幾件事：
溫馨提示：不要一步一步照抄
1 ，選擇centos對(duì)應(yīng)版本的CDH安裝包（我選擇的系統(tǒng)是： centos7鲸匿，CDH版本為5.16.2）
2，基礎(chǔ)環(huán)境配置
3鹤竭，MySQL安裝
4韭赘，CDH 的配置
5，啟動(dòng)和安裝組件
服務(wù)器配置說(shuō)明
| node01 | 50G磁盤 | 6GiB內(nèi)存 |
|---|---|---|
| node02 | 50G磁盤 | 4GiB內(nèi)存 |
| node03 | 50G磁盤 | 4GiB內(nèi)存 |
第一步：CDH下載地址
| cloudera-manager | http://archive.cloudera.com/cm5/cm/5/ |
|---|---|
| CDH5包 | http://archive.cloudera.com/cdh5/parcels |
| CDH5hashCode | http://archive.cloudera.com/cdh5/parcels |
| CDH manifest.json | manifest.json download |
第二步：基礎(chǔ)環(huán)境配置
基礎(chǔ)環(huán)境配置需要做的事情
| 1呐萨，每臺(tái)服務(wù)器配置JDK1.8環(huán)境 |
|---|
| 2杀饵，設(shè)置hostname |
| 3莽囤，域名映射 |
| 4，更改網(wǎng)絡(luò)主機(jī)名 |
| 5切距，關(guān)閉SeLinux |
| 6朽缎，關(guān)閉防火墻 |
| 7，ssh免密域 |
| 8谜悟，Linux內(nèi)存交換區(qū)設(shè)置 |
| 9话肖，NTP時(shí)鐘同步 |
| 10，大透明頁(yè)提前解決 |
| 11葡幸，yum安裝CDH需要的依賴包 |
1最筒，配置JDK環(huán)境
安裝JDK說(shuō)明，很多人建議把JDK安裝在 /usr/java/ 目錄下蔚叨，我在安裝時(shí)發(fā)現(xiàn)這可能是個(gè)錯(cuò)誤的決定床蜘，我建議安裝在其他目錄，通過(guò)軟連接的方式應(yīng)用Java環(huán)境到 /usr/java/ 目錄下
我是這么做的：
[圖片上傳失敗...(image-4f8539-1594089803899)]
我把它解壓在了/opt/ 這個(gè)目錄下
環(huán)境變量配置
JAVA_HOME=/local/java/jdk1.8.0_144
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
執(zhí)行此命令使配置生效: source /etc/profile
查看是否配置成功：java -version
出現(xiàn)以下內(nèi)容表示成功
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)
2蔑水，設(shè)置主機(jī)名
hostnamectl set-hostname node01
hostnamectl set-hostname node02
hostnamectl set-hostname node03
| 主機(jī)名 | IP地址 |
|---|---|
| node01 | 192.168.83.100 |
| node02 | 192.168.83.110 |
| node03 | 192.168.83.120 |
IP地址和主機(jī)名根據(jù)自己的需求配置即可
3邢锯，配置域名映射
vi /etc/profile
添加以下內(nèi)容（三臺(tái)都要執(zhí)行）
192.168.83.100 node01
192.168.83.110 node02
192.168.83.120 node03
4，配置網(wǎng)絡(luò)主機(jī)名
第一臺(tái)執(zhí)行：
配置添加到：/etc/sysconfig/network
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node01
第二臺(tái)執(zhí)行：
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node02
第三臺(tái)執(zhí)行：
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node03
5搀别，關(guān)閉SeLinux（三臺(tái)都要執(zhí)行）
vi /etc/selinux/config
#添加或修改（默認(rèn)為enforcing丹擎，改為disabled）
SELINUX=disabled
6，關(guān)閉防火墻
查看狀態(tài)
systemctl status firewalld.service
#關(guān)閉防火請(qǐng)
systemctl stop firewalld.service
#永久關(guān)閉（需要執(zhí)行完關(guān)閉命令才能執(zhí)行）
systemctl disable firewalld.service
7歇父，SSH免密設(shè)置
執(zhí)行生成密鑰命令（一直回車即可）：ssh-keygen
分發(fā)公鑰（所有主機(jī)執(zhí)行此命令）：ssh-copy-id node01
分發(fā)公鑰（所有主機(jī)執(zhí)行此命令）：ssh-copy-id node02
分發(fā)公鑰（所有主機(jī)執(zhí)行此命令）：ssh-copy-id node03
8蒂培，設(shè)置Linux內(nèi)存交換區(qū)
三臺(tái)都要執(zhí)行
echo 10 > /proc/sys/vm/swappiness
編輯 sysctl.conf 文件
vi sysctl.conf
添加或修改（三臺(tái)都要執(zhí)行）
vm.swappiness = 0
9，NTP時(shí)鐘同步
server端
在/etc/ntp.conf 中添加以下內(nèi)容
vi /etc/ntp.conf
中國(guó)這邊最活躍的時(shí)間服務(wù)器 : http://www.pool.ntp.org/zone/cn
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org
Enable public key cryptography.
crypto
允許上層時(shí)間服務(wù)器主動(dòng)修改本機(jī)時(shí)間
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 0.asia.pool.ntp.org nomodify notrap noquery
restrict 3.asia.pool.ntp.org nomodify notrap noquery
外部時(shí)間服務(wù)器不可用時(shí)榜苫，以本地時(shí)間作為時(shí)間服務(wù)
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
client：
在/etc/ntp.conf 中添加以下內(nèi)容
vi /etc/ntp.conf
server 192.168.83.100 prefer
執(zhí)行同步硬件和系統(tǒng)時(shí)間：hwclock --systohc --localtime
10护戳，解決大透明頁(yè)問(wèn)題
三臺(tái)都執(zhí)行：
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
編輯文件：rc.local
vi /etc/rc.local
添加以下內(nèi)容
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
11，安裝CDH需要的依賴包
三臺(tái)都要執(zhí)行
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb httpd mod_ssl
第三步：安裝MySQL
卸載centos7自帶的數(shù)據(jù)庫(kù)（三臺(tái)都執(zhí)行）
查找：rpm -qa | grep mariadb*
卸載：yum -y remove mari*
查找：rpm -qa | grep mysql*
卸載：rm -rf /var/lib/mysql/*
下載：
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm
安裝MySQLyum源：
yum localinstall mysql57-community-release-el7-8.noarch.rpm
檢查是否安裝成功：
yum repolist enabled | grep "mysql.-community."
打印以下內(nèi)容表示安裝yum成功：
Mysql5.7
Mysqltools
MysqlConnetctors
安裝MySQL服務(wù)
yum install mysql-community-server -y
啟動(dòng)MySQL：systemctl start mysqld.service
查找初始化密碼：grep 'temporary password' /var/log/mysqld.log
登錄到MySQL執(zhí)行以下內(nèi)容：
set global validate_password_policy=0;
set global validate_password_mixed_case_count=0;
set global validate_password_number_count=3;
set global validate_password_special_char_count=0;
set global validate_password_length=3;
設(shè)置密碼：
SET PASSWORD FOR 'root'@'localhost' = PASSWORD('your password');
第四步：CDH配置
解壓：cloudera-manager-el6-cm5.12.1_x86_64.tar.gz
所有節(jié)點(diǎn)都執(zhí)行
tar -zxvf cloudera-manager-el6-cm5.16.1_x86_64.tar.gz -C /opt/
創(chuàng)建用戶cloudera-scm（所有節(jié)點(diǎn)）
useradd --system --home=/opt/cm-5.16.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
配置CM Agent（所有節(jié)點(diǎn)）
vi /opt/cm-5.16.2/etc/cloudera-scm-agent/config.ini
修改
server_host=node01
說(shuō)明：server_host配置是CMserver的節(jié)點(diǎn)名稱
配置CM需要的MySQL驅(qū)動(dòng)包
yum install mysql-connector-java
下載完成后會(huì)在/usr/share/java目錄下
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.2/share/cmf/lib/
初始化cm庫(kù)：
cd /opt/cm-5.16.2/share/cmf/schea/
./scm_prepare_database.sh mysql -h node01 -uroot -p123456 --scm-host node01 scm scm scm
創(chuàng)建數(shù)據(jù)：
集群監(jiān)控?cái)?shù)據(jù)庫(kù)
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
hive數(shù)據(jù)庫(kù)
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
oozie數(shù)據(jù)庫(kù)
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
hue數(shù)據(jù)庫(kù)
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
配置parcel
Server節(jié)點(diǎn)
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
Agent節(jié)點(diǎn)
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
把CDH安裝包移到/opt/cloudera/parcel-repo 下面,并修改其中后綴為sha1的文件為sha
cp CDH* /opt/cloudera/parcel-repo
cp manifest.json /opt/cloudera/parcel-repo
第五步：?jiǎn)?dòng)和安裝組件
server節(jié)點(diǎn)執(zhí)行：
/opt/cm-5.16.2/etc/init.d/cloudera-scm-server start
所有agent節(jié)點(diǎn)執(zhí)行：
/opt/cm-5.16.2/etc/init.d/cloudera-scm-agent start
查看是否啟動(dòng)成功：
netstat -apn|grep 7180
端口啟動(dòng)說(shuō)明啟動(dòng)成功,訪問(wèn)頁(yè)面
