CentOS7 安裝 CDH 6.1.x

參照官網(wǎng)的步驟：https://www.cloudera.com/documentation/enterprise/latest/topics/installation.html

準備三臺服務器：

ip 地址（CDH 只支持 ipv4）	主機名
10.0.0.0	master
10.0.0.1	slave01
10.0.0.2	slave02

下載安裝包瑟蜈，放在 /root 目錄下（若在線安裝指黎，則可忽略）
https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/
https://archive.cloudera.com/cdh6/6.1.0/parcels/

主機名	所需安裝包
master	cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel manifest.json
slave	cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm

安裝總共分為三大部分：
Part1: 安裝前準備
Part2: 安裝 Cloudera Manager 和 CDH
Part3: 安裝之后

PART1 安裝前準備

step1: 修改主機名（所有節(jié)點梗掰，重啟有效）

# master
hostnamectl set-hostname master
# slave01
hostnamectl set-hostname slave01
# slave02
hostnamectl set-hostname slave02

設置映射主機名檀葛，將以下內(nèi)容添加到 /etc/hosts 文件：

10.0.0.0 master
10.0.0.1 slave01
10.0.0.2 slave02

各節(jié)點編輯 /etc/sysconfig/network摧扇，填入各自的主機名铐达。比如 master：

HOSTNAME=master

step2: 關閉防火墻（所有節(jié)點）

#查看防火墻
systemctl status firewalld.service

#執(zhí)行關閉命令
systemctl stop firewalld.service

#執(zhí)行開機禁用防火墻命令 
systemctl disable firewalld.service

step3: 關閉 SELINUX （所有節(jié)點）

vim /etc/sysconfig/selinux

將 SELINUX=enforcing 改為 SELINUX=disabled

step4: 啟用ntp （所有節(jié)點）

安裝 ntp

yum install ntp

啟動 ntp

systemctl enable ntpd
systemctl start ntpd

step5: 配置從 master 到所有 slave 的 ssh 免密登錄

先在 master 上執(zhí)行：

ssh-keygen -t rsa   #一路回車到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@master   #將公鑰拷貝到本機的authorized_keys上

再在所有 slave 上分別執(zhí)行：

ssh-keygen -t rsa   #一路回車到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@master   #注意此處不變秧饮，將公鑰拷貝到master的authorized_keys上

在 master 上，將 authorized_keys 分發(fā)到其他節(jié)點服務器：

scp ~/.ssh/authorized_keys root@slave01:~/.ssh/

scp ~/.ssh/authorized_keys root@slave02:~/.ssh/

step6: 禁用透明大頁面壓縮（所有節(jié)點）

注：step6 與 step7 雖然不是官網(wǎng)的標準步驟穗泵，但如果不執(zhí)行普气，創(chuàng)建集群時會報 warning，仍需修改配置佃延。
打開編輯 /etc/rc.local 文件：

vim /etc/rc.local

添加以下內(nèi)容：

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

step7: 優(yōu)化交換分區(qū)（所有節(jié)點）

編輯 /etc/sysctl.conf 并添加一行 vm.swappiness=0

vim /etc/sysctl.conf

PART2 安裝 Cloudera Manager 和 CDH

step1: 為 Cloudera Manager 配置存儲庫（master）

下載對應操作系統(tǒng)的 cloudera-manager.repo 文件到 Cloudera Manager Server 主機上的 /etc/yum.repos.d/

sudo wget  https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

導入存儲庫簽名 GPG key：

sudo rpm --import https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPM-GPG-KEY-cloudera

step2: 安裝 JDK 并寫入環(huán)境變量（所有節(jié)點）

（需要先卸載掉已安裝的 JDK）
（認真對待 step2现诀，沒裝好會導致 Cloudera Manager 啟動失敗）

完成 step 1：為 Cloudera Manager 配置存儲庫后履肃，可以使用軟件包管理器在 Cloudera Manager Server 主機上（master）安裝 Oracle JDK赶盔，如下所示：

sudo yum install oracle-j2sdk1.8

如果已經(jīng)下載了 JDK（下載地址：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm），直接用 rpm 安裝即可：

rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

或自行安裝：
Oracle 官網(wǎng)下載 Oracle JDK 并安裝榆浓，需要 jdk1.8 及以上于未。

寫入環(huán)境變量：
/etc/profile 末尾添加以下內(nèi)容

#set jdk environment
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

step3: 安裝 Cloudera Manager 軟件包

在 master 上安裝 Cloudera Manager 軟件包，并可選擇啟用 auto-TLS（推薦啟用）。

先安裝下面的內(nèi)容烘浦，因為 cloudera-manager-agent 依賴這些（所有節(jié)點）

yum install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi portmap httpd mod_ssl openssl-devel python-psycopg2 MySQL-python /lib/lsb/init-functions

接下來需要安裝：（注意需要先安裝 daemons抖坪，再安裝其他）
master:

rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-server-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-server-db-2-6.0.1-610811.el7.x86_64.rpm

slave:

rpm -ivh cloudera-manager-daemons-6.0.1-610811.el7.x86_64.rpm
rpm -ivh cloudera-manager-agent-6.0.1-610811.el7.x86_64.rpm

或者可使用在線下載安裝，下載慢闷叉，不推薦

sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

啟用 auto-TLS：

JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera /opt/cloudera/cm-agent/bin/certmanager setup --configure-services

啟用 auto-TLS 后擦俐，后續(xù)訪問 impala 需要指明使用 ssl（默認為不使用）
例如啟動 impala-shell：impala-shell --ssl

修改 agent 的服務器地址（所有節(jié)點）
編輯 /etc/cloudera-scm-agent/config.ini：

vim /etc/cloudera-scm-agent/config.ini

將 server_host=localhost 改為 master 節(jié)點主機名 master

step4: 安裝數(shù)據(jù)庫（MySQL）

此數(shù)據(jù)庫用于存儲 Cloudera Manager 配置信息，只安裝在 master 即可

安裝 MySQL Server

wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

rpm -ivh mysql-community-release-el7-5.noarch.rpm

yum update

yum install mysql-server

systemctl start mysqld

配置并啟動 MySQL Server

首先停止 MySQL 服務

systemctl stop mysqld

將舊的 InnoDB 日志文件 /var/lib/mysql/ib_logfile0 和 /var/lib/mysql/ib_logfile1 從 /var/lib/mysql/ 中移除

rm -rf /var/lib/mysql/ib_logfile0 /var/lib/mysql/ib_logfile1

更新 /etc/my.cnf 配置文件握侧，推薦的配置如下：

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
symbolic-links = 0

key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space.
#Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your
#system and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

#In later versions of MySQL, if you enable the binary log and do not set
#a server_id, MySQL will not start. The server_id must be unique within
#the replicating group.
server_id=1

binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

啟動服務并設置開機啟動

systemctl enable mysqld

systemctl start mysqld

設置 root 密碼和其他安全相關設置：

/usr/bin/mysql_secure_installation

    [...]
    Enter current password for root (enter for none):
    OK, successfully used password, moving on...
    [...]
    Set root password? [Y/n] Y
    New password:
    Re-enter new password:
    Remove anonymous users? [Y/n] Y
    [...]
    Disallow root login remotely? [Y/n] N
    [...]
    Remove test database and access to it [Y/n] Y
    [...]
    Reload privilege tables now? [Y/n] Y
    All done!

安裝 MySQL JDBC Driver

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz

tar zxvf mysql-connector-java-5.1.46.tar.gz

mkdir -p /usr/share/java/

cd mysql-connector-java-5.1.46

cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

注意蚯瞧，此時 mysql-connector-java.jar 的權限若為 rwx------，后期 Cloudera Manager Server 啟動時品擎，用非 root 用戶沒有 mysql-connector-java.jar 的權限埋合，將導致服務啟動失敗。因此開放 mysql-connector-java.jar 的權限：

chmod 755 /usr/share/java/mysql-connector-java.jar

為 Cloudera Manager 創(chuàng)建 MySQL 數(shù)據(jù)庫

root 用戶登錄

mysql -u root -p
Enter password:

為下表中每個服務創(chuàng)建 utf8 字符集的數(shù)據(jù)庫：

CREATE DATABASE <database> DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON <database>.* TO '<user>'@'%' IDENTIFIED BY '<password>';

Service	database	user
Cloudera Manager Server	scm	scm
Activity Monitor	amon	amon
Reports Manager	rman	rman
Hue	hue	hue
Hive Metastore Server	metastore	hive
Sentry Server	sentry	sentry
Cloudera Navigator Audit Server	nav	nav
Cloudera Navigator Metadata Server	navms	navms
Oozie	oozie	oozie

命令如下：

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

flush privileges;

檢查 MySQL 確認已創(chuàng)建所有數(shù)據(jù)庫

SHOW DATABASES;

step5: 設置 Cloudera Manager 數(shù)據(jù)庫

master 執(zhí)行：

rm /etc/cloudera-scm-server/db.mgmt.properties

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

得到：

Enter SCM password:
JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
Verifying that we can write to /etc/cloudera-scm-server
Creating SCM configuration file in /etc/cloudera-scm-server
Executing:  /usr/java/jdk1.8.0_141-cloudera/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/usr/share/java/postgresql-connector-java.jar:/opt/cloudera/cm/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

step6: 安裝 CDH 和其他軟件

準備 parcel 包（master）
若在線安裝萄传，則跳過此步

將已下載的 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel 和 manifest.json 拷貝至 /opt/cloudera/parcel-repo/ 目錄甚颂，并且生成 parcel 包的 sha 值：

sha1sum /opt/cloudera/parcel-repo/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

將 sha 值填入到 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha 文件中

vim /opt/cloudera/parcel-repo/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha

啟動 cloudera-scm-agent （所有節(jié)點）

systemctl start cloudera-scm-agent

啟動 Cloudera Manager Server （master）

systemctl start cloudera-scm-server

查看啟動日志：

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

看到 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server. 則說明啟動完成

********** 接著在 https://10.0.0.0:7183 創(chuàng)建集群 **********

最后編輯于：2019.10.18 14:09:35

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個濱河市秀菱，隨后出現(xiàn)的幾起案子振诬，更是在濱河造成了極大的恐慌，老刑警劉巖衍菱，帶你破解...
沈念sama閱讀 216,997評論 6贊 502
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件赶么，死亡現(xiàn)場離奇詭異，居然都是意外死亡脊串，警方通過查閱死者的電腦和手機辫呻，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 92,603評論 3贊 392
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來洪规，“玉大人印屁，你說我怎么就攤上這事循捺≌独” “怎么了？”我有些...
開封第一講書人閱讀 163,359評論 0贊 353
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵从橘，是天一觀的道長念赶。經(jīng)常有香客問我，道長恰力，這世上最難降的妖魔是什么叉谜？我笑而不...
開封第一講書人閱讀 58,309評論 1贊 292
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮踩萎，結果婚禮上停局，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好董栽，可當我...
茶點故事閱讀 67,346評論 6贊 390
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布码倦。她就那樣靜靜地躺著，像睡著了一般锭碳。火紅的嫁衣襯著肌膚如雪袁稽。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,258評論 1贊 300
城市分裂傳說
那天擒抛，我揣著相機與錄音推汽，去河邊找鬼。笑死歧沪，一個胖子當著我的面吹牛歹撒，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播槽畔，決...
沈念sama閱讀 40,122評論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼栈妆，長吁一口氣：“原來是場噩夢啊……” “哼！你這毒婦竟也來了厢钧？” 一聲冷哼從身側響起鳞尔，我...
開封第一講書人閱讀 38,970評論 0贊 275
萬榮殺人案實錄
序言：老撾萬榮一對情侶失蹤，失蹤者是張志新（化名）和其女友劉穎早直，沒想到半個月后寥假，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,403評論 1贊 313
?護林員之死
正文獨居荒郊野嶺守林人離奇死亡霞扬，尸身上長有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點故事閱讀 37,596評論 3贊 334
?白月光啟示錄
正文我和宋清朗相戀三年糕韧，在試婚紗的時候發(fā)現(xiàn)自己被綠了。大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片喻圃。...
茶點故事閱讀 39,769評論 1贊 348
活死人
序言：一個原本活蹦亂跳的男人離奇死亡萤彩，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出斧拍，到底是詐尸還是另有隱情雀扶，我是刑警寧澤，帶...
沈念sama閱讀 35,464評論 5贊 344
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布肆汹，位于F島的核電站愚墓，受9級特大地震影響，放射性物質(zhì)發(fā)生泄漏昂勉。R本人自食惡果不足惜浪册，卻給世界環(huán)境...
茶點故事閱讀 41,075評論 3贊 327
男人毒藥：我在死后第九天來索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望岗照。院中可真熱鬧村象，春花似錦笆环、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,705評論 0贊 22
一樁弒父案咧织，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至籍救，卻和暖如春习绢，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背蝙昙。一陣腳步聲響...
開封第一講書人閱讀 32,848評論 1贊 269
情欲美人皮
我被黑心中介騙來泰國打工闪萄，沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留，地道東北人奇颠。一個月前我還...
沈念sama閱讀 47,831評論 2贊 370
代替公主和親
正文我出身青樓败去，卻偏偏與公主長得像，于是被迫代替她去往敵國和親烈拒。傳聞我的和親對象是個殘疾皇子圆裕，可洞房花燭夜當晚...
茶點故事閱讀 44,678評論 2贊 354