CentOS-7.5安裝Cloudera Manager偽分布式

一、下載相關(guān)文件

CentOS-7.5鏡像

http://mirrors.huaweicloud.com/repository/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

Cloudera Manager 相關(guān)下載

http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel
http://archive.cloudera.com/cdh5/parcels/latest/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/latest/manifest.json

JDK

請(qǐng)到oracle官網(wǎng)進(jìn)行下載
本例中使用 jdk-8u181-linux-x64.tar.gz

二狈网、安裝虛擬機(jī)

安裝過程略
PS: 安裝過程中可設(shè)置root密碼

三魄宏、環(huán)境準(zhǔn)備

修改root密碼，為方便操作赤屋，之后所有的命令均可使用root執(zhí)行

sudo passwd root

設(shè)置網(wǎng)絡(luò)及靜態(tài)IP

ip addr
# 查看網(wǎng)卡名為 ens33
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改以下內(nèi)容
#----------------------------------#
BOOTPROTO=static
ONBOOT=yes
#----------------------------------#
# 文件最后添加以下內(nèi)容
#----------------------------------#
GATEWAY=192.168.60.2
IPADDR=192.168.60.135
NETMASK=255.255.255.0
DNS1=8.8.8.8
#----------------------------------#

# 重啟網(wǎng)絡(luò)服務(wù) 
sudo service network restart

安裝vim

yum -y install vim

為方便操作掌逛，關(guān)閉防火墻师逸、SELinux等

# 停止firewall
systemctl stop firewalld.service
# 禁止firewall開機(jī)啟動(dòng)
systemctl disable firewalld.service
# 查看默認(rèn)防火墻狀態(tài)
firewall-cmd --state 

vim /etc/selinux/config
# 修改以下內(nèi)容
#----------------------------------#
SELINUX=disabled
#----------------------------------#

安裝常用軟件

sudo yum -y install lrzsz
sudo yum -y install unzip
sudo yum -y install psmisc
sudo yum -y install wget
sudo yum -y install libxslt-devel
sudo yum -y install epel-release
sudo yum -y install python-pip
sudo yum -y install net-tools

安裝jdk8

# 查看CentOS自帶JDK是否已安裝。
yum list installed |grep java
# 卸載原java
yum -y remove java-1.7.0-openjdk*

mkdir /usr/java
tar zxvf ~/jdk-8u181-linux-x64.tar.gz -C /usr/java
vim /etc/profile
# 在文件末尾添加以下內(nèi)容
#----------------------------------#
export JAVA_HOME=/usr/java/jdk1.8.0_181
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
#----------------------------------#

# 使配置生效
source /etc/profile

python3.6

yum -y install python36
cd /usr/bin
rm -rf python
ln -s /usr/bin/python3.6 python
ln -s /usr/bin/python3.6 python3

#修復(fù)yum
vim /usr/bin/yum
vim /usr/libexec/urlgrabber-ext-down
#將 #!/usr/bin/python 修改為 #!/usr/bin/python2

ntp

yum -y install ntp
systemctl enable ntpd
systemctl start ntpd

# 配置是否為其他PC提供時(shí)間服務(wù)
vi /etc/ntp.conf
#----------------------------------#
restrict 192.168.60.0 mask 255.255.255.0 nomodify notrap
# 配置上游時(shí)間服務(wù)器為本地的ntpd Server服務(wù)器
server 192.168.60.135
#----------------------------------#

# 重啟
systemctl restart ntpd

修改hostname

hostnamectl set-hostname hadoopm
# 使hostname生效
service network restart

修改hosts

sudo vim /etc/hosts

# 添加以下內(nèi)容
#----------------------------------#
192.168.60.135 hadoopm
#----------------------------------#

免密碼登錄ssh

# 生成密鑰
sudo ssh-keygen -t rsa
# 會(huì)在~/.ssh下面生成2個(gè)文件
# id_rsa豆混，id_rsa.pub

# 在hadoopm上執(zhí)行
sudo cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

安裝mysql（mariaDB）

yum -y install mariadb mariadb-server
systemctl enable mariadb
systemctl start mariadb
# 此時(shí)mysql密碼為空篓像，設(shè)置mysql密碼
mysql_secure_installation

mysql -uroot -pabc123_
# 可以使用遠(yuǎn)程登錄root
#----------------------------------#
update user set host='%' where user='root' and host='localhost';
flush privileges;
#----------------------------------#

# 編輯/etc/my.cnf
vim /etc/my.cnf
# 在[mysqld]標(biāo)簽下添加下面內(nèi)容
#----------------------------------#
default-storage-engine = innodb
innodb_file_per_table
max_connections = 4096
collation-server = utf8_general_ci
character-set-server = utf8
#----------------------------------#
# 編輯/etc/my.cnf.d/client.cnf
vim /etc/my.cnf.d/client.cnf
# 在[client]標(biāo)簽下添加下面內(nèi)容
#----------------------------------#
default-character-set=utf8
#----------------------------------#
# 編輯/etc/my.cnf.d/mysql-clients.cnf
vim /etc/my.cnf.d/mysql-clients.cnf
# 在[mysql]標(biāo)簽下添加下面內(nèi)容
#----------------------------------#
default-character-set=utf8
#----------------------------------#

# 重啟
systemctl restart mariadb

#在mysql中執(zhí)行，查看結(jié)果
#----------------------------------#
show variables like "%character%";
show variables like "%collation%";
#----------------------------------#

四崖叫、測(cè)試環(huán)境是否正常

略

五遗淳、安裝Cloudera Manager

解壓、復(fù)制文件

tar zxvf ~/cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz -C /opt/
mkdir /opt/cloudera /opt/cloudera/parcels /opt/cloudera/parcel-repo
mv ~/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel.sha
mv ~/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el7.parcel
mv ~/manifest.json /opt/cloudera/parcel-repo/manifest.json
rm -rf ~/cloudera-manager-centos7-cm5.15.1_x86_64.tar.gz

添加mysql 驅(qū)動(dòng)

tar zxvf mysql-connector-java-5.1.46.tar.gz
mkdir /usr/share/java/
cp ~/mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.15.1/share/cmf/lib/mysql-connector-java.jar
rm -rf ~/mysql-connector*

根據(jù)Cloudera Manager的建議修改

echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

創(chuàng)建數(shù)據(jù)庫(kù)

Service	Database	User
Cloudera Manager Server	scm	scm
Activity Monitor	amon	amon
Reports Manager	rman	rman
Hue	hue	hue
Hive Metastore Server	metastore	hive
Sentry Server	sentry	sentry
Cloudera Navigator Audit Server	nav	nav
Cloudera Navigator Metadata Server	navms	navms
Oozie	oozie	oozie

# 進(jìn)入mysql
mysql -u root -p
CREATE DATABASE <database> DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON <database>.* TO '<user>'@'%' IDENTIFIED BY '<password>';

# 以下為具體的創(chuàng)建語句
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'abc123_';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'abc123_';

# SHOW DATABASES;
# SHOW GRANTS FOR '<user>'@'%';

創(chuàng)建scm數(shù)據(jù)庫(kù)

# 重新配置時(shí)心傀，防止scm數(shù)據(jù)庫(kù)已經(jīng)存在而終止執(zhí)行命令可加參數(shù) -f
/opt/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql scm scm

配置agent

sudo vim /opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini
#修改以下內(nèi)容
server_host=hadoopm

創(chuàng)建cloudera-scm用戶（各個(gè)節(jié)點(diǎn)）

useradd --system --home=/opt/cm-5.15.1/run/cloudera-scm-server --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

更改文件夾所有用戶與用戶組（各個(gè)節(jié)點(diǎn)）

mkdir /opt/cloudera /opt/cloudera/parcels /opt/cloudera/parcel-repo
sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels
sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
sudo chown -R cloudera-scm:cloudera-scm /opt/cm-5.15.1

啟動(dòng)Cloudera Manager的Server和Agent

#在hadoopm執(zhí)行
/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start
#在各個(gè)節(jié)點(diǎn)執(zhí)行
/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start

# 查看運(yùn)行狀態(tài)
/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent status
/opt/cm-5.15.1/etc/init.d/cloudera-scm-server status

# 查看server日志
tail -f /opt/cm-5.15.1/log/cloudera-scm-server/cloudera-scm-server.log 
# 查看agent日志
tail -f /opt/cm-5.15.1/log/cloudera-scm-agent/cloudera-scm-agent.log

六屈暗、圖形化安裝

訪問管理界面

http://192.168.60.135:7180/
# 賬號(hào)密碼均為admin

可參考： http://www.reibang.com/p/012739e132f6

最后編輯于：2018.10.22 14:08:54

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市脂男，隨后出現(xiàn)的幾起案子养叛，更是在濱河造成了極大的恐慌，老刑警劉巖宰翅，帶你破解...
沈念sama閱讀 218,682評(píng)論 6贊 507
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件弃甥，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡汁讼，警方通過查閱死者的電腦和手機(jī)淆攻，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 93,277評(píng)論 3贊 395
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門阔墩，熙熙樓的掌柜王于貴愁眉苦臉地迎上來，“玉大人瓶珊，你說我怎么就攤上這事啸箫。” “怎么了伞芹？”我有些...
開封第一講書人閱讀 165,083評(píng)論 0贊 355
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵忘苛，是天一觀的道長(zhǎng)。經(jīng)常有香客問我唱较，道長(zhǎng)扎唾，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 58,763評(píng)論 1贊 295
?港島之戀（遺憾婚禮）
正文為了忘掉前任南缓，我火速辦了婚禮胸遇，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘西乖。我一直安慰自己狐榔，他們只是感情好坛增，可當(dāng)我...
茶點(diǎn)故事閱讀 67,785評(píng)論 6贊 392
惡毒庶女頂嫁案：這布局不是一般人想出來的
文/花漫我一把揭開白布获雕。她就那樣靜靜地躺著，像睡著了一般收捣。火紅的嫁衣襯著肌膚如雪届案。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 51,624評(píng)論 1贊 305
城市分裂傳說
那天株茶，我揣著相機(jī)與錄音赫编，去河邊找鬼况木。笑死，一個(gè)胖子當(dāng)著我的面吹牛童漩，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播春锋，決...
沈念sama閱讀 40,358評(píng)論 3贊 418
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼矫膨，長(zhǎng)吁一口氣：“原來是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來了期奔？” 一聲冷哼從身側(cè)響起侧馅，我...
開封第一講書人閱讀 39,261評(píng)論 0贊 276
萬榮殺人案實(shí)錄
序言：老撾萬榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎呐萌，沒想到半個(gè)月后馁痴，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 45,722評(píng)論 1贊 315
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡肺孤，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 37,900評(píng)論 3贊 336
?白月光啟示錄
正文我和宋清朗相戀三年罗晕，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了济欢。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 40,030評(píng)論 1贊 350
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡小渊，死狀恐怖船逮，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情粤铭，我是刑警寧澤挖胃，帶...
沈念sama閱讀 35,737評(píng)論 5贊 346
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站梆惯，受9級(jí)特大地震影響酱鸭，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜垛吗，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 41,360評(píng)論 3贊 330
男人毒藥：我在死后第九天來索命
文/蒙蒙一凹髓、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧怯屉，春花似錦蔚舀、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 31,941評(píng)論 0贊 22
一樁弒父案赌躺，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽。三九已至羡儿，卻和暖如春礼患，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背掠归。一陣腳步聲響...
開封第一講書人閱讀 33,057評(píng)論 1贊 270
情欲美人皮
我被黑心中介騙來泰國(guó)打工缅叠，沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人虏冻。一個(gè)月前我還...
沈念sama閱讀 48,237評(píng)論 3贊 371
代替公主和親
正文我出身青樓肤粱，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親厨相。傳聞我的和親對(duì)象是個(gè)殘疾皇子领曼，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 44,976評(píng)論 2贊 355

CentOS-7.5安裝Cloudera Manager偽分布式

一、下載相關(guān)文件

CentOS-7.5鏡像

Cloudera Manager 相關(guān)下載

JDK

二狈网、安裝虛擬機(jī)

三魄宏、環(huán)境準(zhǔn)備

修改root密碼，為方便操作赤屋，之后所有的命令均可使用root執(zhí)行

設(shè)置網(wǎng)絡(luò)及靜態(tài)IP

安裝vim

為方便操作掌逛，關(guān)閉防火墻师逸、SELinux等

安裝常用軟件

安裝jdk8

python3.6

ntp

修改hostname

修改hosts

免密碼登錄ssh

安裝mysql（mariaDB）

四崖叫、測(cè)試環(huán)境是否正常

五遗淳、安裝Cloudera Manager

解壓、復(fù)制文件

添加mysql 驅(qū)動(dòng)

根據(jù)Cloudera Manager的建議修改

創(chuàng)建數(shù)據(jù)庫(kù)

創(chuàng)建scm數(shù)據(jù)庫(kù)

配置agent

創(chuàng)建cloudera-scm用戶（各個(gè)節(jié)點(diǎn)）

更改文件夾所有用戶與用戶組（各個(gè)節(jié)點(diǎn)）

啟動(dòng)Cloudera Manager的Server和Agent

六屈暗、圖形化安裝

訪問管理界面

推薦閱讀更多精彩內(nèi)容