Cloudera Manager集群安裝蜜猾,CDH離線安裝記錄

概要

1.本文寫了什么?
Cloudera Manager 集群部署的離線安裝方式振诬,一些其他相關(guān)知識(shí)
2.寫了多久蹭睡?三天,建議讀30分鐘以上
3.為什么寫赶么,被網(wǎng)上找的一堆部署過程整的頭大肩豁,這里做個(gè)整理

關(guān)于CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop眾多分支中的一種,由Cloudera維護(hù)清钥,基于穩(wěn)定版本的Apache Hadoop構(gòu)建琼锋,并集成了很多補(bǔ)丁,可直接用于生產(chǎn)環(huán)境祟昭。

Cloudera Manager則是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件缕坎,對(duì)集群中主機(jī)、Hadoop篡悟、Hive谜叹、Spark等服務(wù)的安裝配置管理做了極大簡(jiǎn)化。

關(guān)于開源版Apache 集群部署

看這里搬葬,我以前搭建時(shí)的記錄: 阿里云部署Hbase集群
這里采用chd版本搭建

搭建步驟

吐槽: 網(wǎng)上搜了很多荷腊,寫的很雜很亂,官網(wǎng)寫的太全面急凰,廢話太多女仰,看的費(fèi)勁

官方文檔,所有的搭建都是基于這里整理的
https://www.cloudera.com/documentation/enterprise/latest/topics/installation_installation.html

注:英文不好 自備翻譯插件 推薦谷歌翻譯

官網(wǎng)推薦方式

官方共給出了3中安裝方式:
第一種方法必須要求所有機(jī)器都能連網(wǎng)抡锈,由于最近各種國外的網(wǎng)站被墻的厲害疾忍,我嘗試了幾次各種超時(shí)錯(cuò)誤,巨耽誤時(shí)間不說床三,一旦失敗一罩,重裝非常痛苦。
第二種方法下載很多包勿璃。
第三種方法對(duì)系統(tǒng)侵入性最小,最大優(yōu)點(diǎn)可實(shí)現(xiàn)全離線安裝擒抛,而且重裝什么的都非常方便。后期的集群統(tǒng)一包升級(jí)也非常好补疑。這也是我之所以選擇離線安裝的原因歧沪。

生成環(huán)境,你就直接離線部署就行了莲组,方便快捷诊胞,后期維護(hù)和擴(kuò)展奠定基礎(chǔ)

基本環(huán)境信息

三臺(tái)ecs主機(jī),我這里用的聯(lián)通-阿里云锹杈,隨便你
操作系統(tǒng)centos7
2H8G2M(2核8G內(nèi)存2M帶寬)

192.168.2.6  master  2核8G內(nèi)存2M帶寬  cm和agen
192.168.2.5  slave1  2核8G內(nèi)存2M帶寬  agen
192.168.2.4  slave2  2核8G內(nèi)存2M帶寬  agen

安裝步驟

基本就是準(zhǔn)備環(huán)境撵孤,安裝cm(cdh管理軟件),安裝cdh竭望,建議分布走邪码,做完一步檢測(cè)一步

  • 環(huán)境準(zhǔn)備
    • 網(wǎng)絡(luò)配置
    • 配置ssh免密登陸
    • 關(guān)閉防火墻
    • 安裝jdk7以上
    • 安裝mysql并配置優(yōu)化(一般裝主節(jié)點(diǎn)就行了)
    • 配置時(shí)間同步 ntp服務(wù)
  • 安裝cloudera-manager
  • 安裝cdh5
  • 圖形界面配置,測(cè)試集群

安裝軟件準(zhǔn)備

國內(nèi)網(wǎng)速受限咬清,建議下載安裝包闭专,手動(dòng)處理所有安裝奴潘,我一開始偷懶用yum install裝的,后來又都卸載了影钉,非常痛苦

我這里是centos7 安裝cdh5.14版(最新版)画髓,你根據(jù)你的需要選擇下載



下載完后,上傳到服務(wù)器(為什么上傳平委,因?yàn)槁?lián)通服務(wù)器連外網(wǎng)下載太慢了奈虾,fuck!)

復(fù)制前輩的忠告:

CHD5 相關(guān)的 Parcel 包放到主節(jié)點(diǎn)的/opt/cloudera/parcel-repo/目錄中
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名為 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
本文所有軟件包廉赔,百度網(wǎng)盤鏈接http://pan.baidu.com/s/1eSALjAq 密碼:vqhg
這點(diǎn)必須注意肉微,否則,系統(tǒng)會(huì)重新下載 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel 文件

開始配置環(huán)境

注意昂勉,這里的配置都是基于centos7浪册,內(nèi)核3.10 扫腺,64位操作系統(tǒng)岗照,其他系統(tǒng)請(qǐng)適當(dāng)修改,或參考官網(wǎng)文檔

Linux master 3.10.0-862.3.2.el7.x86_64 #1 SMP Mon May 21 23:36:36 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

修改hostname

vim /etc/hostname 
然后重啟 reboot
記得修改每一臺(tái)

修改hosts映射

vim /etc/hosts

修改完類似如下:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
# ip地址       域名/主機(jī)名
192.168.2.6  master
192.168.2.5  slave1
192.168.2.4  slave2
               

SSH 免密碼登錄

方便后期之間文件復(fù)制笆环。

# # slave1
# ssh-keygen -t rsa
-- 不用輸入密碼攒至,一路回車就行
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub
# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

# # slave2
# ssh-keygen -t rsa
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub
# scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/

# # master
ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes
-- 拷貝文件至slave1及slave2
# scp ~/.ssh/authorized_keys slave1:~/.ssh
# scp ~/.ssh/authorized_keys slave2:~/.ssh

驗(yàn)證 ssh 無密登錄
開一個(gè)其他窗口測(cè)試下能否免密登陸
例如:在node3
ssh root@node2
exit 退出

關(guān)閉防火墻和SELinux

注意: 需要在所有的節(jié)點(diǎn)上執(zhí)行,因?yàn)樯婕暗降亩丝谔嗔嗽炅樱R時(shí)關(guān)閉防火墻是為了安裝起來更方便迫吐,安裝完畢后可以根據(jù)需要設(shè)置防火墻策略,保證集群安全账忘。

-- 關(guān)閉防火墻及SELINUX(master志膀、slave1、slave2均需修改)
-- 關(guān)閉防火墻
# systemctl stop firewalld.service
# systemctl disable firewalld.service

-- 關(guān)閉SELINUX
# vim /etc/selinux/config
-- 注釋掉
#SELINUX=enforcing
#SELINUXTYPE=targeted
-- 添加
SELINUX=disabled

-- 重啟生效
reboot

切換yum源鳖擒,換為阿里源溉浙,速度快

第一步:備份你的原鏡像文件,以免出錯(cuò)后可以恢復(fù)蒋荚。

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

第二步:下載新的CentOS-Base.repo 到/etc/yum.repos.d/

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

第三步:運(yùn)行yum makecache生成緩存

yum clean all

yum makecache

設(shè)置時(shí)間同步 戳稽,安裝NTP服務(wù)

所有節(jié)點(diǎn)安裝 NTP
yum install ntp
設(shè)置同步
ntpdate -d 182.92.12.11
這里增加一些內(nèi)容,請(qǐng)參考
.所有節(jié)點(diǎn)配置NTP服務(wù)
集群中所有主機(jī)必須保持時(shí)間同步期升,如果時(shí)間相差較大會(huì)引起各種問題惊奇。 具體思路如下:
master節(jié)點(diǎn)作為ntp服務(wù)器與外界對(duì)時(shí)中心同步時(shí)間,隨后對(duì)所有datanode節(jié)點(diǎn)提供時(shí)間同步服務(wù)播赁。
所有datanode節(jié)點(diǎn)以master節(jié)點(diǎn)為基礎(chǔ)同步時(shí)間颂郎。
所有節(jié)點(diǎn)安裝相關(guān)組件:
yum install ntp

。完成后容为,配置開機(jī)啟動(dòng):
chkconfig ntpd on


,檢查是否設(shè)置成功:
chkconfig --list ntpd


其中2-5為on狀態(tài)就代表成功乓序。

主節(jié)點(diǎn)配置
在配置之前诞吱,先使用ntpdate手動(dòng)同步一下時(shí)間,免得本機(jī)與對(duì)時(shí)中心時(shí)間差距太大竭缝,使得ntpd不能正常同步房维。這里選用65.55.56.206作為對(duì)時(shí)中心,
ntpdate -u 65.55.56.206



ntp服務(wù)只有一個(gè)配置文件,配置好了就OK抬纸。 這里只給出有用的配置咙俩,不需要的配置都用#注掉,這里就不在給出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys



配置文件完成湿故,保存退出阿趁,啟動(dòng)服務(wù),執(zhí)行如下命令:
service ntpd start


檢查是否成功坛猪,用ntpstat命令查看同步狀態(tài)脖阵,出現(xiàn)以下狀態(tài)代表啟動(dòng)成功:

synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s



如果出現(xiàn)異常請(qǐng)等待幾分鐘,一般等待5-10分鐘才能同步墅茉。
配置ntp客戶端(所有datanode節(jié)點(diǎn))

driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#這里是主節(jié)點(diǎn)的主機(jī)名或者ip
server n1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys



ok保存退出命黔,請(qǐng)求服務(wù)器前,請(qǐng)先使用ntpdate手動(dòng)同步一下時(shí)間:ntpdate -u n1 (主節(jié)點(diǎn)ntp服務(wù)器)
這里可能出現(xiàn)同步失敗的情況就斤,請(qǐng)不要著急悍募,一般是本地的ntp服務(wù)器還沒有正常啟動(dòng),一般需要等待5-10分鐘才可以正常同步洋机。啟動(dòng)服務(wù):
service ntpd start

安裝jdk7以上版本

這里安裝在jdk8

更新系統(tǒng)軟件
yum update
查找系統(tǒng)已安裝的jdk組件
rpm -qa | grep -E '^open[jre|jdk]|j[re|dk]'
查看java版本
java -version
卸載以前已有的jdk
yum remove java-1.6.0-openjdk
yum remove java-1.7.0-openjdk
在/usr目錄中先建名為java的文件夾
mkdir /usr/java
下載jdk-8u111-linux-x64.tar.gz包坠宴,并上傳至服務(wù)器/usr/local文件夾中。
解壓jdk-8u111-linux-x64.tar.gz包至/usr/local/jdk1.8.0_111文件夾
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

tar -xvf jdk-8u111-linux-x64.tar.gz
添加到環(huán)境變量
編輯/etc/profile文件绷旗,在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下面添加如下代碼:
#jdk
export JAVA_HOME=/usr/local/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
執(zhí)行命令使配置生效
source /etc/profile
驗(yàn)證喜鼓,是否安裝成功
java -version

安裝配置mysql,并簡(jiǎn)單優(yōu)化

總所周知衔肢,MySQL 被 Oracle 收購后庄岖,CentOS 的鏡像倉庫中提供的默認(rèn)的數(shù)據(jù)庫也變?yōu)榱?MariaDB,如果想了解 MariaDB 和 CentOS 的區(qū)別膀懈,可以參考官網(wǎng)介紹顿锰,想用 MariaDB 的同學(xué)可以參考 MariaDB 安裝指南

cdh可以使用的數(shù)據(jù)庫有很多,支持mysql也支持mariadb或者oracle等启搂,其他安裝請(qǐng)參考官網(wǎng) 安裝和配置外部數(shù)據(jù)庫 硼控, 這里選擇mysql

參考這里 https://blog.csdn.net/SmallTankPy/article/details/75451645

首先檢查 MySQL 是否已安裝

yum list installed | grep mysql

如果有的話 就全部卸載

yum -y remove +數(shù)據(jù)庫名稱

添加 MySQL YUM 源

根據(jù)自己的操作系統(tǒng)選擇合適的安裝源,和其他公司一樣胳赌,總會(huì)讓大家注冊(cè)賬號(hào)獲取更新牢撼,注意是 Oracle 的賬號(hào),如果不想注冊(cè)疑苫,下方有直接下載的地址熏版,下載之后通過 rpm -Uvh 安裝纷责。

$wget 'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm'
$sudo rpm -Uvh mysql57-community-release-el7-11.noarch.rpm
$yum repolist all | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community                  36
mysql-tools-community/x86_64      MySQL Tools Community                       47
mysql57-community/x86_64          MySQL 5.7 Community Server                 187

選擇安裝版本
如果想安裝最新版本的,直接使用 yum 命令即可

$sudo yum install mysql-community-server
如果想要安裝 5.6 版本的撼短,有2個(gè)方法再膳。命令行支持 yum-config-manager 命令的話,可以使用如下命令:

$ sudo dnf config-manager --disable mysql57-community
$ sudo dnf config-manager --enable mysql56-community
$ yum repolist | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community                  36
mysql-tools-community/x86_64      MySQL Tools Community                       47
mysql56-community/x86_64          MySQL 5.6 Community Server                 327

或者直接修改 /etc/yum.repos.d/mysql-community.repo 這個(gè)文件

Enable to use MySQL 5.6

[mysql56-community]
name=MySQL 5.6 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/
enabled=1 #表示當(dāng)前版本是安裝
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql

[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch/
enabled=0 #默認(rèn)這個(gè)是 1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
通過設(shè)置 enabled 來決定安裝哪個(gè)版本曲横。

設(shè)置好之后使用 yum 安裝即可喂柒。

啟動(dòng) MySQL 服務(wù)
啟動(dòng)命令很簡(jiǎn)單

$sudo service mysqld start 
$sudo systemctl start mysqld #CentOS 7
$sudo systemctl status mysqld
● mysqld.service - MySQL Community Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-05-27 12:56:26 CST; 15s ago
  Process: 2482 ExecStartPost=/usr/bin/mysql-systemd-start post (code=exited, status=0/SUCCESS)
  Process: 2421 ExecStartPre=/usr/bin/mysql-systemd-start pre (code=exited, status=0/SUCCESS)
 Main PID: 2481 (mysqld_safe)
   CGroup: /system.slice/mysqld.service
           ├─2481 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
           └─2647 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/...

說明已經(jīng)正在運(yùn)行中了。

修改 /etc/my.cnf

vi /etc/my.cnf

優(yōu)化修改配置禾嫉,使其更好的適應(yīng)cm集群灾杰。配置好的my.cnf應(yīng)類似如下:

[mysqld]
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0

port=8067
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1

max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M

#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log

#5.7以上版本開binlog要增加這個(gè)屬性
server-id=123454 

# For MySQL version 5.1.8 or later. For older versions, reference MySQL documentation for configuration help.
binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
#配置密碼校驗(yàn)規(guī)則簡(jiǎn)單
validate_password_length=1
validate_password_mixed_case_count=0
validate_password_number_count=0
validate_password_policy=LOW
validate_password_special_char_count=0

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

sql_mode=STRICT_ALL_TABLES

創(chuàng)建mysql數(shù)據(jù)庫

官方推薦創(chuàng)建如下數(shù)據(jù)庫,后邊cm安裝時(shí)會(huì)用到熙参,如果你現(xiàn)在不明白可以不創(chuàng)建艳吠,等到安裝的時(shí)候,他會(huì)有提示孽椰,你記得回來創(chuàng)建即可昭娩。sql創(chuàng)建語句如下:



CREATE DATABASE hive CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
CREATE DATABASE hue CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
CREATE DATABASE oozie CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';

這里數(shù)據(jù)庫名稱其實(shí)可以自定義,我創(chuàng)建三個(gè)分別對(duì)應(yīng)hadoop的hive弄屡,hue和oozie

下載jdbc-mysql jar包

下載 mysql 驅(qū)動(dòng)包

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
啟動(dòng)MySQL服務(wù)

service mysql.server start
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/

./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm
看到如下信息题禀,恭喜您鞋诗,配置沒毛病

[main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!
格式:

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm

對(duì)應(yīng)于:數(shù)據(jù)庫類型  數(shù)據(jù)庫 服務(wù)器 用戶名 密碼  –scm-host  Cloudera_Manager_Server 所在節(jié)點(diǎn) 數(shù)據(jù)庫 用戶名 密碼

安裝cloudera manager和chd5.x

如果你的網(wǎng)絡(luò)良好(可以連接國外服務(wù)器)推薦在線安裝膀捷,兩條命令即可。如果你網(wǎng)絡(luò)不好削彬,建議還是手動(dòng)安裝全庸,也方便后期維護(hù)。

介紹在線安裝融痛,網(wǎng)絡(luò)不好看下邊手動(dòng)安裝

Cloudera Manager 安裝
#  在master節(jié)點(diǎn)安裝Cloudera Manager Server并啟動(dòng)壶笼。
     yum install cloudera-manager-daemons cloudera-manager-server
    systemctl start cloudera-scm-server
#在master和node節(jié)點(diǎn)安裝Cloudera Manager Agent。修改 /etc/cloudera-scm-agent/config.ini 中的server_host為master的IP雁刷。
     yum install cloudera-manager-agent cloudera-manager-daemons
    systemctl start cloudera-scm-agent
# 進(jìn)入 Cloudera Manager的console覆劈,[http://Server](http://server/) host:7180,登錄后便可以進(jìn)入CDH的安裝部署了。

手動(dòng)安裝沛励,我選的這種

把下載好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz安裝包上傳至 master節(jié)點(diǎn)/opt/目錄
在 node1 節(jié)點(diǎn)拷貝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 到所有 Server责语、Agent 節(jié)點(diǎn)創(chuàng)建 /opt 目錄:
for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done
所有 Server、Agent 節(jié)點(diǎn)節(jié)點(diǎn)解壓安裝 Cloudera Manager Server & Agent

cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt

啟動(dòng) CM Manager&Agent 服務(wù)

注意目派,mysql 服務(wù)啟動(dòng)坤候,防火墻關(guān)閉

在 node1 (master) 執(zhí)行:

/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start

在 node2-3 (Agents) 執(zhí)行:

/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start

啟動(dòng) start,停止stop企蹭,重啟 restart

訪問 http://Master:7180 若可以訪問(用戶名白筹、密碼:admin)智末,則安裝成功。

Manager 啟動(dòng)成功需要等待一段時(shí)間徒河,過程中會(huì)在數(shù)據(jù)庫中創(chuàng)建對(duì)應(yīng)的表需要耗費(fèi)一些時(shí)間系馆。

圖形安裝

圖形界面省略。

你可能會(huì)遇到問題

問題一
接下來是服務(wù)器檢查顽照,可能會(huì)遇到以下問題:

Cloudera 建議將 /proc/sys/vm/swappiness 設(shè)置為最大值 10它呀。當(dāng)前設(shè)置為 30。

使用 sysctl 命令在運(yùn)行時(shí)更改該設(shè)置并編輯 /etc/sysctl.conf棒厘,以在重啟后保存該設(shè)置纵穿。

您可以繼續(xù)進(jìn)行安裝,但 Cloudera Manager 可能會(huì)報(bào)告您的主機(jī)由于交換而運(yùn)行狀況不良奢人。以下主機(jī)將受到影響:node[2-7]

echo 0 > /proc/sys/vm/swappiness
問題二
已啟用透明大頁面壓縮谓媒,可能會(huì)導(dǎo)致重大性能問題。請(qǐng)運(yùn)行
echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled
以禁用此設(shè)置何乎,然后將同一命令添加到 /etc/rc.local 等初始化腳本中句惯,以便在系統(tǒng)重啟時(shí)予以設(shè)置。以下主機(jī)將受到影響: node[2-7]

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

后記:

CDH安裝失敗了支救,如何重新安裝

常見問題

安裝CDH時(shí)候出現(xiàn)主機(jī)運(yùn)行狀態(tài)不良情況的解決https://blog.csdn.net/holdbelief/article/details/80287471

一些常見問題 https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html

出現(xiàn)問題抢野,實(shí)在不好解決的請(qǐng)查看日志,一般來說都能找到原因

如果你實(shí)在解決不了各墨,請(qǐng)留言

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末指孤,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子贬堵,更是在濱河造成了極大的恐慌恃轩,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件黎做,死亡現(xiàn)場(chǎng)離奇詭異叉跛,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)蒸殿,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門筷厘,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人宏所,你說我怎么就攤上這事酥艳。” “怎么了楣铁?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵玖雁,是天一觀的道長(zhǎng)盖腕。 經(jīng)常有香客問我赫冬,道長(zhǎng)浓镜,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任劲厌,我火速辦了婚禮膛薛,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘补鼻。我一直安慰自己哄啄,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布风范。 她就那樣靜靜地躺著咨跌,像睡著了一般。 火紅的嫁衣襯著肌膚如雪硼婿。 梳的紋絲不亂的頭發(fā)上锌半,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天,我揣著相機(jī)與錄音寇漫,去河邊找鬼刊殉。 笑死,一個(gè)胖子當(dāng)著我的面吹牛州胳,可吹牛的內(nèi)容都是我干的记焊。 我是一名探鬼主播,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼栓撞,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼遍膜!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起腐缤,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤捌归,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后岭粤,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡特笋,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年剃浇,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片猎物。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡虎囚,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出蔫磨,到底是詐尸還是另有隱情淘讥,我是刑警寧澤,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布堤如,位于F島的核電站蒲列,受9級(jí)特大地震影響窒朋,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜蝗岖,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一侥猩、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧抵赢,春花似錦欺劳、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至邢享,卻和暖如春腔剂,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背驼仪。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國打工掸犬, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人绪爸。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓湾碎,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國和親奠货。 傳聞我的和親對(duì)象是個(gè)殘疾皇子介褥,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容