概要
1.本文寫了什么?
Cloudera Manager 集群部署的離線安裝方式振诬,一些其他相關(guān)知識(shí)
2.寫了多久蹭睡?三天,建議讀30分鐘以上
3.為什么寫赶么,被網(wǎng)上找的一堆部署過程整的頭大肩豁,這里做個(gè)整理
關(guān)于CDH和Cloudera Manager
CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop眾多分支中的一種,由Cloudera維護(hù)清钥,基于穩(wěn)定版本的Apache Hadoop構(gòu)建琼锋,并集成了很多補(bǔ)丁,可直接用于生產(chǎn)環(huán)境祟昭。
Cloudera Manager則是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件缕坎,對(duì)集群中主機(jī)、Hadoop篡悟、Hive谜叹、Spark等服務(wù)的安裝配置管理做了極大簡(jiǎn)化。
關(guān)于開源版Apache 集群部署
看這里搬葬,我以前搭建時(shí)的記錄: 阿里云部署Hbase集群
這里采用chd版本搭建
搭建步驟
吐槽: 網(wǎng)上搜了很多荷腊,寫的很雜很亂,官網(wǎng)寫的太全面急凰,廢話太多女仰,看的費(fèi)勁
官方文檔,所有的搭建都是基于這里整理的
https://www.cloudera.com/documentation/enterprise/latest/topics/installation_installation.html
注:英文不好 自備翻譯插件 推薦谷歌翻譯
官網(wǎng)推薦方式
官方共給出了3中安裝方式:
第一種方法必須要求所有機(jī)器都能連網(wǎng)抡锈,由于最近各種國外的網(wǎng)站被墻的厲害疾忍,我嘗試了幾次各種超時(shí)錯(cuò)誤,巨耽誤時(shí)間不說床三,一旦失敗一罩,重裝非常痛苦。
第二種方法下載很多包勿璃。
第三種方法對(duì)系統(tǒng)侵入性最小,最大優(yōu)點(diǎn)可實(shí)現(xiàn)全離線安裝擒抛,而且重裝什么的都非常方便。后期的集群統(tǒng)一包升級(jí)也非常好补疑。這也是我之所以選擇離線安裝的原因歧沪。
生成環(huán)境,你就直接離線部署就行了莲组,方便快捷诊胞,后期維護(hù)和擴(kuò)展奠定基礎(chǔ)
基本環(huán)境信息
三臺(tái)ecs主機(jī),我這里用的聯(lián)通-阿里云锹杈,隨便你
操作系統(tǒng)centos7
2H8G2M(2核8G內(nèi)存2M帶寬)
192.168.2.6 master 2核8G內(nèi)存2M帶寬 cm和agen
192.168.2.5 slave1 2核8G內(nèi)存2M帶寬 agen
192.168.2.4 slave2 2核8G內(nèi)存2M帶寬 agen
安裝步驟
基本就是準(zhǔn)備環(huán)境撵孤,安裝cm(cdh管理軟件),安裝cdh竭望,建議分布走邪码,做完一步檢測(cè)一步
- 環(huán)境準(zhǔn)備
- 網(wǎng)絡(luò)配置
- 配置ssh免密登陸
- 關(guān)閉防火墻
- 安裝jdk7以上
- 安裝mysql并配置優(yōu)化(一般裝主節(jié)點(diǎn)就行了)
- 配置時(shí)間同步 ntp服務(wù)
- 安裝cloudera-manager
- 安裝cdh5
- 圖形界面配置,測(cè)試集群
安裝軟件準(zhǔn)備
國內(nèi)網(wǎng)速受限咬清,建議下載安裝包闭专,手動(dòng)處理所有安裝奴潘,我一開始偷懶用yum install裝的,后來又都卸載了影钉,非常痛苦
- Cloudera Manager 下載目錄 http://archive.cloudera.com/cm5/cm/5/
- CDH 下載目錄 http://archive.cloudera.com/cdh5/parcels/5.12.1/
- manifest.json 下載 http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json
我這里是centos7 安裝cdh5.14版(最新版)画髓,你根據(jù)你的需要選擇下載
下載完后,上傳到服務(wù)器(為什么上傳平委,因?yàn)槁?lián)通服務(wù)器連外網(wǎng)下載太慢了奈虾,fuck!)
復(fù)制前輩的忠告:
CHD5 相關(guān)的 Parcel 包放到主節(jié)點(diǎn)的
/opt/cloudera/parcel-repo/
目錄中
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
重命名為CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
本文所有軟件包廉赔,百度網(wǎng)盤鏈接:http://pan.baidu.com/s/1eSALjAq 密碼:vqhg
這點(diǎn)必須注意肉微,否則,系統(tǒng)會(huì)重新下載CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
文件
開始配置環(huán)境
注意昂勉,這里的配置都是基于centos7浪册,內(nèi)核3.10 扫腺,64位操作系統(tǒng)岗照,其他系統(tǒng)請(qǐng)適當(dāng)修改,或參考官網(wǎng)文檔
Linux master 3.10.0-862.3.2.el7.x86_64 #1 SMP Mon May 21 23:36:36 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux
修改hostname
vim /etc/hostname
然后重啟 reboot
記得修改每一臺(tái)
修改hosts映射
vim /etc/hosts
修改完類似如下:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
# ip地址 域名/主機(jī)名
192.168.2.6 master
192.168.2.5 slave1
192.168.2.4 slave2
SSH 免密碼登錄
方便后期之間文件復(fù)制笆环。
# # slave1
# ssh-keygen -t rsa
-- 不用輸入密碼攒至,一路回車就行
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub
# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/
# # slave2
# ssh-keygen -t rsa
# cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub
# scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/
# # master
ssh-keygen -t rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys
# cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes
-- 拷貝文件至slave1及slave2
# scp ~/.ssh/authorized_keys slave1:~/.ssh
# scp ~/.ssh/authorized_keys slave2:~/.ssh
驗(yàn)證 ssh 無密登錄
開一個(gè)其他窗口測(cè)試下能否免密登陸
例如:在node3
ssh root@node2
exit 退出
關(guān)閉防火墻和SELinux
注意: 需要在所有的節(jié)點(diǎn)上執(zhí)行,因?yàn)樯婕暗降亩丝谔嗔嗽炅樱R時(shí)關(guān)閉防火墻是為了安裝起來更方便迫吐,安裝完畢后可以根據(jù)需要設(shè)置防火墻策略,保證集群安全账忘。
-- 關(guān)閉防火墻及SELINUX(master志膀、slave1、slave2均需修改)
-- 關(guān)閉防火墻
# systemctl stop firewalld.service
# systemctl disable firewalld.service
-- 關(guān)閉SELINUX
# vim /etc/selinux/config
-- 注釋掉
#SELINUX=enforcing
#SELINUXTYPE=targeted
-- 添加
SELINUX=disabled
-- 重啟生效
reboot
切換yum源鳖擒,換為阿里源溉浙,速度快
第一步:備份你的原鏡像文件,以免出錯(cuò)后可以恢復(fù)蒋荚。
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
第二步:下載新的CentOS-Base.repo 到/etc/yum.repos.d/
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
第三步:運(yùn)行yum makecache生成緩存
yum clean all
yum makecache
設(shè)置時(shí)間同步 戳稽,安裝NTP服務(wù)
所有節(jié)點(diǎn)安裝 NTP
yum install ntp
設(shè)置同步
ntpdate -d 182.92.12.11
這里增加一些內(nèi)容,請(qǐng)參考
.所有節(jié)點(diǎn)配置NTP服務(wù)
集群中所有主機(jī)必須保持時(shí)間同步期升,如果時(shí)間相差較大會(huì)引起各種問題惊奇。 具體思路如下:
master節(jié)點(diǎn)作為ntp服務(wù)器與外界對(duì)時(shí)中心同步時(shí)間,隨后對(duì)所有datanode節(jié)點(diǎn)提供時(shí)間同步服務(wù)播赁。
所有datanode節(jié)點(diǎn)以master節(jié)點(diǎn)為基礎(chǔ)同步時(shí)間颂郎。
所有節(jié)點(diǎn)安裝相關(guān)組件:
yum install ntp
。完成后容为,配置開機(jī)啟動(dòng):
chkconfig ntpd on
,檢查是否設(shè)置成功:
chkconfig --list ntpd
其中2-5為on狀態(tài)就代表成功乓序。
主節(jié)點(diǎn)配置
在配置之前诞吱,先使用ntpdate手動(dòng)同步一下時(shí)間,免得本機(jī)與對(duì)時(shí)中心時(shí)間差距太大竭缝,使得ntpd不能正常同步房维。這里選用65.55.56.206作為對(duì)時(shí)中心,
ntpdate -u 65.55.56.206
ntp服務(wù)只有一個(gè)配置文件,配置好了就OK抬纸。 這里只給出有用的配置咙俩,不需要的配置都用#注掉,這里就不在給出:
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap
server 65.55.56.206 prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
配置文件完成湿故,保存退出阿趁,啟動(dòng)服務(wù),執(zhí)行如下命令:
service ntpd start
檢查是否成功坛猪,用ntpstat命令查看同步狀態(tài)脖阵,出現(xiàn)以下狀態(tài)代表啟動(dòng)成功:
synchronised to NTP server () at stratum 2
time correct to within 74 ms
polling server every 128 s
如果出現(xiàn)異常請(qǐng)等待幾分鐘,一般等待5-10分鐘才能同步墅茉。
配置ntp客戶端(所有datanode節(jié)點(diǎn))
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#這里是主節(jié)點(diǎn)的主機(jī)名或者ip
server n1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
ok保存退出命黔,請(qǐng)求服務(wù)器前,請(qǐng)先使用ntpdate手動(dòng)同步一下時(shí)間:ntpdate -u n1 (主節(jié)點(diǎn)ntp服務(wù)器)
這里可能出現(xiàn)同步失敗的情況就斤,請(qǐng)不要著急悍募,一般是本地的ntp服務(wù)器還沒有正常啟動(dòng),一般需要等待5-10分鐘才可以正常同步洋机。啟動(dòng)服務(wù):
service ntpd start
安裝jdk7以上版本
這里安裝在jdk8
更新系統(tǒng)軟件
yum update
查找系統(tǒng)已安裝的jdk組件
rpm -qa | grep -E '^open[jre|jdk]|j[re|dk]'
查看java版本
java -version
卸載以前已有的jdk
yum remove java-1.6.0-openjdk
yum remove java-1.7.0-openjdk
在/usr目錄中先建名為java的文件夾
mkdir /usr/java
下載jdk-8u111-linux-x64.tar.gz包坠宴,并上傳至服務(wù)器/usr/local文件夾中。
解壓jdk-8u111-linux-x64.tar.gz包至/usr/local/jdk1.8.0_111文件夾
wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz
tar -xvf jdk-8u111-linux-x64.tar.gz
添加到環(huán)境變量
編輯/etc/profile文件绷旗,在export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL下面添加如下代碼:
#jdk
export JAVA_HOME=/usr/local/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
執(zhí)行命令使配置生效
source /etc/profile
驗(yàn)證喜鼓,是否安裝成功
java -version
安裝配置mysql,并簡(jiǎn)單優(yōu)化
總所周知衔肢,MySQL 被 Oracle 收購后庄岖,CentOS 的鏡像倉庫中提供的默認(rèn)的數(shù)據(jù)庫也變?yōu)榱?MariaDB,如果想了解 MariaDB 和 CentOS 的區(qū)別膀懈,可以參考官網(wǎng)介紹顿锰,想用 MariaDB 的同學(xué)可以參考 MariaDB 安裝指南
cdh可以使用的數(shù)據(jù)庫有很多,支持mysql也支持mariadb或者oracle等启搂,其他安裝請(qǐng)參考官網(wǎng) 安裝和配置外部數(shù)據(jù)庫 硼控, 這里選擇mysql
參考這里 https://blog.csdn.net/SmallTankPy/article/details/75451645
首先檢查 MySQL 是否已安裝
yum list installed | grep mysql
如果有的話 就全部卸載
yum -y remove +數(shù)據(jù)庫名稱
添加 MySQL YUM 源
根據(jù)自己的操作系統(tǒng)選擇合適的安裝源,和其他公司一樣胳赌,總會(huì)讓大家注冊(cè)賬號(hào)獲取更新牢撼,注意是 Oracle 的賬號(hào),如果不想注冊(cè)疑苫,下方有直接下載的地址熏版,下載之后通過 rpm -Uvh
安裝纷责。
$wget 'https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm'
$sudo rpm -Uvh mysql57-community-release-el7-11.noarch.rpm
$yum repolist all | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community 36
mysql-tools-community/x86_64 MySQL Tools Community 47
mysql57-community/x86_64 MySQL 5.7 Community Server 187
選擇安裝版本
如果想安裝最新版本的,直接使用 yum 命令即可
$sudo yum install mysql-community-server
如果想要安裝 5.6 版本的撼短,有2個(gè)方法再膳。命令行支持 yum-config-manager 命令的話,可以使用如下命令:
$ sudo dnf config-manager --disable mysql57-community
$ sudo dnf config-manager --enable mysql56-community
$ yum repolist | grep mysql
mysql-connectors-community/x86_64 MySQL Connectors Community 36
mysql-tools-community/x86_64 MySQL Tools Community 47
mysql56-community/x86_64 MySQL 5.6 Community Server 327
或者直接修改 /etc/yum.repos.d/mysql-community.repo 這個(gè)文件
Enable to use MySQL 5.6
[mysql56-community]
name=MySQL 5.6 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.6-community/el/7/$basearch/
enabled=1 #表示當(dāng)前版本是安裝
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch/
enabled=0 #默認(rèn)這個(gè)是 1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
通過設(shè)置 enabled 來決定安裝哪個(gè)版本曲横。
設(shè)置好之后使用 yum 安裝即可喂柒。
啟動(dòng) MySQL 服務(wù)
啟動(dòng)命令很簡(jiǎn)單
$sudo service mysqld start
$sudo systemctl start mysqld #CentOS 7
$sudo systemctl status mysqld
● mysqld.service - MySQL Community Server
Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
Active: active (running) since Sat 2017-05-27 12:56:26 CST; 15s ago
Process: 2482 ExecStartPost=/usr/bin/mysql-systemd-start post (code=exited, status=0/SUCCESS)
Process: 2421 ExecStartPre=/usr/bin/mysql-systemd-start pre (code=exited, status=0/SUCCESS)
Main PID: 2481 (mysqld_safe)
CGroup: /system.slice/mysqld.service
├─2481 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
└─2647 /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/...
說明已經(jīng)正在運(yùn)行中了。
修改 /etc/my.cnf
vi /etc/my.cnf
優(yōu)化修改配置禾嫉,使其更好的適應(yīng)cm集群灾杰。配置好的my.cnf應(yīng)類似如下:
[mysqld]
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0
port=8067
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
#5.7以上版本開binlog要增加這個(gè)屬性
server-id=123454
# For MySQL version 5.1.8 or later. For older versions, reference MySQL documentation for configuration help.
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
#配置密碼校驗(yàn)規(guī)則簡(jiǎn)單
validate_password_length=1
validate_password_mixed_case_count=0
validate_password_number_count=0
validate_password_policy=LOW
validate_password_special_char_count=0
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES
創(chuàng)建mysql數(shù)據(jù)庫
官方推薦創(chuàng)建如下數(shù)據(jù)庫,后邊cm安裝時(shí)會(huì)用到熙参,如果你現(xiàn)在不明白可以不創(chuàng)建艳吠,等到安裝的時(shí)候,他會(huì)有提示孽椰,你記得回來創(chuàng)建即可昭娩。sql創(chuàng)建語句如下:
CREATE DATABASE hive CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
CREATE DATABASE hue CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
CREATE DATABASE oozie CHARACTER SET 'utf8' COLLATE 'utf8_general_ci';
這里數(shù)據(jù)庫名稱其實(shí)可以自定義,我創(chuàng)建三個(gè)分別對(duì)應(yīng)hadoop的hive弄屡,hue和oozie
下載jdbc-mysql jar包
下載 mysql 驅(qū)動(dòng)包
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
啟動(dòng)MySQL服務(wù)
service mysql.server start
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/
./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm
看到如下信息题禀,恭喜您鞋诗,配置沒毛病
[main] DbCommandExecutor INFO Successfully connected to database.
All done, your SCM database is configured correctly!
格式:
scm_prepare_database.sh mysql cm -h <hostName> -u<username> -p<password> --scm-host <hostName> scm scm scm
對(duì)應(yīng)于:數(shù)據(jù)庫類型 數(shù)據(jù)庫 服務(wù)器 用戶名 密碼 –scm-host Cloudera_Manager_Server 所在節(jié)點(diǎn) 數(shù)據(jù)庫 用戶名 密碼
安裝cloudera manager和chd5.x
如果你的網(wǎng)絡(luò)良好(可以連接國外服務(wù)器)推薦在線安裝膀捷,兩條命令即可。如果你網(wǎng)絡(luò)不好削彬,建議還是手動(dòng)安裝全庸,也方便后期維護(hù)。
介紹在線安裝融痛,網(wǎng)絡(luò)不好看下邊手動(dòng)安裝
Cloudera Manager 安裝
# 在master節(jié)點(diǎn)安裝Cloudera Manager Server并啟動(dòng)壶笼。
yum install cloudera-manager-daemons cloudera-manager-server
systemctl start cloudera-scm-server
#在master和node節(jié)點(diǎn)安裝Cloudera Manager Agent。修改 /etc/cloudera-scm-agent/config.ini 中的server_host為master的IP雁刷。
yum install cloudera-manager-agent cloudera-manager-daemons
systemctl start cloudera-scm-agent
# 進(jìn)入 Cloudera Manager的console覆劈,[http://Server](http://server/) host:7180,登錄后便可以進(jìn)入CDH的安裝部署了。
手動(dòng)安裝沛励,我選的這種
把下載好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz安裝包上傳至 master節(jié)點(diǎn)/opt/目錄
在 node1 節(jié)點(diǎn)拷貝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 到所有 Server责语、Agent 節(jié)點(diǎn)創(chuàng)建 /opt 目錄:
for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done
所有 Server、Agent 節(jié)點(diǎn)節(jié)點(diǎn)解壓安裝 Cloudera Manager Server & Agent
cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt
啟動(dòng) CM Manager&Agent 服務(wù)
注意目派,mysql 服務(wù)啟動(dòng)坤候,防火墻關(guān)閉
在 node1 (master) 執(zhí)行:
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
在 node2-3 (Agents) 執(zhí)行:
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
啟動(dòng) start,停止stop企蹭,重啟 restart
訪問 http://Master:7180 若可以訪問(用戶名白筹、密碼:admin)智末,則安裝成功。
Manager 啟動(dòng)成功需要等待一段時(shí)間徒河,過程中會(huì)在數(shù)據(jù)庫中創(chuàng)建對(duì)應(yīng)的表需要耗費(fèi)一些時(shí)間系馆。
圖形安裝
圖形界面省略。
你可能會(huì)遇到問題
問題一
接下來是服務(wù)器檢查顽照,可能會(huì)遇到以下問題:
Cloudera 建議將 /proc/sys/vm/swappiness 設(shè)置為最大值 10它呀。當(dāng)前設(shè)置為 30。
使用 sysctl 命令在運(yùn)行時(shí)更改該設(shè)置并編輯 /etc/sysctl.conf棒厘,以在重啟后保存該設(shè)置纵穿。
您可以繼續(xù)進(jìn)行安裝,但 Cloudera Manager 可能會(huì)報(bào)告您的主機(jī)由于交換而運(yùn)行狀況不良奢人。以下主機(jī)將受到影響:node[2-7]
echo 0 > /proc/sys/vm/swappiness
問題二
已啟用透明大頁面壓縮谓媒,可能會(huì)導(dǎo)致重大性能問題。請(qǐng)運(yùn)行
echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled
以禁用此設(shè)置何乎,然后將同一命令添加到 /etc/rc.local 等初始化腳本中句惯,以便在系統(tǒng)重啟時(shí)予以設(shè)置。以下主機(jī)將受到影響: node[2-7]
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
后記:
常見問題
安裝CDH時(shí)候出現(xiàn)主機(jī)運(yùn)行狀態(tài)不良情況的解決https://blog.csdn.net/holdbelief/article/details/80287471
一些常見問題 https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_troubleshooting.html
出現(xiàn)問題抢野,實(shí)在不好解決的請(qǐng)查看日志,一般來說都能找到原因
如果你實(shí)在解決不了各墨,請(qǐng)留言