clouderamanager-cdh

基礎(chǔ)環(huán)境準(zhǔn)備

操作基本依賴
yum install -y net-tools.x86_64  vim wget httpd

1、設(shè)置靜態(tài)ip
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR=192.168.13.180
NETMASK=255.255.255.0
GATEWAY=192.168.13.2
DNS1=192.168.13.2
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="9677b95a-fd83-4e19-915b-1aee52751109"
DEVICE="ens33"
ONBOOT="yes"

service network restart
2、配置主機(jī)名映射


vi /etc/hosts


192.168.1.11 node-1


192.168.1.12 node-2


192.168.1.13 node-3


3着裹、配置ssh免密登陸
生成ssh免登錄密鑰


ssh-keygen -t rsa  
(四個(gè)回車)

執(zhí)行完這個(gè)命令后，會(huì)生成id_rsa(私鑰)破停、id_rsa.pub(公鑰)


將公鑰拷貝到要免密登陸的目標(biāo)機(jī)器 上

ssh-copy-id node-2




ssh node-3

無(wú)需密碼直接登錄上

exit 

退出當(dāng)前登錄的node-3


4、配置防火墻和SELINUX

查看防火墻狀態(tài)

service iptables status
systemctl status firewalld


關(guān)閉防火wall

service iptables stop


systemctl stop firewalld
查看防火墻開(kāi)機(jī)啟動(dòng)狀態(tài)

chkconfig iptables --list
systemctl is-enabled firewalld


關(guān)閉防火墻開(kāi)機(jī)啟動(dòng)

chkconfig  iptables off

systemctl disable firewalld

關(guān)閉SELINUX(重啟才有效)
vim /etc/selinux/config
SELINUX=disabled
查看SELINUX狀態(tài)：
/usr/sbin/sestatus –v

5尉剩、JDK環(huán)境安裝
scp -r jdk1.8  root@192.168.13.180:/usr/local/
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
java -version

6真慢、ntp 時(shí)間同步
date 每節(jié)點(diǎn)時(shí)間 要一致。
所有節(jié)點(diǎn)安裝NTP：
yum install ntp

配置開(kāi)機(jī)啟動(dòng)：
chkconfig ntpd on

檢查是否設(shè)置成功：
chkconfig --list ntpd （2-5為on狀態(tài)則成功）

設(shè)置同步：
ntpdate -u ntp.sjtu.edu.cn（時(shí)鐘服務(wù)器根據(jù)實(shí)際環(huán)境設(shè)置理茎、本文采用210.72.145.44-國(guó)家授時(shí)中心服務(wù)器IP地址）

7黑界、節(jié)點(diǎn)依賴
yum install -y chkconfig python  bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
8、mysql 數(shù)據(jù)庫(kù)安裝

mysql
rpm -qa|grep mysql
for i in $(rpm -qa|grep mysql);do rpm -e $i --nodeps ;done


wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server
systemctl enable mysqld
systemctl is-enabled mysqld
systemctl start mysqld
systemctl status mysqld

grep "password" /var/log/mysqld.log
mysql -uroot -p
alter user 'root'@'localhost' IDENTIFIED BY 'Zhujie0814.';
vi /etc/my.cnf
[client]  此行
default-character-set=utf8    此行
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
皂林。
朗鸠。
。
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

character-set-server=utf8  此行
collation-server=utf8_general_ci   此行

systemctl restart mysqld
mysql -uroot -p
grant all PRIVILEGES on *.* to root@'%'  identified by 'Zhujie0814.' with grant option;
flush privileges;

use mysql;
update user set  `Select_priv` = 'Y',  `Insert_priv` = 'Y',  `Update_priv` = 'Y',  `Delete_priv` = 'Y',  `Create_priv` = 'Y',  `Drop_priv` = 'Y',  `Reload_priv` = 'Y',  `Shutdown_priv` = 'Y',  `Process_priv` = 'Y',  `File_priv` = 'Y',  `Grant_priv` = 'Y',  `References_priv` = 'Y',  `Index_priv` = 'Y',  `Alter_priv` = 'Y',  `Show_db_priv` = 'Y',  `Super_priv` = 'Y',  `Create_tmp_table_priv` = 'Y',  `Lock_tables_priv` = 'Y',  `Execute_priv` = 'Y',  `Repl_slave_priv` = 'Y',  `Repl_client_priv` = 'Y',  `Create_view_priv` = 'Y',  `Show_view_priv` = 'Y',  `Create_routine_priv` = 'Y',  `Alter_routine_priv` = 'Y',  `Create_user_priv` = 'Y',  `Event_priv` = 'Y',  `Trigger_priv` = 'Y',  `Create_tablespace_priv` = 'Y'  where user='root' and host='%';
flush privileges;


mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.15.2_x86_64.tar.gz -C /opt/cloudera-manager
在每個(gè)節(jié)點(diǎn)都要?jiǎng)?chuàng)建該用戶
useradd --system --no-create-home --shell=/bin/false  --comment "Cloudera SCM User" cloudera-scm

vim /opt/cloudera-manager/cm-5.15.2/etc/cloudera-scm-agent/config.ini
修改server 和port


mkdir -p /usr/share/java
mv /opt/mysql-connector-java-5.1.26-bin.jar  /usr/share/java/mysql-connector-java.jar

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

grant all on *.* to 'temp'@'%' identified by 'Zhujie0814.' with grant option;
grant all on *.* to 'scm'@'%' identified by 'Zhujie0814.' with grant option;
cd /opt/cloudera-manager/cm-5.15.2/share/cmf/schema/
./scm_prepare_database.sh mysql -h node-1 -utemp -pZhujie0814. --scm-host node-1 scm scm scm
 （對(duì)應(yīng)于：數(shù)據(jù)庫(kù)類型础倍、數(shù)據(jù)庫(kù)服務(wù)器烛占、數(shù)據(jù)庫(kù)用戶名、數(shù)據(jù)庫(kù)密碼沟启、CMServer所在節(jié)點(diǎn)…….） 第一個(gè)scm 庫(kù)名忆家，第二個(gè)用戶名，第三個(gè)德迹，是scm庫(kù)密碼

/usr/share/cmf/schema/scm_prepare_database.sh mysql -h<mysql-host> -u<mysql-user> -p<mysql-pwd> --scm-host <scm-host> <scm-user> <scm-dbname> <scm-pwd>
其中

<mysql-host>,<mysql-user> <mysql-pwd> 是需要?jiǎng)?chuàng)建的 scm 庫(kù)所在的 mysql 位置芽卿，對(duì)應(yīng)的 mysql 的主機(jī)名，用戶名和登錄密碼胳搞；
<scm-host>,<scm_user>,<scm-dbname>,<scm-pwd>分別對(duì)應(yīng) cloudera-scm-server 部署在的主機(jī)名卸例，scm 庫(kù)的登錄用戶，scm 庫(kù)的庫(kù)名肌毅，scm 庫(kù)的登錄密碼币厕。


./scm_prepare_database.sh mysql -h node-1 -uroot -pZhujie0814. --scm-host node-1 scm scm Zhujie0814.

mkdir -p /opt/cloudera/parcel-repo


Manager節(jié)點(diǎn)創(chuàng)建目錄/opt/cloudera/parcel-repo，執(zhí)行：
    mkdir -p /opt/cloudera/parcel-repo
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
將下載好的文件（CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel芽腾、CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha、manifest.json）拷貝到該目錄下页衙。
    
    Agent節(jié)點(diǎn)創(chuàng)建目錄/opt/cloudera/parcels摊滔，執(zhí)行：
mkdir -p /opt/cloudera/parcels
    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

在node-1上  把cloudera-manager 復(fù)制到其它節(jié)點(diǎn)
scp -r cloudera-manager root@node-2:/opt
定位所有節(jié)點(diǎn)位置到
cd /opt/cloudera-manager/cm-5.15.2/etc/init.d 
Server：/opt/cloudera-manager/cm-5.15.2/etc/init.d/cloudera-scm-server start
Agents：/opt/cloudera-manager/cm-5.15.2/etc/init.d/cloudera-scm-agent start


chown cloudera-scm:cloudera-scm -R  /opt/cloudera
chown cloudera-scm:cloudera-scm -R  /opt/cloudera-manager


當(dāng)檢查主機(jī)時(shí)出現(xiàn)該問(wèn)題阴绢，一般是由于之前裝過(guò)cloudera-scm-agent .

解決辦法：cd  /opt/cloudera-manager/cm-5.15.2/lib/cloudera-scm-agent

rm -f  cm_guid  

/opt/cloudera-manager/cm-5.15.2/etc/init.d/cloudera-scm-agent restart
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 人面猴
    序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市艰躺，隨后出現(xiàn)的幾起案子呻袭，更是在濱河造成了極大的恐慌，老刑警劉巖腺兴，帶你破解...
    沈念sama閱讀 219,270評(píng)論 6贊 508
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件左电，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡页响，警方通過(guò)查閱死者的電腦和手機(jī)篓足，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 93,489評(píng)論 3贊 395
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進(jìn)店門(mén)，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)闰蚕，“玉大人栈拖，你說(shuō)我怎么就攤上這事∶欢福” “怎么了涩哟？”我有些...
    開(kāi)封第一講書(shū)人閱讀 165,630評(píng)論 0贊 356
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵，是天一觀的道長(zhǎng)盼玄。 經(jīng)常有香客問(wèn)我贴彼，道長(zhǎng)，這世上最難降的妖魔是什么埃儿？ 我笑而不...
    開(kāi)封第一講書(shū)人閱讀 58,906評(píng)論 1贊 295
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任器仗，我火速辦了婚禮，結(jié)果婚禮上蝌箍，老公的妹妹穿的比我還像新娘青灼。我一直安慰自己，他們只是感情好妓盲，可當(dāng)我...
    茶點(diǎn)故事閱讀 67,928評(píng)論 6贊 392
  • 惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
    文/花漫 我一把揭開(kāi)白布杂拨。 她就那樣靜靜地躺著，像睡著了一般悯衬。 火紅的嫁衣襯著肌膚如雪弹沽。 梳的紋絲不亂的頭發(fā)上，一...
    開(kāi)封第一講書(shū)人閱讀 51,718評(píng)論 1贊 305
  • 城市分裂傳說(shuō)
    那天筋粗，我揣著相機(jī)與錄音策橘，去河邊找鬼。 笑死娜亿，一個(gè)胖子當(dāng)著我的面吹牛丽已，可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播买决，決...
    沈念sama閱讀 40,442評(píng)論 3贊 420
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開(kāi)眼沛婴，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼吼畏！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起嘁灯，我...
    開(kāi)封第一講書(shū)人閱讀 39,345評(píng)論 0贊 276
  • 萬(wàn)榮殺人案實(shí)錄
    序言：老撾萬(wàn)榮一對(duì)情侶失蹤泻蚊，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后丑婿，有當(dāng)?shù)厝嗽跇?shù)林里發(fā)現(xiàn)了一具尸體性雄，經(jīng)...
    沈念sama閱讀 45,802評(píng)論 1贊 317
  • ?護(hù)林員之死
    正文 獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 37,984評(píng)論 3贊 337
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年羹奉，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了秒旋。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 40,117評(píng)論 1贊 351
  • 活死人
    序言：一個(gè)原本活蹦亂跳的男人離奇死亡尘奏，死狀恐怖滩褥，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情炫加，我是刑警寧澤瑰煎，帶...
    沈念sama閱讀 35,810評(píng)論 5贊 346
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布，位于F島的核電站俗孝，受9級(jí)特大地震影響酒甸，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜赋铝，卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,462評(píng)論 3贊 331
  • 男人毒藥：我在死后第九天來(lái)索命
    文/蒙蒙 一插勤、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧革骨，春花似錦农尖、人聲如沸。這莊子的主人今日做“春日...
    開(kāi)封第一講書(shū)人閱讀 32,011評(píng)論 0贊 22
  • 一樁弒父案盛卡，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)。三九已至滑沧，卻和暖如春巍实，著一層夾襖步出監(jiān)牢的瞬間棚潦，已是汗流浹背。 一陣腳步聲響...
    開(kāi)封第一講書(shū)人閱讀 33,139評(píng)論 1贊 272
  • 情欲美人皮
    我被黑心中介騙來(lái)泰國(guó)打工， 沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留嘱吗，地道東北人谒麦。 一個(gè)月前我還...
    沈念sama閱讀 48,377評(píng)論 3贊 373
  • 代替公主和親
    正文 我出身青樓患膛，卻偏偏與公主長(zhǎng)得像耻蛇，于是被迫代替她去往敵國(guó)和親跃捣。 傳聞我的和親對(duì)象是個(gè)殘疾皇子疚漆，可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,060評(píng)論 2贊 355