Centos 7 離線安裝Cloudera Manager5 和CDH5.13.0

序言

紀錄下Hadoop集群的搭建過程及途中踩過的坑戳晌，希望能對正在學習的同學有個幫助奥秆，少走點彎路~

PS：為了便于個人博客管理说庭，此文從CSDN遷移過來袭异，屬于個人實際操作紀錄的筆記，持續(xù)更新~

PPS：本文集群搭建為四臺機器惑淳，不建議大家這么弄额港，因為zookeeper發(fā)揮最大作用的配置是大于2 的奇數(shù)臺機器饺窿。

PPPS：有問題請下方留言歧焦，大家互相交流，分享使我快樂~~

一肚医、前期準備

  1. 安裝環(huán)境
    系統(tǒng)配置：

     系統(tǒng)：centos 7 最小安裝版 64位
 內(nèi)存：10G 10G 10G 8G

    四臺機器組成小集群（物理機）

     CDH-DEV1 CDH-DEV2 CDH-DEV3 CDH-DEV4

  2. 需要下載的安裝包

    注意下載相應系統(tǒng)的安裝包

         CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel
     CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1
     manifest.json

  3. Installing Cloudera Manager and CDH

二绢馍、環(huán)境配置

注意所有操作都需要使用root權(quán)限操作

  1. 基本配置（所有節(jié)點）

    修改 /etc/hostname

     CDH-DEV1

    修改 /etc/hosts，此處一定要注意肠套，不要按照網(wǎng)上有的說明舰涌，將127.0.0.1那一行里的localhost.localdomain改成主機名稱，在安裝Cloudera Agent的時候會識別不出名稱和IP

    image.png

修改 /etc/sysconfig/network

    NETWORKING=yes
    HOSTNAME=CDH-DEV1

  1. Java環(huán)境（所有節(jié)點）

    下載jdk-8u144-linux-x64.tar.gz
    解壓到/usr/java(可根據(jù)個人習慣創(chuàng)建目錄）

     tar xzvf jdk-8u144-linux-x64.tar.gz

    配置環(huán)境變量

     [root@CDH-DEV1 .ssh]# vim /etc/profile #在文件末尾添加下面三行
 
 export JAVA_HOME=/usr/java/jdk1.8.0_144
 export PATH=$JAVA_HOME/bin:$PATH
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
 [root@CDH-DEV1 .ssh]# source /etc/profile #使生效

  2. SSH無密碼登錄(集群內(nèi)節(jié)點能夠互相無密碼訪問)

    思路：第一臺機器配置authorized_keys你稚，scp到第二臺機器瓷耙，將第二臺機器的公鑰添加到authorized_keys，然后將其scp到第三臺刁赖，以此類推搁痛，直到配置到最后一臺機器，將最后一臺機器的authorized_keys scp到所有節(jié)點宇弛，如下

    1）在主節(jié)點（CDH-DEV1）執(zhí)行

     [root@CDH-DEV1 .ssh]# ssh-keygen -t rsa
 [root@CDH-DEV1 .ssh]# cat id_rsa.pub >> authorized_keys
 [root@CDH-DEV1 .ssh]# chmod 600 authorized_keys
 [root@CDH-DEV1 .ssh]# scp authorized_keys root@CDH-DEV2:~/.ssh

    2）在CDH-DEV2執(zhí)行

     [root@CDH-DEV2 .ssh]# ssh-keygen -t rsa
 [root@CDH-DEV2 .ssh]# cat id_rsa.pub >> authorized_keys
 [root@CDH-DEV2 .ssh]# chmod 600 authorized_keys
 [root@CDH-DEV2 .ssh]# scp authorized_keys root@CDH-DEV3:~/.ssh

    3）在CDH-DEV2執(zhí)行

     [root@CDH-DEV3 .ssh]# ssh-keygen -t rsa
 [root@CDH-DEV3 .ssh]# cat id_rsa.pub >> authorized_keys
 [root@CDH-DEV3 .ssh]# chmod 600 authorized_keys
 [root@CDH-DEV3 .ssh]# scp authorized_keys root@CDH-DEV4:~/.ssh

    4）在CDH-DEV2執(zhí)行

     [root@CDH-DEV4 .ssh]# ssh-keygen -t rsa
 [root@CDH-DEV4 .ssh]# cat id_rsa.pub >> authorized_keys
 [root@CDH-DEV4 .ssh]# chmod 600 authorized_keys
 [root@CDH-DEV4 .ssh]# scp authorized_keys root@CDH-DEV1:~/.ssh
 [root@CDH-DEV4 .ssh]# scp authorized_keys root@CDH-DEV2:~/.ssh
 [root@CDH-DEV4 .ssh]# scp authorized_keys root@CDH-DEV3:~/.ssh

  3. 安裝MySQL（主節(jié)點安裝即可）

    安裝步驟：
    （1）此處需要注意的是centos 7 默認安裝的是mariadb鸡典，如果不卸載直接安裝的話會報錯，報錯信息mariadb-libs is obsoleted by mysql-community-libs-5.7.9-1.el7.x86_64

     rpm -qa | grep mariadb #查看安裝信息
 rpm -e mariadb-libs* --nodeps #根據(jù)查找到的軟件包信息卸載

    （2）安裝MySQL（必須按以下順序安裝）

     rpm -ivh mysql-community-common-5.7.20-1.el7.x86_64.rpm
 rpm -ivh mysql-community-libs-5.7.9-1.el7.x86_64.rpm
 rpm -ivh mysql-community-client-5.7.9-1.el7.x86_64.rpm
 rpm -ivh mysql-community-server-5.7.9-1.el7.x86_64.rpm

    （3）基本設置

     service mysqld start #啟動服務
 vim /var/log/mysqld.log  #查看初始密碼
 mysql -uroot -p   #登錄
 set password = password('test01.') #設置密碼
 
 #授權(quán)用戶root使用密碼passwd從任意主機連接到mysql服務器
 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'passwd' WITH GRANT OPTION;
 flush privileges;

    （4）建數(shù)據(jù)庫（用于后邊組件安裝）

     create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

  4. 關閉防火墻（所有節(jié)點）
    centos 7 默認使用的是firewall枪芒，不是iptables

     systemctl stop firewalld.service
 systemctl mask firewalld.service

  5. 關閉SELinux（所有節(jié)點）

     [root@CDH-DEV1 .ssh]# vim /etc/selinux/config
 
 設置SELINUX=disabled

  6. 配置NTP服務（所有節(jié)點）

     安裝
 [root@CDH-DEV1 .ssh]# yum install ntp
 設置開機啟動
 [root@CDH-DEV1 .ssh]# chkconfig ntpd on
 服務啟動
 [root@CDH-DEV1 .ssh]# service ntpd start

  7. 所有節(jié)點上創(chuàng)建用戶

     useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

三彻况、安裝

  1. 安裝Cloudera Manager Server 和Agent

（1）將下載好的cloudera-manager-centos7-cm5.13.0_x86_64.tar.gz解壓到主節(jié)點的/opt/,解壓出來的文件夾為cloudera與cm-4.13.0

（2）為Cloudera Manager建立數(shù)據(jù)庫，此處需要前邊下載好的mysql-connector-java-5.1.44-bin.jar

scp mysql-connector-java-5.1.44-bin.jar root@CDH-DEV1:/opt/cm-5.13.0/share/cmf/lib/
scp mysql-connector-java-5.1.44-bin.jar root@CDH-DEV1:/usr/share/java/

/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p scm scm

（3）配置Agent

vim opt/cm-5.1.3/etc/cloudera-scm-agent/config.ini
server_host=CDH-DEV1

#拷貝到其他節(jié)點
[root@CDH-DEV1 parcel-repo]# scp -r /opt/cm-5.13.0/ root@cdh-dev2:/opt/
[root@CDH-DEV1 parcel-repo]# scp -r /opt/cm-5.13.0/ root@cdh-dev3:/opt/
[root@CDH-DEV1 parcel-repo]# scp -r /opt/cm-5.13.0/ root@cdh-dev4:/opt/

（4）準備parcels舅踪，將CDH相關文件拷貝到主節(jié)點/opt/cloudera/parcel-repo/

#相關文件    
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel
CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1
manifest.json

#操作
scp mysql-connector-java-5.1.44-bin.jar root@CDH-DEV1:/opt/cm-5.13.0/share/cmf/lib/
scp mysql-connector-java-5.1.44-bin.jar root@CDH-DEV1:/usr/share/java/

需要將CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1改成CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha纽甘，否則安裝時會重新下載，很重要３槁怠贷腕！

[root@CDH-DEV1 parcel-repo]# mv CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha1 CDH-5.13.0-1.cdh5.13.0.p0.29-el7.parcel.sha

（5）啟動

#主節(jié)點
/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start

#主節(jié)點及其他節(jié)點
/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

啟動需要點時間，可以查看數(shù)據(jù)庫scm中的hosts表，如果里面出現(xiàn)節(jié)點信息表示server啟動完成

  1. 開始安裝Hadoop集群

登錄界面,默認登錄用戶名和密碼都是admin

image.png

選擇安裝版本

image.png

為CDH群集安裝指定主機

此處是在當前管理的主機里選擇機器泽裳，不要在新主機里查找瞒斩，另外這個地方顯示的主機信息一定要對，我開始的時候因為主機名配置出問題涮总，導致無法識別主機名稱和IP胸囱，雖然agent的uuid是分配到了四臺機器上，但是后邊的安裝無法進行瀑梗。

image.png

群集安裝

image.png

群集安裝--安裝指定parcel

分配時間受帶寬影響烹笔，我的是千兆交換機組成的局域網(wǎng)，速度還可以抛丽，應該不到十分鐘

image.png

檢查主機正確性

image.png

第一個警告直接在所有節(jié)點上執(zhí)行echo 10 > /proc/sys/vm/swappiness
第二個警告按照上面的說明谤职，在所有節(jié)點上執(zhí)行這兩條命令
echo never > /sys/kernel/mm/transparent_hugepage/defrag >> /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/enabled >> /etc/rc.local

群集設置--選擇安裝服務--按需選擇
群集設置--自定義角色--默認即可
群集設置--數(shù)據(jù)庫設置

image.png

此處hue老出問題，一直解決不了亿鲜，為了整條線走下去允蜈，而且目測hue基本用不到，所以選擇了放棄安裝hue.
貼一下網(wǎng)上找的幾個解決方法蒿柳，我都試了饶套，沒有解決，不知道什么問題垒探，以后研究研究

群集設置--審查--默認即可
群集設置--首次設置--默認即可

開始安裝服務
此處hive ，oozie會安裝失敗圾叼，失敗信息如下蛤克。因為我們使用了MySQL作為hive元數(shù)據(jù)存儲，需要將mysql驅(qū)動拷貝到hive和oozie目錄下

image.png

image.png

解決方法（需要在所有節(jié)點上執(zhí)行）

cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.44-bin.jar /opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/hive/lib/
cp /opt/cm-5.13.0/share/cmf/lib/mysql-connector-java-5.1.44-bin.jar /var/lib/oozie/

安裝完成

image.png

四夷蚊、踩過的坑

  1. 數(shù)據(jù)庫配置
    問題描述：開始給Cloudera Manager配置數(shù)據(jù)庫的時候构挤，找的是網(wǎng)上的命令，/opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p --scm-host localhost scm scm scm撬码，一直報錯儿倒，不知道什么問題，報錯信息java.sql.SQLException: Your password does not satisfy the current policy requirements呜笑，各種改密碼復雜度及降低數(shù)據(jù)庫密碼復雜度要求都不行夫否，懷疑是CDH版本更新命令參數(shù)發(fā)生了變化
    解決方法，去掉部分參數(shù)叫胁，
    /opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p scm scm

  2. cloudera-scm-server啟動,cm-5.13.0/etc/init.d/cloudera-scm-server:行109: pstree: 未找到命令,centos最小安裝版缺少軟件包凰慈，安裝即可，yum install psmisc

  3. 中途安裝失敗驼鹅，重新安裝

    關閉所有服務

     #主節(jié)點
 [root@CDH-DEV1 opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop
 #主節(jié)點及其他節(jié)點
 [root@CDH-DEV1 opt]# /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

    刪除agent uuid

     rm -rf /opt/cm-5.13.0/lib/cloudera-scm-agent/*

    刪除數(shù)據(jù)庫scm
    重新配置數(shù)據(jù)庫
    /opt/cm-5.13.0/share/cmf/schema/scm_prepare_database.sh mysql -hlocalhost -uroot -p scm scm
    啟動Cloudera server和agent微谓，按照之前步驟安裝即可

五森篷、參考網(wǎng)站

Installing Cloudera Manager and CDH

Cloudera Manager 5和CDH5離線安裝,CDH-5.7.1

離線安裝Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

寫在后面

碼字不易，覺得好點個贊哈~~

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 人面猴
    序言：七十年代末豺型，一起剝皮案震驚了整個濱河市仲智，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌姻氨，老刑警劉巖钓辆，帶你破解...
    沈念sama閱讀 222,627評論 6贊 517
  • 死咒
    序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場離奇詭異肴焊，居然都是意外死亡前联，警方通過查閱死者的電腦和手機，發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 95,180評論 3贊 399
  • 救了他兩次的神仙讓他今天三更去死
    文/潘曉璐 我一進店門娶眷，熙熙樓的掌柜王于貴愁眉苦臉地迎上來似嗤，“玉大人，你說我怎么就攤上這事届宠∷嘎洌” “怎么了？”我有些...
    開封第一講書人閱讀 169,346評論 0贊 362
  • 道士緝兇錄：失蹤的賣姜人
    文/不壞的土叔 我叫張陵席揽，是天一觀的道長顽馋。 經(jīng)常有香客問我谓厘，道長幌羞，這世上最難降的妖魔是什么？ 我笑而不...
    開封第一講書人閱讀 60,097評論 1贊 300
  • ?港島之戀（遺憾婚禮）
    正文 為了忘掉前任竟稳，我火速辦了婚禮属桦，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘他爸。我一直安慰自己聂宾，他們只是感情好，可當我...
    茶點故事閱讀 69,100評論 6贊 398
  • 惡毒庶女頂嫁案：這布局不是一般人想出來的
    文/花漫 我一把揭開白布诊笤。 她就那樣靜靜地躺著系谐，像睡著了一般。 火紅的嫁衣襯著肌膚如雪讨跟。 梳的紋絲不亂的頭發(fā)上纪他，一...
    開封第一講書人閱讀 52,696評論 1贊 312
  • 城市分裂傳說
    那天，我揣著相機與錄音晾匠，去河邊找鬼茶袒。 笑死，一個胖子當著我的面吹牛凉馆，可吹牛的內(nèi)容都是我干的薪寓。 我是一名探鬼主播亡资，決...
    沈念sama閱讀 41,165評論 3贊 422
  • 雙鴛鴦連環(huán)套：你想象不到人心有多黑
    文/蒼蘭香墨 我猛地睜開眼，長吁一口氣：“原來是場噩夢啊……” “哼向叉！你這毒婦竟也來了锥腻？” 一聲冷哼從身側(cè)響起，我...
    開封第一講書人閱讀 40,108評論 0贊 277
  • 萬榮殺人案實錄
    序言：老撾萬榮一對情侶失蹤母谎，失蹤者是張志新（化名）和其女友劉穎旷太，沒想到半個月后，有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體销睁，經(jīng)...
    沈念sama閱讀 46,646評論 1贊 319
  • ?護林員之死
    正文 獨居荒郊野嶺守林人離奇死亡供璧，尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 38,709評論 3贊 342
  • ?白月光啟示錄
    正文 我和宋清朗相戀三年，在試婚紗的時候發(fā)現(xiàn)自己被綠了冻记。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片睡毒。...
    茶點故事閱讀 40,861評論 1贊 353
  • 活死人
    序言：一個原本活蹦亂跳的男人離奇死亡，死狀恐怖冗栗，靈堂內(nèi)的尸體忽然破棺而出演顾，到底是詐尸還是另有隱情，我是刑警寧澤隅居，帶...
    沈念sama閱讀 36,527評論 5贊 351
  • ?日本核電站爆炸內(nèi)幕
    正文 年R本政府宣布钠至，位于F島的核電站，受9級特大地震影響胎源，放射性物質(zhì)發(fā)生泄漏棉钧。R本人自食惡果不足惜，卻給世界環(huán)境...
    茶點故事閱讀 42,196評論 3贊 336
  • 男人毒藥：我在死后第九天來索命
    文/蒙蒙 一涕蚤、第九天 我趴在偏房一處隱蔽的房頂上張望宪卿。 院中可真熱鬧，春花似錦万栅、人聲如沸佑钾。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,698評論 0贊 25
  • 一樁弒父案烦粒，背后竟有這般陰謀
    文/蒼蘭香墨 我抬頭看了看天上的太陽休溶。三九已至，卻和暖如春扰她，著一層夾襖步出監(jiān)牢的瞬間兽掰，已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 33,804評論 1贊 274
  • 情欲美人皮
    我被黑心中介騙來泰國打工义黎， 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留禾进，地道東北人。 一個月前我還...
    沈念sama閱讀 49,287評論 3贊 379
  • 代替公主和親
    正文 我出身青樓廉涕，卻偏偏與公主長得像泻云，于是被迫代替她去往敵國和親艇拍。 傳聞我的和親對象是個殘疾皇子，可洞房花燭夜當晚...
    茶點故事閱讀 45,860評論 2贊 361