CDH離線安裝

系統(tǒng)參數(shù)

系統(tǒng)centos:CentOS Linux release 7.5.1804 (Core)

JDK:jdk-8u162-linux-x64

Cloudera Manager:5.15.0

服務(wù)器5臺(tái),內(nèi)存16g迫卢,磁盤50g冶共,其中主節(jié)點(diǎn)磁盤不要小于50g,其他的可適當(dāng)減少或增加配置

1家卖、提前下載各個(gè)離線安裝包文件

由于在線安裝速度很慢上荡,最好還是先把安裝包先下載下載馒闷,為了方便安裝以下安裝包放在server01服務(wù)器上的/root/soft/目錄下叁征,在通過scp命令將cloudera-manager-agent沛善、cloudera-manager-daemons金刁、cloudera-manager.repo這三個(gè)文件拷貝到server02~05的/root/soft/目錄下

jdk1.8(自行下載)

CM軟件包(除了里面jdk的rpm包,其他的都下載下來)

cloudera-manager-installer.bin

cloudera-manager.repo

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

2媳友、系統(tǒng)參數(shù)配置

所有節(jié)點(diǎn)修改hostname醇锚,第一臺(tái)服務(wù)器命名為server01坯临,依次命名

hostnamectl --static set-hostname server01

修改hosts:

vim /etc/hosts

根據(jù)自己的6臺(tái)服務(wù)器IP地址,在最后面增加:

192.168.242.51 server01

192.168.242.52 server02

192.168.242.53 server03

192.168.242.54?server04

192.168.242.55 server05

所有節(jié)點(diǎn)關(guān)閉防火墻和selinux

systemctl stop firewalld.service #停止

systemctl disable firewalld.service #禁止firewall開機(jī)啟動(dòng)

firewall-cmd --state #查看默認(rèn)防火墻狀態(tài)(關(guān)閉后顯示notrunning赶促,開啟后顯示running)

vim /etc/selinux/config #找到SELINUX改為:SELINUX=disabled

所有節(jié)點(diǎn)ssh無密碼登錄

先在server01上執(zhí)行:

ssh-keygen -t rsa #一路回車到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #將公鑰拷貝到本機(jī)的authorized_keys上

再在其他節(jié)點(diǎn)分別執(zhí)行以下命令:

ssh-keygen -t rsa #一路回車到完成

ssh-copy-id -i ~/.ssh/id_rsa.pub root@server01 #注意此處不變鸥滨,將公鑰拷貝到server01的authorized_keys上

在server01上谤祖,將authorized_keys分發(fā)到其他節(jié)點(diǎn)服務(wù)器:

scp ~/.ssh/authorized_keys root@server02:~/.ssh/

scp ~/.ssh/authorized_keys root@server03:~/.ssh/

scp ~/.ssh/authorized_keys root@server04:~/.ssh/

scp ~/.ssh/authorized_keys root@server05:~/.ssh/

scp ~/.ssh/authorized_keys root@server06:~/.ssh/


JDK安裝

rpm -qa |grep java #如果有就卸載粥喜。沒有就不用執(zhí)行下面

yum remove java* #刪除自帶的java

切換到j(luò)dk所在目錄,執(zhí)行安裝命令

tar?zxvf?jdk-8u171-linux-x64.tar.gz


設(shè)置環(huán)境變量:

vim /etc/profile

在最后面增加:

JAVA_HOME=/usr/java/jdk1.8.0_171JRE_HOME=${JAVA_HOME}/jreCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libPATH=${JAVA_HOME}/bin:$PATH

退出保存卿吐,執(zhí)行以下命令使環(huán)境變量生效但两,并驗(yàn)證JDK安裝是否正確

source /etc/profile #使環(huán)境變量生效

java -version #查看JDK是否安裝正確

?安裝ntp時(shí)間同步軟件

yum install ntp -y

vim /etc/ntp.conf

添加如下配置:

restrict 192.168.242.0 mask 255.255.255.0 nomodify notrap

server cn.pool.ntp.org

server 1.asia.pool.ntp.org

server 2.asia.pool.ntp.org

restrict 2.cn.pool.ntp.org nomodify notrap noquery

restrict 1.asia.pool.ntp.org nomodify notrap noquery

restrict 2.asia.pool.ntp.org nomodify notrap noquery

server 127.0.0.1

fudge 127.0.0.1 stratum 10

server01

時(shí)間同步

/usr/sbin/ntpdate cn.pool.ntp.org

在server02~06上谨湘,修改/etc/ntp.conf配置改為以下

server 192.168.242.51

restrict 192.168.242.51 nomodify notrap noquery

server 127.0.0.1

fudge 127.0.0.1 stratum 10

#server 0.centos.pool.ntp.org iburst

#server 1.centos.pool.ntp.org iburst

#server 2.centos.pool.ntp.org iburst

#server 3.centos.pool.ntp.org iburst


server02~05

子節(jié)點(diǎn)需要定期同步主節(jié)點(diǎn)的時(shí)間紧阔,所以需要在各個(gè)子節(jié)點(diǎn)增加一個(gè)定時(shí)任務(wù):

#每個(gè)從節(jié)點(diǎn),從master節(jié)點(diǎn)同步時(shí)間

ntpdate server01

#做一個(gè)計(jì)劃任務(wù)(從節(jié)點(diǎn))

crontab -e

#表示每3小時(shí)同步一次時(shí)間

00 */3 * * * /usr/sbin/ntpdate server01 >> /root/ntpdate.log 2>&1

#查看計(jì)劃任務(wù)

crontab -l

使用systemctl is-enabled chronyd檢查是否為enabled的活孩,如果在運(yùn)行則關(guān)閉該服務(wù)乖仇,不然ntp在系統(tǒng)重啟的時(shí)候不會(huì)啟動(dòng)

systemctl disable chronyd.service

systemctl enable ntpd.service

systemctl restart ntpd

ntpstat #查看是否同步

從節(jié)點(diǎn)已同步到主節(jié)點(diǎn)上

最后所有服務(wù)器檢查一下時(shí)間是否一致

3乃沙、?Cloudera Manager安裝

修改倉庫文件cloudera-manager.repo警儒,把版本號(hào)加上

cd ~/soft/ #根據(jù)前面說的,所有文件均在此目錄下

vim?cloudera-manager.repo

[cloudera-manager]name = Cloudera Manager

baseurl=https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/ #主要改這里的版本號(hào)

gpgkey = https://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera

gpgcheck = 1

開始server01的安裝:

yum localinstall --nogpgcheck *.rpm

從機(jī)server02~05安裝

yum localinstall --nogpgcheck *.rpm

最后在server01~06節(jié)點(diǎn)檢查我們安裝包

yum list | grep cloudera


server01


server02~05

進(jìn)入server01的cloudera-manager-installer.bin所在目錄?

設(shè)置安裝權(quán)限:

chmod u+x cloudera-manager-installer.bin

執(zhí)行安裝命令:

./cloudera-manager-installer.bin

如果提示需要?jiǎng)h除配置文件,則刪除該文件

rm -rf /etc/cloudera-scm-server/db.properties

重新執(zhí)行安裝命令变姨,根據(jù)安裝向?qū)б宦穘ext隆夯。注意别伏,如果之前master上沒有手動(dòng)安裝rpm包此時(shí)就會(huì)聯(lián)網(wǎng)下載,下載速度一般都較慢愧口,太費(fèi)時(shí)間类茂。

相同配置下順利安裝時(shí)間在1分鐘內(nèi)即可完成巩检。?

然后我們?cè)趙eb瀏覽器訪問?http://192.168.242.51:7180/,看是否能打開頁面即可领舰,先不要進(jìn)行登錄操作。

注意:CDH server服務(wù)器啟動(dòng)需要一些時(shí)間舍咖,等1分鐘左右锉桑。

如果能訪問,那證明 cloudera manager安裝正常攻柠。

4后裸、CDH服務(wù)安裝

前面完成cloudera manager安裝之后server01會(huì)在/opt目錄下生成cloudera文件夾轻抱,將之前下載好的CDH-*文件移動(dòng)到parcel-repo文件夾中

mv CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel /opt/cloudera/parcel-repo/

mv ?CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha #注意這里有重命名

將cloudera manager的用戶授權(quán)給/opt和日志目錄:

chown cloudera-scm.cloudera-scm /opt -R

chown cloudera-scm.cloudera-scm /var/log/cloudera-scm-agent -R

重啟cloudera-scm-server(重要

/etc/init.d/cloudera-scm-server restart

重啟速度較慢,約1分鐘后訪問?http://192.168.242.51:7180/?登陸较店,賬號(hào)密碼都是:admin?

選擇免費(fèi)版本容燕,根據(jù)自身需要一路next安裝蘸秘。

輸入集群服務(wù)器名
選擇要安裝的版本

這樣安裝成功了

5醋虏、錯(cuò)誤

1.查看日志,日志文件在/var/log毛秘,查詢相應(yīng)的模塊日志

2.cloudera-manager-agent和cloudera-manager-daemons要安裝最新版的阻课,不然會(huì)出現(xiàn)報(bào)錯(cuò)

3.如果選擇了單用戶模式,則要給cloudera-scm用戶添加root權(quán)限抹恳,并使用命令:usermod -s /bin/bash?cloudera-scm

4.從節(jié)點(diǎn)時(shí)間沒有同步主節(jié)點(diǎn)的話署驻,關(guān)閉主節(jié)點(diǎn)绊序,再同步

systemctl?stop?ntpd

/usr/sbin/ntpdate cn.pool.ntp.org

systemctl?restart?ntpd

ntpstat

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末骤公,一起剝皮案震驚了整個(gè)濱河市阶捆,隨后出現(xiàn)的幾起案子钦听,更是在濱河造成了極大的恐慌,老刑警劉巖垒棋,帶你破解...
    沈念sama閱讀 206,214評(píng)論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件叼架,死亡現(xiàn)場離奇詭異衣撬,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)乍构,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,307評(píng)論 2 382
  • 文/潘曉璐 我一進(jìn)店門哥遮,熙熙樓的掌柜王于貴愁眉苦臉地迎上來陵究,“玉大人,你說我怎么就攤上這事君仆∩啵” “怎么了钥庇?”我有些...
    開封第一講書人閱讀 152,543評(píng)論 0 341
  • 文/不壞的土叔 我叫張陵评姨,是天一觀的道長店读。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 55,221評(píng)論 1 279
  • 正文 為了忘掉前任膳算,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己您机,他們只是感情好矢否,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,224評(píng)論 5 371
  • 文/花漫 我一把揭開白布顶吮。 她就那樣靜靜地躺著膳沽,像睡著了一般巡揍。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 49,007評(píng)論 1 284
  • 那天澈圈,我揣著相機(jī)與錄音努潘,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛突梦,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播皇帮,決...
    沈念sama閱讀 38,313評(píng)論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼渐白,長吁一口氣:“原來是場噩夢(mèng)啊……” “哼栋齿!你這毒婦竟也來了励堡?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,956評(píng)論 0 259
  • 序言:老撾萬榮一對(duì)情侶失蹤迎卤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 43,441評(píng)論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,925評(píng)論 2 323
  • 正文 我和宋清朗相戀三年斟珊,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了勤庐。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 38,018評(píng)論 1 333
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡货裹,死狀恐怖笔咽,靈堂內(nèi)的尸體忽然破棺而出船庇,到底是詐尸還是另有隱情姓蜂,我是刑警寧澤,帶...
    沈念sama閱讀 33,685評(píng)論 4 322
  • 正文 年R本政府宣布麦箍,位于F島的核電站享钞,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏添吗。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,234評(píng)論 3 307
  • 文/蒙蒙 一普监、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧廊散,春花似錦往声、人聲如沸贯涎。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,240評(píng)論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春汇恤,著一層夾襖步出監(jiān)牢的瞬間焊夸,已是汗流浹背饭冬。 一陣腳步聲響...
    開封第一講書人閱讀 31,464評(píng)論 1 261
  • 我被黑心中介騙來泰國打工炊苫, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人唠梨。 一個(gè)月前我還...
    沈念sama閱讀 45,467評(píng)論 2 352
  • 正文 我出身青樓蚁鳖,卻偏偏與公主長得像,于是被迫代替她去往敵國和親垮庐。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,762評(píng)論 2 345

推薦閱讀更多精彩內(nèi)容