玩兒數(shù)據(jù) - Centos7 CDH 5.X離線安裝

CDH是一套開源的Hadoop Stack封裝寄悯,提供開箱即用的Hadoop組件平臺铛嘱,結合Cloudera Manager(CM)工具使得集群的安裝霎俩、擴展、管理仁堪、監(jiān)控變得非常簡單方便哮洽,使我們可以忽略繁瑣的組件安裝和配置過程,在大量減少工作量的同時也幫我們避免了很多可能出現(xiàn)的坑弦聂。


cloudera

企業(yè)級應用強烈建議使用CDH及CM鸟辅,較小規(guī)模的集群建議按實際情況選擇(如單獨的Spark計算集群氛什,用CDH反而會變得繁瑣),所以說還是根據(jù)自身的需求進行架構和選擇

環(huán)境及資源準備

軟硬件環(huán)境:
  • CentOS 7.X
  • CDH 5.14(其他版本同理匪凉,下面所有資源和操作都使用相同版本即可)
節(jié)點信息:
192.168.10.10    node10
192.168.10.11    node11
192.168.10.12    node12

在此我們選擇node10作為主節(jié)點
注意:此處說的主節(jié)點并非Hadoop Stack組件的主節(jié)點枪眉,而是CM的主節(jié)點,CM通過該主節(jié)點控制各個Agent(即slave)再层,具體組件的集群分布可通過CM進行配置及動態(tài)調(diào)整

安裝文件準備:

因為是完全的離線安裝贸铜,所以我們需要準備好全部的軟件包資源

  • 下載CM Installer:該文件是CM安裝程序的引導文件,提供圖形界面幫助我們完成安裝
  • 下載CM rpm:此目錄下的所有文件都需要下載聂受,這些文件即CM組件的軟件包和依賴蒿秦,其中還包含兩個JDK,JDK需要使用CM提供的版本蛋济,自己安裝在系統(tǒng)中的JDK并不能被識別到棍鳖,會影響后面的Hadoop組件安裝和運行
  • 下載CM parcel:parcel是CDH對Hadoop及相關組件封裝的打包文件,即Hadoop組件的安裝文件瘫俊,
    這里需要下載的文件有3個:
    • parcel文件:根據(jù)自己的系統(tǒng)版本找到對應的文件鹊杖,該文件大小在1-3GB不等
    • parcel文件對應的sha1簽名文件
    • manifest.json

至此,您應該已經(jīng)準備好如下文件:

開始安裝

首先扛芽,配置各個節(jié)點的Host骂蓖,各節(jié)點防火墻。CDH無需進行免密SSH配置

CM Agent安裝(所有子節(jié)點)
  1. 建立目錄存放安裝文件川尖,如這里使用/root/cdh_5.14登下,并將對應的安裝文件傳至該目錄,你應該得到:
  2. 安裝所有rpm軟件包
cd /root/cdh_5.14
yum install -y *rpm
CM Master安裝
  1. 建立目錄存放安裝文件叮喳,如這里使用/root/cdh_5.14被芳,并將對應的安裝文件傳至該目錄
    賦予cloudera-manager-installer.bin執(zhí)行權限:chmod u+x cloudera-manager-installer.bin你應該得到:

  2. 建立parcel目錄存放離線的hadoop組件安裝包,使用CM默認的:/opt/cloudera/parcel-repo馍悟,并將parcel文件放至該目錄畔濒,你應該得到:

  3. 安裝所有rpm軟件包

cd /root/cdh_5.14
yum install -y *rpm
  1. 啟動CM安裝引導程序
cd /root/cdh_5.14
./cloudera-manager-installer.bin

您應該會看到:


此時我們刪除/etc/cloudera-scm-server/db.properties文件重新運行./cloudera-manager-installer.bin即可繼續(xù)安裝。安裝時可使用CM內(nèi)嵌的數(shù)據(jù)庫锣咒,若在生產(chǎn)環(huán)境上安裝則需要外部數(shù)據(jù)庫存儲CM及相關組件的信息侵状,一般我們使用Mysql存儲,可以在安裝完成之后進行修改即可
重新執(zhí)行引導應該能看到:

此時只需要一直下一步進行安裝即可毅整,界面會顯示安裝進度

出現(xiàn)如下界面即表示CM Web UI已安裝并啟動趣兄,接下來的安裝可以通過Web UI完成

根據(jù)指示訪問主節(jié)點的http://192.168.10.10:7180即可打開,若無響應稍等刷新即可悼嫉。使用默認admin賬戶登錄CM艇潭,各種License各種同意即可

此處根據(jù)自己的需要,選擇對應的版本,我們選擇免費版

此處搜索我們集群中的各個節(jié)點蹋凝,包括主節(jié)點和子節(jié)點鲁纠,成功后將看到

繼續(xù)安裝,將進入鏡像選擇

我們已經(jīng)提前準備好了鏡像并已經(jīng)放到了CM默認的目錄仙粱,繼續(xù)安裝即可房交,若鏡像未在指定目錄彻舰,通過界面上的更多選項按鈕修改即可

由于JDK我們已經(jīng)完成安裝伐割,此處直接繼續(xù)即可

是否使用單用戶模式根據(jù)自己的情況決定,說明也指出了單用戶和多用戶的優(yōu)劣勢

進行鏡像分發(fā)和解壓安裝

注意:在這一步的安裝過程中發(fā)現(xiàn)CM一直不識別該鏡像刃唤,并且嘗試去下載鏡像隔心,再三檢查確認文件本身并無問題,發(fā)現(xiàn)CM開始對鏡像的操作使用的是cloudera-scm賬戶尚胞,所以需要把鏡像3個文件的歸屬用戶和組都調(diào)整為cloudera-scm

cd /opt/cloudera
# 改變文件歸屬用戶和組
chown cloudera-scm:cloudera-scm *

執(zhí)行該操作后返回第5步硬霍,再繼續(xù),然后稍等一會兒就可以正常識別了

至此安裝CM安裝已經(jīng)完成了笼裳,后面根據(jù)自己的需要安裝組件即可

最后編輯于
?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末唯卖,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子躬柬,更是在濱河造成了極大的恐慌拜轨,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件允青,死亡現(xiàn)場離奇詭異橄碾,居然都是意外死亡,警方通過查閱死者的電腦和手機颠锉,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門法牲,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人琼掠,你說我怎么就攤上這事拒垃。” “怎么了瓷蛙?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵悼瓮,是天一觀的道長。 經(jīng)常有香客問我速挑,道長谤牡,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任姥宝,我火速辦了婚禮翅萤,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己套么,他們只是感情好培己,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著胚泌,像睡著了一般省咨。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上玷室,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天零蓉,我揣著相機與錄音,去河邊找鬼穷缤。 笑死敌蜂,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的津肛。 我是一名探鬼主播章喉,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼身坐!你這毒婦竟也來了秸脱?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤部蛇,失蹤者是張志新(化名)和其女友劉穎摊唇,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體搪花,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡遏片,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了撮竿。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片吮便。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖幢踏,靈堂內(nèi)的尸體忽然破棺而出髓需,到底是詐尸還是另有隱情,我是刑警寧澤房蝉,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布僚匆,位于F島的核電站,受9級特大地震影響搭幻,放射性物質(zhì)發(fā)生泄漏咧擂。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一檀蹋、第九天 我趴在偏房一處隱蔽的房頂上張望松申。 院中可真熱鬧,春花似錦、人聲如沸贸桶。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽皇筛。三九已至琉历,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間水醋,已是汗流浹背旗笔。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留离例,地道東北人换团。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像宫蛆,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子的猛,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容