CDH是一套開源的Hadoop Stack封裝寄悯,提供開箱即用的Hadoop組件平臺铛嘱,結合Cloudera Manager(CM)工具使得集群的安裝霎俩、擴展、管理仁堪、監(jiān)控變得非常簡單方便哮洽,使我們可以忽略繁瑣的組件安裝和配置過程,在大量減少工作量的同時也幫我們避免了很多可能出現(xiàn)的坑弦聂。
企業(yè)級應用強烈建議使用CDH及CM鸟辅,較小規(guī)模的集群建議按實際情況選擇(如單獨的Spark計算集群氛什,用CDH反而會變得繁瑣),所以說還是根據(jù)自身的需求進行架構和選擇
環(huán)境及資源準備
軟硬件環(huán)境:
- CentOS 7.X
- CDH 5.14(其他版本同理匪凉,下面所有資源和操作都使用相同版本即可)
節(jié)點信息:
192.168.10.10 node10
192.168.10.11 node11
192.168.10.12 node12
在此我們選擇node10作為主節(jié)點
注意:此處說的主節(jié)點并非Hadoop Stack組件的主節(jié)點枪眉,而是CM的主節(jié)點,CM通過該主節(jié)點控制各個Agent(即slave)再层,具體組件的集群分布可通過CM進行配置及動態(tài)調(diào)整
安裝文件準備:
因為是完全的離線安裝贸铜,所以我們需要準備好全部的軟件包資源
- 下載CM Installer:該文件是CM安裝程序的引導文件,提供圖形界面幫助我們完成安裝
- 下載CM rpm:此目錄下的所有文件都需要下載聂受,這些文件即CM組件的軟件包和依賴蒿秦,其中還包含兩個JDK,JDK需要使用CM提供的版本蛋济,自己安裝在系統(tǒng)中的JDK并不能被識別到棍鳖,會影響后面的Hadoop組件安裝和運行
- 下載CM parcel:parcel是CDH對Hadoop及相關組件封裝的打包文件,即Hadoop組件的安裝文件瘫俊,
這里需要下載的文件有3個:- parcel文件:根據(jù)自己的系統(tǒng)版本找到對應的文件鹊杖,該文件大小在1-3GB不等
- parcel文件對應的sha1簽名文件
- manifest.json
開始安裝
首先扛芽,配置各個節(jié)點的Host骂蓖,各節(jié)點防火墻。CDH無需進行免密SSH配置
CM Agent安裝(所有子節(jié)點)
- 建立目錄存放安裝文件川尖,如這里使用
/root/cdh_5.14
登下,并將對應的安裝文件傳至該目錄,你應該得到:
- 安裝所有rpm軟件包
cd /root/cdh_5.14
yum install -y *rpm
CM Master安裝
-
建立目錄存放安裝文件叮喳,如這里使用
/root/cdh_5.14
被芳,并將對應的安裝文件傳至該目錄
賦予cloudera-manager-installer.bin
執(zhí)行權限:chmod u+x cloudera-manager-installer.bin
你應該得到:
-
建立parcel目錄存放離線的hadoop組件安裝包,使用CM默認的:
/opt/cloudera/parcel-repo
馍悟,并將parcel文件放至該目錄畔濒,你應該得到:
安裝所有rpm軟件包
cd /root/cdh_5.14
yum install -y *rpm
- 啟動CM安裝引導程序
cd /root/cdh_5.14
./cloudera-manager-installer.bin
您應該會看到:
此時我們刪除
/etc/cloudera-scm-server/db.properties
文件重新運行./cloudera-manager-installer.bin
即可繼續(xù)安裝。安裝時可使用CM內(nèi)嵌的數(shù)據(jù)庫锣咒,若在生產(chǎn)環(huán)境上安裝則需要外部數(shù)據(jù)庫存儲CM及相關組件的信息侵状,一般我們使用Mysql存儲,可以在安裝完成之后進行修改即可重新執(zhí)行引導應該能看到:
此時只需要一直下一步進行安裝即可毅整,界面會顯示安裝進度
出現(xiàn)如下界面即表示CM Web UI已安裝并啟動趣兄,接下來的安裝可以通過Web UI完成
根據(jù)指示訪問主節(jié)點的
http://192.168.10.10:7180
即可打開,若無響應稍等刷新即可悼嫉。使用默認admin賬戶登錄CM艇潭,各種License各種同意即可此處根據(jù)自己的需要,選擇對應的版本,我們選擇免費版
此處搜索我們集群中的各個節(jié)點蹋凝,包括主節(jié)點和子節(jié)點鲁纠,成功后將看到
繼續(xù)安裝,將進入鏡像選擇
我們已經(jīng)提前準備好了鏡像并已經(jīng)放到了CM默認的目錄仙粱,繼續(xù)安裝即可房交,若鏡像未在指定目錄彻舰,通過界面上的
更多選項
按鈕修改即可由于JDK我們已經(jīng)完成安裝伐割,此處直接繼續(xù)即可
是否使用單用戶模式根據(jù)自己的情況決定,說明也指出了單用戶和多用戶的優(yōu)劣勢
進行鏡像分發(fā)和解壓安裝
注意:在這一步的安裝過程中發(fā)現(xiàn)CM一直不識別該鏡像刃唤,并且嘗試去下載鏡像隔心,再三檢查確認文件本身并無問題,發(fā)現(xiàn)CM開始對鏡像的操作使用的是
cloudera-scm
賬戶尚胞,所以需要把鏡像3個文件的歸屬用戶和組都調(diào)整為cloudera-scm
cd /opt/cloudera
# 改變文件歸屬用戶和組
chown cloudera-scm:cloudera-scm *
執(zhí)行該操作后返回第5步硬霍,再繼續(xù),然后稍等一會兒就可以正常識別了
至此安裝CM安裝已經(jīng)完成了笼裳,后面根據(jù)自己的需要安裝組件即可