簡(jiǎn)介
Cloudera企業(yè)解決方案包括Cloudera Hadoop發(fā)行版（Cloudera’s Distribution Including Apache Hadoop檀头，簡(jiǎn)稱CDH），Cloudera Manager（CM）等。概括起來(lái)說(shuō)，Cloudera提供一個(gè)可伸縮，穩(wěn)定的，綜合的企業(yè)級(jí)大數(shù)據(jù)管理平臺(tái)，它擁有最多的部署案例匆绣，提供強(qiáng)大的部署，管理和監(jiān)控工具什黑。Cloudera Manager提供Admin Console犬绒，這是基于Web的用戶界面，使得企業(yè)數(shù)據(jù)管理更加容易方便兑凿。Coudera Manager易于升級(jí)和安裝Hadoop組件凯力，還提供了在幾分鐘之內(nèi)建立集群主節(jié)點(diǎn)的高可用（High Availability）。它還包括Cloudera Manager API礼华，可用來(lái)獲取集群運(yùn)行狀態(tài)以及配置Coudera Manager咐鹤。
CM技術(shù)架構(gòu)
image.png
Agent：安裝在每臺(tái)主機(jī)上。該代理負(fù)責(zé)啟動(dòng)和停止的過(guò)程圣絮，拆包配置祈惶，觸發(fā)裝置和監(jiān)控主機(jī)。
Management Service：由一組執(zhí)行各種監(jiān)控扮匠，警報(bào)和報(bào)告功能角色的服務(wù)捧请。
Database：存儲(chǔ)配置和監(jiān)視信息。通常情況下棒搜，多個(gè)邏輯數(shù)據(jù)庫(kù)在一個(gè)或多個(gè)數(shù)據(jù)庫(kù)服務(wù)器上運(yùn)行疹蛉。例如，Cloudera的管理服務(wù)器和監(jiān)控角色使用不同的邏輯數(shù)據(jù)庫(kù)力麸。
Cloudera Repository：軟件由Cloudera 管理分布存儲(chǔ)庫(kù)可款。
Clients：是用于與服務(wù)器進(jìn)行交互的接口：
Admin Console ：基于Web的用戶界面與管理員管理集群和Cloudera管理。
API ：與開(kāi)發(fā)人員創(chuàng)建自定義的Cloudera Manager應(yīng)用程序的API克蚂。
Cloudera Manager有四大功能：
（1）管理：對(duì)集群進(jìn)行管理闺鲸，如添加、刪除節(jié)點(diǎn)等操作埃叭。
（2）監(jiān)控：監(jiān)控集群的健康情況摸恍，對(duì)設(shè)置的各種指標(biāo)和系統(tǒng)運(yùn)行情況進(jìn)行全面監(jiān)控。
（3）診斷：對(duì)集群出現(xiàn)的問(wèn)題進(jìn)行診斷赤屋，對(duì)出現(xiàn)的問(wèn)題給出建議解決方案立镶。
（4）集成：對(duì)hadoop的多組件進(jìn)行整合壁袄。
[圖片上傳中...(image.png-fc2836-1629087455733-0)]
Cloudera Manager概述
Cloudera Manager(簡(jiǎn)稱CM)是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對(duì)集群中主機(jī)谜慌，Hadoop，Hive莺奔，Spark等服務(wù)的安裝和配置做了極大的簡(jiǎn)化欣范。他是Hadoop集群的軟件分發(fā)及管理平臺(tái)，通過(guò)它可以快速部署好一個(gè)Hadoop集群令哟，并對(duì)集群的節(jié)點(diǎn)及服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控恼琼。詳情參見(jiàn)：官方鏈接
image.png
Cloudera Manager功能概述
一.狀態(tài)管理
(1)Cloudera Manager Server 維護(hù)了集群的各種狀態(tài)。狀態(tài)可分為兩類：模塊和運(yùn)行時(shí)屏富，兩者都存儲(chǔ)于CMS的數(shù)據(jù)庫(kù)中晴竞。
(2)模塊包含集群，主機(jī)狠半，服務(wù)噩死，角色，配置神年。運(yùn)行時(shí)包含進(jìn)程已维，命令。
二.配置管理（CM在多個(gè)層面定義了配置）
(1)服務(wù)層面
可定義整個(gè)服務(wù)實(shí)例層面的配置已日，如HDFS服務(wù)的默認(rèn)副本因子垛耳，
(2)角色組層面
可定義某個(gè)角色組的配置，如DataNode的處理線程數(shù)量飘千，可根據(jù)DataNodes的不同分組進(jìn)行不同的配置堂鲜。
(3)角色層面
可覆蓋從角色層面繼承的配置。這種配置需要謹(jǐn)慎使用护奈，因?yàn)闀?huì)造成角色組中的配置分歧缔莲。如因?yàn)榕腻e(cuò)需求臨時(shí)啟用某個(gè)角色實(shí)例的DEBUG日志。
(4)主機(jī)層面
根據(jù)監(jiān)控霉旗，軟件管理酌予，資源管理的不同有不同的配置。
(5)CM自身也有很多與管理操作相關(guān)的配置奖慌。
三.進(jìn)程管理
(1)非CM管理的集群使用腳本進(jìn)行角色進(jìn)程的啟動(dòng)抛虫，但在CM管理的集群中這類腳本不起作用。
(2)CM管理的集群中简僧，只能使用CM進(jìn)行角色進(jìn)程的啟停建椰，CM使用開(kāi)源的進(jìn)程管理名為supervisord，其會(huì)啟動(dòng)進(jìn)程岛马，重定向日志棉姐，通知進(jìn)程失敗屠列，為進(jìn)程設(shè)置正確的用戶ID等等。CM支持自動(dòng)重啟一個(gè)崩潰的進(jìn)程伞矩。如果一個(gè)進(jìn)程在啟動(dòng)會(huì)頻繁崩潰笛洛，還會(huì)被大聲非健康標(biāo)記。
(3)停止CMS和CM代理不會(huì)使正在運(yùn)行的進(jìn)程被中止乃坤。
四.軟件包管理
CM支持兩種軟件分發(fā)格式：packages和parcels苛让。
(1)package
是一種二進(jìn)制分發(fā)格式，包含編譯的代碼和元數(shù)據(jù)如包描述湿诊，版本狱杰，依賴項(xiàng)。包管理系統(tǒng)評(píng)估此元數(shù)據(jù)以允許包搜索厅须，執(zhí)行升級(jí)仿畸，確保包的所有依賴關(guān)系得到滿足。CM使用本地操作系統(tǒng)支持的包管理程序朗和。
(2)parcel
也是一種二進(jìn)制分發(fā)格式错沽，包含CM需要使用的附加元數(shù)據(jù)。其余package的卻別有：可安裝同一個(gè)parcel的多個(gè)版本眶拉，并激活其中一個(gè)甥捺；parcel可安裝到任何路徑；通過(guò)parcel安裝镀层，CM會(huì)自動(dòng)下載并激活和每個(gè)節(jié)點(diǎn)操作系統(tǒng)版本匹配的parcel包镰禾，解決某些操作系統(tǒng)版本不一致問(wèn)題。
五.主機(jī)管理
(1)CM提供了多種功能以管理Hadoop集群的主機(jī)唱逢。第一次運(yùn)行CM管理控制臺(tái)時(shí)吴侦，可搜索主機(jī)并添加到集群，一旦選中了主機(jī)就可以為其分配CDH角色坞古。CM會(huì)在主機(jī)上自動(dòng)部署作為集群托管節(jié)點(diǎn)所有軟件：JDK备韧，CM agent，CDH痪枫，Impala织堂，Solr等等。
(2)服務(wù)部署并運(yùn)行后奶陈，管理員控制臺(tái)中的“Hosts”區(qū)域顯示集群中托管主機(jī)的總體狀態(tài)易阳。提供的信息包括主機(jī)上的CDH版本，主機(jī)所屬的集群吃粒，運(yùn)行在主機(jī)上的角色的數(shù)量潦俺。Cloudera管理服務(wù)中的主機(jī)監(jiān)控角色執(zhí)行監(jiān)控檢查并收集主機(jī)的統(tǒng)計(jì)信息，以允許你監(jiān)控主機(jī)的監(jiān)控和性能。
六.資源管理
CM允許使用兩種資源管理方式：
(1)靜態(tài)資源池
使用Linux cgroups在多個(gè)服務(wù)間靜態(tài)進(jìn)行資源隔離事示，如HBase早像，Impala，Yarn分別使用一定百分比的資源肖爵。靜態(tài)資源池默認(rèn)不啟用卢鹦。
(2)動(dòng)態(tài)資源池
用于某些服務(wù)內(nèi)部的資源管理，如Yarn的各種資源調(diào)度器劝堪，Impala也可對(duì)不同池中的查詢動(dòng)態(tài)分配資源冀自。
七.用戶管理
(1)訪問(wèn)CM通過(guò)用戶賬戶進(jìn)行控制。用戶賬戶標(biāo)識(shí)如何對(duì)用戶進(jìn)行身份驗(yàn)證幅聘，并確定授予用戶的權(quán)限凡纳。
(2)CM提供了多種用戶認(rèn)證機(jī)制窃植〉圯铮可以配置CM使用CM數(shù)據(jù)庫(kù)認(rèn)證用戶，或使用某種外部認(rèn)證服務(wù)巷怜。外部認(rèn)證服務(wù)可以是LADP服務(wù)器葛超，或者指定的其他服務(wù)。CM還支持使用安全斷言標(biāo)記語(yǔ)言（SAML）來(lái)實(shí)現(xiàn)單點(diǎn)登錄延塑。
八.安全管理
(1)認(rèn)證：
認(rèn)證是指用戶或服務(wù)證明其有訪問(wèn)某種系統(tǒng)資源的權(quán)限绣张。Cloudera集群支持操作系統(tǒng)認(rèn)證，LDAP关带，Kerberos等認(rèn)證方式侥涵。LDAP和Kerberos并不是互斥的，很多時(shí)候可以一起使用宋雏。
(2)授權(quán)：
授權(quán)關(guān)注誰(shuí)可以存取或控制指定的資源或服務(wù)芜飘。CDH目前支持以下幾種權(quán)限控制：
1>.傳統(tǒng)的POSIX形式的目錄和文件權(quán)限控制；
2>.HDFS擴(kuò)展的ACL細(xì)粒度權(quán)限控制磨总；
3>.HBase可對(duì)用戶和組設(shè)置各種操作的ACL嗦明；
4>.使用Apache Sentry進(jìn)行基于角色的全下控制；
(3)加密：
集群不同層面存儲(chǔ)和傳輸?shù)臄?shù)據(jù)支持不同的加密方式蚪燕。
九.Cloudera管理服務(wù)
Cloudera Management Service 實(shí)現(xiàn)了多種管理特性娶牌，包括活動(dòng)監(jiān)視，主機(jī)監(jiān)控馆纳，服務(wù)監(jiān)控诗良，時(shí)間服務(wù)，告警發(fā)布鲁驶，報(bào)表管理等累榜。
Cloudera Manager基本核心功能
Cloudera Manager作為Hadoop大數(shù)據(jù)平臺(tái)的管理工具，能夠有效地幫助用戶更容易地使用Hadoop。他的核心功能分為四大模塊：管理功能壹罚，監(jiān)控功能葛作，診斷功能和集成功能。
一.Cloudera Manager提供的管理功能
(1)批量自動(dòng)化部署節(jié)點(diǎn)
CM提供強(qiáng)大的Hadoop集群部署能力猖凛，能夠批量的自動(dòng)化部署節(jié)點(diǎn)赂蠢。安裝一個(gè)Hadoop集群只需添加安裝的節(jié)點(diǎn)，安裝需要的組件和服務(wù)角色這三步辨泳，大大縮短了Hadoop的安裝時(shí)間虱岂，也簡(jiǎn)化來(lái)Hadoop的安裝過(guò)程。
(2)可視化的參數(shù)配置功能
Hadoop包含許多組件菠红，不同組件都包含各種各樣的XML配置文件第岖。CM提供界面GUI可視化參數(shù)配置功能。
(3)智能參數(shù)驗(yàn)證以及優(yōu)化
當(dāng)用戶配置部分參數(shù)值有問(wèn)題時(shí)试溯，CM會(huì)給出智能錯(cuò)誤提示蔑滓，幫助用戶更合理地修改配置參數(shù)。
(4)高可用配置
CM對(duì)關(guān)鍵的組件使用HA部署遇绞，如NameNode高可用可以通過(guò)CM的Web管理界面键袱，根據(jù)向?qū)⒂肏DFS HA。
(5)權(quán)限管理
提供不同級(jí)別的管理權(quán)限摹闽，比如只度用戶訪問(wèn)Cloudera Manager的界面時(shí)蹄咖，所有服務(wù)對(duì)應(yīng)的啟停等操作選項(xiàng)都不可用。
二.Cloudera Manager提供的監(jiān)控功能
(1)服務(wù)監(jiān)控
查看服務(wù)和實(shí)力級(jí)別健康檢查的結(jié)果付鹿，對(duì)設(shè)置的各種指標(biāo)和系統(tǒng)運(yùn)行情況進(jìn)行全面監(jiān)控澜汤。如果任何運(yùn)行情況測(cè)試是不良（Bad），則服務(wù)或者角色的狀態(tài)就是不良（Bad）舵匾。如果結(jié)果運(yùn)行狀況存在隱患（Concering俊抵，沒(méi)有任意一項(xiàng)目是不良（Bad）），則服務(wù)或者角色的狀況就是存在隱患（Concerning）纽匙。而且系統(tǒng)會(huì)對(duì)管理員應(yīng)該采取得到行動(dòng)提出建議务蝠。
(2)主機(jī)監(jiān)控
監(jiān)控集群內(nèi)所有主機(jī)的有關(guān)信息，包括主機(jī)上目前消耗的內(nèi)存烛缔，主機(jī)上運(yùn)行的角色分配等馏段，不但顯示所有集群主機(jī)的匯總視圖，而且能進(jìn)一步顯示單個(gè)主機(jī)關(guān)鍵指標(biāo)詳細(xì)視圖践瓷。
(3)行為監(jiān)控
CM提供來(lái)列表和圖表來(lái)查看集群上進(jìn)行的活動(dòng)院喜，不僅顯示當(dāng)前正在執(zhí)行的任務(wù)行為，還可以通過(guò)儀表盤查看歷史活動(dòng)晕翠。
(4)事件活動(dòng)
監(jiān)控界面可以查看事件喷舀，系統(tǒng)管理員可以通過(guò)時(shí)間范圍砍濒，服務(wù)，主機(jī)硫麻，關(guān)鍵字等信息過(guò)濾事件爸邢。
(5)報(bào)警
通過(guò)配置CM可以對(duì)指定的時(shí)間產(chǎn)生警報(bào)，并通過(guò)電子郵件或者SNMP的事件得到制定的警報(bào)通知拿愧。
(6)日志和報(bào)告
可以輕松點(diǎn)擊一個(gè)鏈接查看相關(guān)的特定服務(wù)的日志條目杠河，并且Cloudera Manager可以將收集的歷史日志監(jiān)控?cái)?shù)據(jù)統(tǒng)計(jì)生成報(bào)表。
三.Cloudera Manager提供的診斷功能
(1)周期性服務(wù)診斷
CM會(huì)對(duì)集群中運(yùn)行的服務(wù)進(jìn)行周期性的運(yùn)行狀況測(cè)試浇辜，以檢測(cè)這些服務(wù)的狀態(tài)是否正常券敌。如果有異常情況，就會(huì)進(jìn)行告警柳洋，有利于更早地讓用戶感知集群服務(wù)存在的問(wèn)題待诅。
(2)日志采集及檢索
對(duì)于一個(gè)大規(guī)模的集群，CM提供了日志收集功能熊镣，能夠通過(guò)統(tǒng)一的界面查看集群中每臺(tái)及其卑雁，各項(xiàng)服務(wù)的日志，并且能夠根據(jù)日志級(jí)別等不同的條件進(jìn)行檢索轧钓。
(3)系統(tǒng)性能使用報(bào)告
CM能夠查看系統(tǒng)性能使用報(bào)告序厉，包括集群的CPU使用率锐膜，單節(jié)點(diǎn)的CPU使用率毕箍，單個(gè)進(jìn)程的CPU使用率等各項(xiàng)性能數(shù)據(jù)，這對(duì)于Hadoop集群的性能調(diào)試很重要道盏。
四.Cloudera Manager提供的集成功能
(1)安全配置
為了方便Hadoop大數(shù)據(jù)平臺(tái)與原有身份認(rèn)證系統(tǒng)如AD而柑，LDAP等的集成，CM只需在界面上配置即可完成荷逞。
(2)Cloudera Manager API
通過(guò)Cloudera Manager API媒咳，能夠方便地將CM集成到企業(yè)原有管理系統(tǒng)集成。
(3)SNMP集成
CM也提供了方便的SNMP集成能力种远，只要簡(jiǎn)單的配置涩澡，就能夠?qū)NMP進(jìn)行集成，并且將集群中的告警信息進(jìn)行轉(zhuǎn)發(fā)坠敷。
Cloudera Manager高級(jí)功能
Cloudera Manager的高級(jí)功能在免費(fèi)的Express版本中是不提供的妙同。
(1)軟件升級(jí)滾動(dòng)
Hadoop版本升級(jí)和bug修復(fù)，通常會(huì)影響業(yè)務(wù)的連續(xù)性膝迎。CM提供了滾動(dòng)升級(jí)的功能粥帚，支持Hadoop平臺(tái)進(jìn)行滾動(dòng)升級(jí)時(shí)繼續(xù)對(duì)外提供服務(wù)以及應(yīng)用。
(2)參數(shù)版本控制
任何時(shí)候進(jìn)行配置修改并保存之后限次，Cloudera Manager會(huì)對(duì)該配置生成一個(gè)版本芒涡。Cloudera Manager支持查看歷史配置，并回滾到不同版本，從而為集群恢復(fù)费尽，問(wèn)題診斷等提供了一個(gè)可靠的一句和方便的工具赠群。
(3)備份及容災(zāi)系統(tǒng)BDR
Cloudera為Hadoop平臺(tái)提供一個(gè)集成的，易用的災(zāi)備解決方案旱幼。BDR為災(zāi)備方案提供了豐富的功能乎串，CM和BDR提供了完整的用戶畫像，實(shí)現(xiàn)界面化的數(shù)據(jù)備份與災(zāi)難恢復(fù)速警。
(4)數(shù)據(jù)審計(jì)
Cloudera Navigator的審計(jì)功能支持對(duì)數(shù)據(jù)的審計(jì)和訪問(wèn)叹誉。
(5)安全集成向?qū)?br> 啟用Kerberos集成和外部安全認(rèn)證集成，如支持通過(guò)內(nèi)部數(shù)據(jù)庫(kù)和外部服務(wù)進(jìn)行用戶認(rèn)證闷旧。
原文鏈接：https://blog.csdn.net/weixin_43824520/article/details/102565454
