cdh版本5.16.2纵东， navigator版本2.15.2
1. 介紹what
Cloudera Navigator也是CDH企業(yè)版的工具之一煞檩，定位為一個數(shù)據(jù)管理工具处嫌。目前隨著CDP版本的推廣，該組件已開源形娇。Hadoop大數(shù)據(jù)平臺擁有存儲與分析任何種類和規(guī)模數(shù)據(jù)的能力锰霜，并且將其開放給更多用戶和分析工具。 但是桐早，這同時也帶來數(shù)據(jù)管理上的挑戰(zhàn)：大量的業(yè)務(wù)用戶想自助訪問可發(fā)掘數(shù)據(jù)癣缅；管理員需要知道數(shù)據(jù)是怎么被用來優(yōu)化分析性能的；安全團隊需要看見數(shù)據(jù)的訪問方式以及它們是怎么滿足合規(guī)性的哄酝。一個大數(shù)據(jù)平臺必須有能力在整個企業(yè)內(nèi)解決數(shù)據(jù)管理以及合規(guī)性需求友存，但同時不能犧牲大數(shù)據(jù)本身的靈活性和優(yōu)勢。所以我們需要數(shù)據(jù)管理工具Navigator陶衅。
2. 架構(gòu)how
Cloudera Manager會記錄操作的整個生命周期屡立，不論是在集群級別上的操作，還是主機搀军、角色膨俐、服務(wù)勇皇、用戶級別的，都會記錄下來焚刺，比如下載parcel, 啟動集群敛摘，以及安全相關(guān)的操作：增加用戶、刪除用戶乳愉、登錄狀態(tài)兄淫。Cloudera Navigator 頁面可以讓管理員或者用戶看到這些操作記錄，也就是audit events蔓姚。
Navigator主要由審計服務(wù)器和元數(shù)據(jù)服務(wù)器構(gòu)成捕虽，審計服務(wù)包括時間戳、用戶名坡脐、IP泄私、服務(wù)名稱和操作。元數(shù)據(jù)服務(wù)包括數(shù)據(jù)查詢挨措、標(biāo)簽挖滤、數(shù)據(jù)血緣分析等等。（姜黃色部分）
同時浅役，Navigator Audit Server 和 Navigator Metadata Server 的運行狀態(tài)斩松，由Cloudera Management Service 監(jiān)控和審計。（也就是下面棕色和黃色藍色框框部分）
那么他們之間是如何運作的呢觉既？Cloudera Manager Agent運行在集群中的每個節(jié)點上惧盹，該進程會：
? 監(jiān)控本地的審計日志文件
? 發(fā)送日志里的events給Navigator Audit Server, 如果發(fā)送失敗會不斷的重試
? 當(dāng)發(fā)送成功后，刪除舊審計日志
通過以上瞪讼，我們可以發(fā)現(xiàn)钧椰，也是工作中遇到的小坑，就是當(dāng)我們把Navigator Audit Server服務(wù)關(guān)閉后符欠，會導(dǎo)致大量的審計日志堆積嫡霞，沒有被發(fā)送，也沒有被自動刪除希柿，因此解決方案就是需要定期清理的腳本诊沪。
Navigator Audit database 目前是用的mysql, 顯然mysql的性能是無法滿足多天審計日志分析的，當(dāng)單機mysql出現(xiàn)瓶頸時曾撤，業(yè)內(nèi)目前有兩種方案可供借鑒：對 MySQL 進行分庫分表處理端姚，將一臺 MySQL 的壓力分?jǐn)偟?MySQL 集群；對Navigator Audit Server進行 Federation挤悉，采用多套 Navigator Audit Server+ MySQL 的架構(gòu)渐裸，在 Navigator Audit Server 前方設(shè)置代理，按照一定的規(guī)則，對請求進行分發(fā)（此處參考Hive Metastore的解決方案）昏鹃。
6. 展望to Atlas
在CDP的版本中尚氛，原本由Navigator消費的元數(shù)據(jù)和審計日志，比如Hive, Impala, Spark和HBase的審計日志都需要被配置到Atlas來消費洞渤。Atlas替代Navigator將會帶來這些新的變化：
1. 結(jié)合Ranger怠褐。
2. Atlas利用kafka來將元數(shù)據(jù)存儲到Hbase和Solr中，利用了分布式存儲提高可靠性和可拓展性
3. 可添加不同源的元數(shù)據(jù)您宪。可以通過REST APIs,消費各種源發(fā)送來的元數(shù)據(jù)信息
4. Atlas提供業(yè)務(wù)術(shù)語表界面奠涌，該界面可用于管理業(yè)務(wù)術(shù)語宪巨，以及數(shù)據(jù)的定義
reference:
(1)https://cloud.tencent.com/developer/article/1078927
(2)http://39.100.211.182:7180/static/help/topics/cn_iu_audit_arch.html
(3)https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/atlas-migrating-new-to-cdh-users.html
