CDH5快速入門手冊
標簽：CDH5
1. 體系架構(gòu)
CM分為Server與Agent兩部分及數(shù)據(jù)庫（自帶更改過的嵌入Postgresql）,
它主要做三件事件：
1.管理監(jiān)控集群主機;
2.統(tǒng)一管理配置;
3.管理維護Hadoop平臺系統(tǒng).
實現(xiàn)采用C/S結(jié)構(gòu)题篷，Agent為客戶端負責執(zhí)行服務端發(fā)來的命令，執(zhí)行方式一般為使用python調(diào)用相應的服務shell腳本。Server端為Java REST服務，提供REST API丧枪，Web管理端通過REST API調(diào)用Server端功能俄删，Web界面使用富客戶端技術(shù)（Knockout）疗锐。
- Server端主體使用Java實現(xiàn);
- Agent端主體使用Python, 服務的啟動通過調(diào)用相應的shell腳本 進行啟動愉豺，如果啟動失敗會重復4次調(diào)用啟動腳本;
- Agent與Server保持心跳，使用Thrift RPC框架
2. 相關(guān)目錄
服務端目錄: /var/lib/cloudera-scm-server
安裝日志目錄: /var/log/cloudera-scm-installer
CM日志目錄: /var/log/cloudera-scm-*
程序安裝目錄: /usr/share/cmf/
Agent程序代碼: /usr/lib64/cmf/
內(nèi)嵌數(shù)據(jù)庫程序: /usr/bin/postgres
內(nèi)嵌postgresql數(shù)據(jù)庫目錄: /var/lib/cloudera-scm-server-db/data
Hadoop相關(guān)服務安裝目錄: /opt/cloudera/parcels/
下載的服務軟件包數(shù)據(jù)(parcels): /opt/cloudera/parcel-repo/
下載的服務軟件包緩存數(shù)據(jù): /opt/cloudera/parcel-cache/
所有jar包所在目錄: /opt/cloudera/parcels/CDH/jars
cm agent的配置目錄: etc/cloudera-scm-agent/
cm gent配置文件: /etc/cloudera-scm-agent/config.ini
cm server的配置目錄: /etc/cloudera-scm-server/
database settings: /etc/cloudera-scm-server/db.properties
hadoop客戶端配置目錄: /etc/hadoop/*
hive 的配置目錄: /etc/hive/
...
3. 配置及環(huán)境變量
Hadoop配置文件
CDH安裝完成后,服務啟動時,Hadoop各組件配置文件會被放置于/var/run/cloudera-scm-agent/process/目錄下矮嫉。
例如: /var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml
這些配置文件是通過Cloudera Manager啟動相應服務（如HDFS）時生成的削咆，內(nèi)容從數(shù)據(jù)庫中獲得（即通過界面配置的參數(shù)）。
在CM界面上更改配置是不會立即反映到配置文件中蠢笋，這些信息會存儲于數(shù)據(jù)庫中拨齐，等下次重啟服務時才會生成配置文件。且每次啟動時都會產(chǎn)生新的配置文件昨寞。
CM Server主要數(shù)據(jù)庫為scm/cmf中放置配置的數(shù)據(jù)表為configs瞻惋。里面包含了服務的配置信息
每一次配置的更改會把當前頁面的所有配置內(nèi)容添加到數(shù)據(jù)庫中，以此保存配置修改歷史援岩。
查看配置內(nèi)容
a. 直接查詢cmf數(shù)據(jù)庫的configs數(shù)據(jù)表的內(nèi)容歼狼。
b. 訪問REST API：http://hostname:7180/api/v4/cm/deployment，返回JSON格 式部署配置信息享怀。
配置生成方式
CM為每個服務進程生成獨立的配置目錄（文件）蹂匹。所有配置統(tǒng)一在服務端查詢數(shù)據(jù)庫生成（因為scm/cmf數(shù)據(jù)庫只能在localhost下訪問）生成配置文件，再由agent通過網(wǎng)絡(luò)下載包含配置文件的zip包到本地解壓到指定的目錄凹蜈。
配置修改
CM對于需要修改的配置預先定義，對于沒有預先定義的配置,則通過在高級配置項中使用xml配置片段的方式進行配置忍啸。而對于/etc/hadoop/下的配置文件是客戶端的配置仰坦，可以在CM通過部署客戶端生成客戶端配置。
環(huán)境變量腳本:
/opt/cloudera/parcels/CDH/meta/cdh_env.sh
CDH_HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
HADOOP_BIN=/opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/bin/Hadoop
CM 客戶端/服務端计雌、Hadoop各個組件的配置文件都在/etc目錄下
HDFS Active NameNode數(shù)據(jù)目錄dfs.name.dir: /dfs/nn
Standby NameNode數(shù)據(jù)目錄dfs.name.dir: /dfs/nn
Secondary NameNode HDFS檢查點目錄fs.checkpoint.dir: /dfs/nn
日志目錄hadoop.log.dir: /var/log/hadoop-hdfs
MapReduce JobTracker本地數(shù)據(jù)目錄mapred.local.dir: /mapred/jt
TaskTracker本地數(shù)據(jù)目錄列表mapred.local.dir: /mapred/local
日志目錄hadoop.log.dir: /var/log/hadoop-0.20-mapreduce
Hive倉庫目錄hive.metastore.warehouse.dir: /user/hive/warehouse
HiveServer2日志目錄: /var/log/hive
Zookeeper數(shù)據(jù)目錄dataDir: /var/lib/zookeeper
事務日志目錄dataLogDir: /var/lib/zookeeper
CM常用命令
>> service cloudera-scm-server start|stop|restart|status
>> service cloudera-scm-server-db start|stop|restart|status
>> service cloudera-scm-agent start|stop|restart|status
查看進程:jps或jps -l-
Hadoop Shell
- http://www.aboutyun.com/thread-6983-1-1.html
- http://www.wjxfpf.com/2015/10/472510.html
-
>> hadoop fs -ls /: 列出hdfs文件系統(tǒng)根目錄下的目錄和文件 -
>> hadoop fs -ls -R /:列出hdfs文件系統(tǒng)所有的目錄和文件 -
>> hadoop dfsadmin –report: 查看文件系統(tǒng)的基本信息和統(tǒng)計信息
