當我們決定要自己動手做一個Hadoop生態(tài)集群管理服務(wù)的時候我們已經(jīng)入了運維的坑了。如果我們對于Hadoop生態(tài)集群管理服務(wù)到底有哪些功能青团，應該如何設(shè)計的話我們需要對現(xiàn)有的成熟的Hadoop生態(tài)安裝管理服務(wù)進行剖析，幫助明確我們需要的功能以及系統(tǒng)的設(shè)計。關(guān)于Apache頂級項目Ambari的簡單介紹大家可以看這里供嚎。
Ambari的運維部分是基于Puppet搞的，那么我們不會Ruby感覺Puppet上手很難怎么辦峭状？其實這種集群運維工具有很多克滴，大家一起來看這張對比表。
| 名稱 | Puppet | SaltStack | Ansible |
|---|---|---|---|
| 開發(fā)語言 | Ruby | Python | Python |
| 架構(gòu)模型 | CS架構(gòu) | CS架構(gòu) | 單點 |
| 配置文件格式 | Ruby語法格式 | YAML | YAML |
| web UI | 提供 | 提供 | 商業(yè)版提供 |
| 命令執(zhí)行 | 支持（需配置） | 支持 | 支持 |
| 擴展及二次開發(fā) | 支持度低 | 支持 | 支持 |
Puppet
puppet由Ruby編寫优床，為server-client模式的系統(tǒng)劝赔。運行時由客戶端定時去獲取自己的配置文件進而應用更改。也可以通過master的push命令即可觸發(fā)變更胆敞。
將命令着帽，文件杂伟，服務(wù)等抽象成資源，概念比較統(tǒng)一仍翰，時間悠久赫粥，文檔較多。
就可用操作歉备，模塊傅是，用戶界面等等功能而言匪燕，是三者之中最全面的蕾羊，安裝部署難度一般，配置清單相對于其他工具較復雜帽驯。
SaltStack
saltStack由Python編寫龟再，為server-client模式的系統(tǒng)（在salstack中叫Master-Minion），自己本身支持多master尼变，而puppet則需要依賴于web服務(wù)器利凑。saltstack除了可以通過在節(jié)點安裝客戶端進行管理還支持直接通過ssh進行管理。運行模式為master端下發(fā)指令嫌术，客戶端接收指令執(zhí)行哀澈。
saltstack依賴于zeromq消息隊列，采用yaml格式編寫配置文件度气，比較簡單割按。
支持api及自定義python模塊，能輕松實現(xiàn)功能擴展磷籍。
Ansible
類似與saltstack适荣，基于python開發(fā)，關(guān)注的重點是精簡和快速院领。不需要在節(jié)點安裝代理軟件弛矛，通過ssh執(zhí)行所有功能。安裝運行簡單比然。
其模塊可以用任何語言開發(fā)丈氓，采用yaml格式編寫配置文件。
沒有客戶端强法，較難擴展扒寄。
我們發(fā)現(xiàn)Saltstack好像還比較滿足我們的需要哈，同樣是S/C架構(gòu)拟烫，基于Python語言方便我們?nèi)胧謱W習该编。那我們的集群管理服務(wù)底層的運維工具就基于Saltstack來擴展好了。選定了工具我們當然是要部署測試一下了硕淑，Saltstack安裝部署大家可以看官方文檔课竣。
# 在Master機器
sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm
yum clean expire-cache
# 安裝master服務(wù)
sudo yum install salt-master
# 安裝minion服務(wù)
sudo yum install salt-minion
# 安裝api服務(wù)
sudo yum install salt-api
#啟動服務(wù)
sudo systemctl restart salt-master
sudo systemctl restart salt-minion
sudo systemctl restart salt-api
# 在Minion機器
sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm
yum clean expire-cache
# 安裝minion服務(wù)
sudo yum install salt-minion
#啟動服務(wù)
sudo systemctl restart salt-minion
安裝完成之后我們需要對Minion進行簡單配置：
修改Minion配置文件
vi /etc/salt/minion
# 添加master地址
#master: salt
master: 192.168.1.131
# 如果為分布式master配置添加多個
#master: salt
master:
- {master1}
- {master2}
修改Minion節(jié)點配置文件中的master為我們部署了salt-master的機器ip地址嘉赎，然后我們在Master機器上進行如下操作：
- 查看salt-minion節(jié)點，并簽發(fā)證書于樟，在salt-master節(jié)點執(zhí)行以下命令公条。
# 輸入
salt-key -L
# 輸出
Accepted Keys:
Denied Keys:
Unaccepted Keys:
datanode-1
datanode-2
datanode-3
datanode-4
namenode-1
Rejected Keys:
# 可見未簽發(fā)證書的Minion節(jié)點，執(zhí)行命令簽發(fā)證書
# 輸入
salt-key -A -y #添加salt-key
# 輸出
The following keys are going to be accepted:
Unaccepted Keys:
datanode-1
datanode-2
datanode-3
datanode-4
namenode-1
Key for minion datanode-1 accepted.
Key for minion datanode-2 accepted.
Key for minion datanode-3 accepted.
Key for minion datanode-4 accepted.
Key for minion namenode-1 accepted.
# 證書已簽發(fā)迂曲，查看所有節(jié)點
# 輸入
salt-key -L
# 輸出
Accepted Keys:
datanode-1
datanode-2
datanode-3
datanode-4
namenode-1
Denied Keys:
Unaccepted Keys:
Rejected Keys:
# 測試ping命令
# 輸入
salt datanode-* test.ping
#輸出
datanode-2:
True
datanode-3:
True
datanode-1:
True
datanode-4:
True
# 測試shell命令
# 輸入
salt datanode-* cmd.run 'uname -r'
# 輸出
datanode-1:
3.10.0-514.26.2.el7.x86_64
datanode-4:
3.10.0-514.26.2.el7.x86_64
datanode-3:
3.10.0-514.26.2.el7.x86_64
datanode-2:
3.10.0-514.26.2.el7.x86_64
這波操作看上去是不是非常的簡單靶橱，簡直666.除了通過命令行操作saltstack還提供了restful api供我們調(diào)用，還記得我們安裝了salt-api這個模塊嗎路捧，這個就是saltstack的api服務(wù)模塊关霸。當然它也需要簡單的進行配置。
# 配置用戶
useradd -M -s /sbin/nologin admin
passwd admin
# 配置salt-master
vi /etc/salt/master.d/saltapi.conf
# 插入如下內(nèi)容
rest_cherrypy:
port: 8000
host: 0.0.0.0
disable_ssl: true
external_auth:
pam:
admin:
- .*
- '@runner'
- '@wheel'
重啟master和api
systemctl restart salt-master
systemctl restart salt-api
# 查看api是否啟動
netstat -tnlp | grep 8000
api相關(guān)用法及api接口參考官方文檔 官方文檔
安裝web ui進行訪問 主流web ui有halite 和saltshaker 杰扫。
這里我們只講述如何通過程序調(diào)用Salt-Api队寇，由于SaltStack是基于Python語言開發(fā)的，所以我們簡單介紹一下如何通過Python程序操作SaltStack章姓，當然我們也可以通過Java調(diào)用salt-api佳遣，Java可以通過開源模塊salt-netapi-client salt-netapi-client實現(xiàn)，通過pom引用即可凡伊，詳情可看其示例代碼零渐。
無論是通過Python還是Java兩者邏輯一致，大概分為如下幾個步驟：
- 構(gòu)造saltclient示例系忙，使用saltstack用戶名和密碼進行登錄诵盼，獲取訪問token
- 執(zhí)行相關(guān)指令，獲取返回值
- 解析返回結(jié)果進行展示
測試程序：
>>> import salt.client
>>> import salt.config
>>> client = salt.client.LocalClient()
>>> master = salt.config.client_config('/etc/salt/master')
>>> minion = salt.config.minion_config('/etc/salt/minion')
>>> ping_result = client.cmd('*', 'test.ping')
>>> print ping_result
{'datanode-1': True, 'namenode-1': True, 'datanode-3': True, 'datanode-2': True, 'datanode-4': True}
salt-api含有很多模塊笨觅，各個模塊的調(diào)用方式一致拦耐，均為：
client.cmd('cluster_node_iporname', 'module.command', ['arg1','arg2'])
示例如下（包括命令行與api調(diào)用）：
# 指定datanode-1壓縮某個文件
salt 'datanode-1' archive.gzip /home/hadoop/test.sh # 命令行示例
client.cmd('datanode-1','archive.gunzip',['/home/hadoop/test.sh']) # python 調(diào)用示例
# 遠程調(diào)用命令
salt '*' cmd.run 'ls' # 命令行示例
client.cmd('*', 'cmd.run', ['ls']) # python 調(diào)用示例
# copy命令
client.cmd('*','cp.get_file',['salt://1,sh','/root/1.sh']) #salt://1,sh可以換成http://ww.baidu.com/1.tar.gz之類的進行下載到指定目錄
# 刪除文件命令
salt '*' file.remove /tmp/foo # 命令行示例
client.cmd('*','file.remove',['/tmp/foo']) # python 調(diào)用示例
通過上面的樣例程序我們對于saltstack的安裝使用已經(jīng)有了一個簡單的認識，我們的目的是仿照Ambari基于puppet的架構(gòu)來開發(fā)一個基于Saltstack的Hadoop生態(tài)集群安裝管理服務(wù)见剩。有興趣的話大家可以思考一下我們到底怎么設(shè)計杀糯，都有哪些功能呢？
