Fabric 是一個(gè) Python (2.5+ or 3.4+) 的庫(kù)和命令行工具商玫，用來(lái)提高基于 SSH 的應(yīng)用部署和系統(tǒng)管理效率。
更具體地說(shuō)渤早，F(xiàn)abric 是：
一個(gè)讓你通過(guò) 命令行 執(zhí)行 無(wú)參數(shù) Python 函數(shù) 的工具；
一個(gè)讓通過(guò) SSH 執(zhí)行 Shell 命令更加 容易 、 更符合 Python 風(fēng)格 的命令庫(kù)（建立于一個(gè)更低層次的庫(kù)）尖奔。
因?yàn)榇笈坎渴鸷途S護(hù)爬蟲(chóng)需要依賴(lài)自動(dòng)化運(yùn)維桦卒；所以Fabric能很好地幫你解決這些問(wèn)題，而且上手很容易磨取。
- 安裝
pip3 install fabric
- 本地連接
from fabric import Connection
server = Connection('127.0.0.1')
- 本地執(zhí)行命令
result = server.local('cd ..')
print(result)
- 遠(yuǎn)程登陸
from fabric import Connection
# 密碼登陸
conn = Connection(host='root@10.10.10.10:2201', user='root', connect_kwargs={'password': '123123123'})
# 秘鑰登陸
# conn = Connection(host='root@10.10.10.10:2201', connect_kwargs={"key_filename": "/home/myuser/.ssh/private.key"})
- 遠(yuǎn)程執(zhí)行代碼
result = conn.run('ls')
print(result)
- 上傳文件
result = server.put('D:\Work\project\DeployManager.py', '/root/')
- 下載文件
result = server.get('/root/DeployManager.py', '../')
- 批量連接操作
from fabric import Connection
for host in ('2.2.8.8', '5.8.0.5', '5.8.1.7'):
server = Connection(host, user='centos', connect_kwargs={"key_filename": r"key.pem"})
print(server)
result = server.run('ls')
print(result)
result = server.put('DeployManager.py', '.')
print(result)
- 群組批量連接操作
這種方式只支持相同密碼或秘鑰連接可训。
from fabric import SerialGroup as Group
pool = Group('2.2.8.8', '5.8.0.5', '5.8.1.7', user='centos',
connect_kwargs={"key_filename": r"key.pem"})
results = pool.run('ls')
print(results)
for connection, result in results.items():
print("{0.host}: {1.stdout}".format(connection, result))
- 批量部署Docker集群的Salve環(huán)境
結(jié)合上一篇的內(nèi)容：Docker搭建大型分布式爬蟲(chóng)， 如果你有100臺(tái)服務(wù)器需要安裝配置甘凭，你肯定不想一臺(tái)一臺(tái)的手動(dòng)完成稀拐。這時(shí)候使用Python的遠(yuǎn)程連接工具Fabric編寫(xiě)腳本，就可以自動(dòng)的幫你搭建環(huán)境丹弱。
所以只需要配置好1臺(tái)服務(wù)器德撬，然后再把需要的命令用Python腳本批量登陸部署。
pool = Group('2.2.8.8', '5.8.0.5', '5.8.1.7', user='centos',
connect_kwargs={"key_filename": r"key.pem"})
code_str = '''yum update -y
yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum makecache fast
yum -y install docker-ce
echo '{ "insecure-registries":["112.222.211.244:8181"] }' >> /etc/docker/daemon.json
systemctl restart docker
docker swarm join --token SWMTKN-1-2vkysm719347vkbs1x333aaan1w63s4-1q4ztrcirrrttttuu3fm50btm 112.222.211.244:2377'''
code_list = code_str.split('\n')
for code in code_list:
results = pool.run(code)
print(results)
for connection, result in results.items():
print("{0.host}: {1.stdout}".format(connection, result))
- 不使用Docker直接部署
for host in ('2.2.8.8', '5.8.0.5', '5.8.1.7'):
server = Connection(host, user='centos', connect_kwargs={"key_filename": r"key.pem"})
l = '''sudo yum install epel-release gcc gcc-c++ -y
sudo yum install https://rhel7.iuscommunity.org/ius-release.rpm -y
sudo yum install python36u python36u-pip python36u-devel -y && ln -s /bin/python3.6 /bin/python3
sudo /usr/bin/pip3.6 install --upgrade pip
sudo /usr/bin/pip3.6 install requests selenium pymongo redis tenacity fake_useragent celery pyexecjs sshtunnel pymysql jieba pillow scrapy_redis -i https://pypi.douban.com/simple/
sudo curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -
sudo yum -y install nodejs
sudo yum -y install unzip'''
l = l.split('\n')
for i in l:
print(i)
result = server.run(i)
print(result)
server.put('spider.zip', '.')
server.run('unzip spider.zip')
server.run('cd spider && nohup python3 -u run.py >res.log &')
