scrapyd
- 是運(yùn)行scrapy爬蟲的服務(wù)程序,它支持以http命令方式發(fā)布遗座、刪除员萍、啟動(dòng)碎绎、停止爬蟲程序抗果。而且scrapyd可以同時(shí)管理多個(gè)爬蟲,每個(gè)爬蟲還可以有多個(gè)版本
pip3 install scrapyd
scrapyd-client
- 發(fā)布爬蟲需要使用另一個(gè)專用工具日麸，就是將代碼打包為EGG文件逮光，其次需要將EGG文件上傳到遠(yuǎn)程主機(jī)上這些操作需要scrapyd-client來(lái)幫助我們完成
pip3 install scrapyd-client
- 安裝完成后可以使用如下命令來(lái)檢查是否安裝成功
scrapyd-deploy -h
- 修改scrapy項(xiàng)目目錄下的scrapy.cfg配置文件
首先需要修改scrapyd.egg (項(xiàng)目的配置文件)
[deploy]
url=http://localhost:6800
project=項(xiàng)目名稱
- 修改完成后即可開始部署共作
本地部署 項(xiàng)目部署相關(guān)命令： 注意這里是項(xiàng)目的名稱而不是工程的名稱
scrapyd-deploy -p <項(xiàng)目名稱>
也可以指定版本號(hào)
scrapyd-deploy -p <項(xiàng)目名稱> --version <版本號(hào)>
以下命令需要安裝 curl
調(diào)度爬蟲開始運(yùn)行
curl http://localhost:6800/schedule.json -d project=xiachufang -d spider=爬蟲文件
關(guān)閉爬蟲
curl http://localhost:6800/cancel.json -d project=項(xiàng)目名 -d job= (jobid)
獲取部署的項(xiàng)目列表
curl http://localhost:6800/listprojects.jsoncurl http://localhost:6800/listversions.json? project=項(xiàng)目名
獲取項(xiàng)目的版本號(hào)
curl http://localhost:6800/listversions.json? project=項(xiàng)目名
獲取項(xiàng)目下的爬蟲文件
curl http://localhost:6800/listspiders.json?project=myproject
獲取爬蟲的運(yùn)行狀態(tài)
刪除對(duì)應(yīng)版本的項(xiàng)目
curl http://localhost:6800/delversion.json -d project=myproject -d version=版本號(hào)
直接刪除項(xiàng)目
curl http://localhost:6800/delproject.json -d project=myproject
