step1安裝使用到的相關庫
scrapyd
pip3 install scrapyd
- scrapyd:是運行scrapy爬蟲的服務程序,它支持以http命令方式發(fā)布、刪除、啟動粮呢、停止爬蟲程序钦扭。
scrapyd-client
pip3 install scrapyd-client
- 發(fā)布爬蟲需要使用另一個專用工具兔乞，就是將代碼打包為EGG文件传透，其次需要將EGG文件上傳到遠程主機上這些操作需要scrapyd-client來幫助我們完成
step2 修改scrapy項目目錄下的scrapy.cfg配置文件
url=http://localhost:6800
project=項目名稱
本地部署 項目部署相關命令： 注意這里是項目的名稱而不是工程的名稱
scrapyd-deploy -p <項目名稱>
也可以指定版本號
scrapyd-deploy -p <項目名稱> --version <版本號>
運行爬蟲
curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider
關閉爬蟲
curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid'
獲取部署的爬蟲項目列表
獲取項目下的爬蟲文件列表
curl http://localhost:6800/listspiders.json?project=myproject
獲取工程下的爬蟲運行狀態(tài)
刪除部署的爬蟲項目
curl http://localhost:6800/delproject.json -d project=myproject
