總結(jié)一下scrapyd的基本操作方便自己之后使用.
1.修改scrapy爬蟲項目的scrapy.cfg文件(項目名稱和url)
2.在項目目錄下打開命令行(dir可看見scrapy.cfg文件)
執(zhí)行
scrapyd-deploy -l
列出1.中的項目名稱和url
執(zhí)行
scrapy list
列出項目內(nèi)的爬蟲文件
3.執(zhí)行打包上傳命令
scrapyd-deploy 項目名稱(在scrapy.cfg中設(shè)置的) -p 爬蟲項目名
scrapyd-deploy zjg -p house
注意url服務(wù)器scrapyd要啟動
C:\Users\xxx\spider_project\house>scrapyd-deploy zjg -p house
Packing version 1540174008
Deploying to project "house" in http://111.111.111.111:6800/addversion.json
Server response (200):
{"spiders": 1, "status": "ok", "node_name": "shhlpc01", "version": "1540174008", "project": "house"}
4.瀏覽器訪問http://111.111.111.111:6800可查看
eg.Available projects: house
5.運行我們的爬蟲
curl http://localhost:6800/schedule.json -d project=項目名稱 -d spider=爬蟲名稱
curl http://111.111.111.111:6800/schedule.json -d project=house -d spider=zjgfc
停止爬蟲
curl http://111.111.111.111:6800/cancel.json -d project=項目名稱 -d job=運行ID
curl http://111.111.111.111:6800/cancel.json -d project=house -d job=405c49dcd5a011e8b3bc0050569d4f2f
=====================
詳細的原文章見https://blog.csdn.net/baoshuowl/article/details/79656701
下面是一些api的常用命令,我就直接copy下來了,用的時候看一下.
刪除scrapy項目
curl http://localhost:6800/delproject.json -d project=scrapy項目名稱(要先停止)
查看有多少個scrapy項目在api中
curl http://localhost:6800/listprojects.json
1、獲取狀態(tài)
http://127.0.0.1:6800/daemonstatus.json
2睁枕、獲取項目列表
http://127.0.0.1:6800/listprojects.json
3翁脆、獲取項目下已發(fā)布的爬蟲列表
http://127.0.0.1:6800/listspiders.json?project=myproject
4李茫、獲取項目下已發(fā)布的爬蟲版本列表
http://127.0.0.1:6800/listversions.json?project=myproject
5赛糟、獲取爬蟲運行狀態(tài)
http://127.0.0.1:6800/listjobs.json?project=myproject
6淤刃、啟動服務(wù)器上某一爬蟲（必須是已發(fā)布到服務(wù)器的爬蟲）
http://127.0.0.1:6800/schedule.json （post方式，data={"project":myproject,"spider":myspider}）
7、刪除某一版本爬蟲
http://127.0.0.1:6800/delversion.json
（post方式笼平，data={"project":myproject,"version":myversion}）
8园骆、刪除某一工程，包括該工程下的各版本爬蟲
http://127.0.0.1:6800/delproject.json（post方式寓调，data={"project":myproject}）
