簡(jiǎn)單說明:
scrapyd是一個(gè)用于運(yùn)行scrapy的服務(wù)器咆槽,該服務(wù)器對(duì)外提供curl接口進(jìn)行訪問及控制蜕提,和圖形化界面展示
通過scrapyd-client模塊打包項(xiàng)目文件并上傳至服務(wù)器
安裝scrapyd 模塊后生成一個(gè)scrapyd.exe的運(yùn)行文件
運(yùn)行scarpyd 服務(wù)器
安裝scrpyd-client 用于打包 scrapy項(xiàng)目并上傳到服務(wù)器
修改項(xiàng)目的scrapy中的scrapy.cfg中的deploy
[deploy:取名]
取消url=。绎谦。愈捅。的注釋
到python安裝路徑的scripts的文件夾下咧最,檢查srapyd-deploy文件是否可用?
scrapyd-deploy -l ?是否出現(xiàn)項(xiàng)目名稱及鏈接路徑
要保證scrapy -l 可以正常列出spider?
(在setting中的配置:
BASE_DIR =os.path.dirname(os.path.abspath(os.path.dirname(__file__)))
sys.path.insert(0, os.path.join(BASE_DIR, '項(xiàng)目名'))
用于可以搜索到該項(xiàng)目)
#
scrapy crawl jd_store -s JOBDIR=crawls/somespider-1
#
運(yùn)行scrapy-deploy ?名deploy字 -p ?項(xiàng)目名字
將項(xiàng)目打包到scrapyd中的eggs的文件夾中(該功能僅是打包上傳)
scrpyd的狀態(tài)獲取
curl http://localhost:6800/daemonstatus.json
sdfjak
pip install scrapyd
運(yùn)行scrapyd
scrapyd-deploy.py santiago -p general