1.安裝gerapy
pip3 install gerapy
2.初始化項(xiàng)目
# 新建一個(gè)文件夾。gerapy-demo。進(jìn)入文件夾中執(zhí)行命令
gerapy init
# 初始化數(shù)據(jù)庫(kù)
gerapy migrate
# 創(chuàng)建用戶燥筷，根據(jù)提示創(chuàng)建
gerapy createsuperuser
# 啟動(dòng)服務(wù)
gerapy runserver
# 這樣服務(wù)就運(yùn)行在http://127.0.0.1:8000/#/
3. 安裝scrapyd
pip3 install scrapyd
pip3 install scrapyd-cllient
4. 啟動(dòng)scrapyd
scrapyd
啟動(dòng)后可以看到scrapyd運(yùn)行在http://127.0.0.1:6800/
如果要在阿里云服務(wù)器上以守護(hù)進(jìn)程啟動(dòng)scrapyd舵盈，命令是nohup scrapyd > scrapyd.log 2>&1 &
5. 部署爬蟲(chóng)項(xiàng)目
進(jìn)入我們的scrapy爬蟲(chóng)項(xiàng)目目錄下巷屿，修改scrapy.cfg文件莺债，在deploy后面冒號(hào)加上自己的部署名岭参，把url的注釋放開(kāi)结笨，project為自己的項(xiàng)目名
[settings]
default = football.settings
[deploy:部署名]
url = http://localhost:6800/
project = 項(xiàng)目名
# 執(zhí)行部署項(xiàng)目包晰，部署后會(huì)出現(xiàn)一個(gè)build文件夾
scrapyd-deploy 部署名 -p 項(xiàng)目名
# 運(yùn)行爬蟲(chóng)
curl http://localhost:6800/schedule.json -d project=項(xiàng)目名 -d spider=要運(yùn)行的爬蟲(chóng)名
# 運(yùn)行后可以在scrapyd的webui界面看到運(yùn)行的爬蟲(chóng)情況
