項(xiàng)目過程
1.云服務(wù)器配置
2.Scrapy爬蟲擼代碼
3.ProxyPool動(dòng)態(tài)IP代理池
4.云服務(wù)器調(diào)度
工具
- Pycharm
- Xshell
- Python 3.6
- 阿里云Centos 7
4.云服務(wù)器配置調(diào)度
前3步都完成后 進(jìn)行最后一步服務(wù)器配置調(diào)度 激動(dòng)人心叠洗！
配置文件scrapy.cfg
切換到命令行模型 切到相應(yīng)文件目錄
scrapyd-deploy AliCloud -p 爬蟲項(xiàng)目名
記得安全組開放6800端口
就可以在網(wǎng)頁看到爬蟲已上傳成功
運(yùn)行調(diào)度爬蟲curl命令
可在網(wǎng)頁Jobs中查看到相應(yīng)日志 和本地控制臺(tái)輸出的log一模一樣
curl http://XXX.XXX.XXX.XXX:6800/schedule.json -d project=爬蟲項(xiàng)目名
-d spider=爬蟲Spider名
最后一步 就是定時(shí)調(diào)度crontab
具體怎么用 還是自行百度
xshell連接服務(wù)器 輸入如下樣式命令
crontab -e
:wq退出這里的意思是每天2點(diǎn)之碗、11點(diǎn)、20點(diǎn)各執(zhí)行一次
然后就可以喝著快樂肥宅水 享受云端自動(dòng)調(diào)度的快感
到此爬蟲&云服務(wù)器定時(shí)調(diào)度(以京東零食為例)項(xiàng)目結(jié)束
整個(gè)過程涉及到的細(xì)(坑)節(jié) 特別多 特別碎
值得好好消化
授人以魚不如授人以漁
