第一步:通過github安裝scrapyd,進行爬蟲任務部署
在命令行下執(zhí)行:????git? clonehttps://github.com/scrapy/scrapyd.git
第二步:安裝scrapydkeeper砂代,進行定時任務設置:
在命令行下執(zhí)行:?????gitclonehttps://github.com/scrapy/scrapyd-client.git
第三步:把代碼都拷貝到本地后吴菠,進入目錄,分別執(zhí)行:python3 setup.py install,進行安裝清寇,安裝完畢后喘漏,在任意目錄執(zhí)行scrapykeeper,即可運行scrapykeeeper华烟,
打開界面如下:
第四步:在爬蟲跟目錄下執(zhí)行scrapyd翩迈,打開頁面如下:
第五步:分別根據(jù)各自的提示生成對應的文件,即可實現(xiàn)部署盔夜、定時任務執(zhí)行负饲。