在scrapy中厉膀,為了避免每一次運行或調(diào)試都輸入一串命令罢猪,可以在項目文件下新建一個run.py文件,每次運行爬蟲只需要運行此腳本即可漓柑。且運行調(diào)試模式也需要設置此啟動腳本。
from scrapy import cmdline
cmdline.execute('scrapy crawl zhihu_topic'.split())
若嫌棄scrapy日志文件太雜亂,想無日志輸出,只需在后面增加--nolog即可:
from scrapy import cmdline
cmdline.execute('scrapy crawl zhihu_topic --nolog'.split())
以上代碼只需要將我的''zhihu_topic''替換為你自己的爬蟲名就可以了。