本章主要介紹如果再pycharm上配置運(yùn)行scrapy,這樣可以在pycharm打斷點(diǎn)調(diào)試传货,方便抓取數(shù)據(jù)
1. 編寫(xiě)main.py文件
import os
import sys
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
scrapy.cmdline.execute(["scrapy", "crawl", "zhihu"])
- ‘zhihu’ 換成你爬蟲(chóng)的名字酱鸭,這里以知乎的爬蟲(chóng)為例
- mian.py 文件需要放在與scrapy.cfg文件同級(jí)的目錄
2. 設(shè)置pycharm
Run -> Edit Configuration -> + -> python
總結(jié): 好了楷怒!這樣設(shè)置后就能在pycharm運(yùn)行scrapy了!