1龄句、安裝scrapy
在命令提示符下使用:
mkvirtualenv article
建立名字為article
的虛擬環(huán)境挖诸。
在虛擬環(huán)境下pip install -i https://pypi.douban.com/simple scrapy
安裝scrapy
若遇安裝錯誤绳矩,可以根據(jù)錯誤提示安裝相應(yīng)依賴包褐着。
或安裝anaconda,使用conda install -c conda-forge scrapy=1.3.3
安裝
2唱逢、建立工程和項目
建立工程
scrapy startproject articlespider
建立項目
scrapy genspider jobbole blog.jobbole.com/all-posts
在工程目錄(articlespider)下建立文件main.py:
from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "jobbole"])
通過這個文件來運(yùn)行爬蟲。