1、 安裝
pip install scrapy
其中安裝twisted遇到問題龙宏，自行下載安裝：下載地址
再運(yùn)行命令：pip install 安裝路徑
2逸爵、 創(chuàng)建爬蟲項(xiàng)目
scrapy startproject 項(xiàng)目名稱
3、 項(xiàng)目目錄結(jié)構(gòu)
目錄結(jié)構(gòu)
- scrapy.cfg：項(xiàng)目的總配置文件
- items.py：項(xiàng)目中的item文件徐钠，定義了我們爬取的字段以及對(duì)各字段的處理篱竭，可以簡(jiǎn)單地類似理解為這是一個(gè) Excel 的模板力图，我們定義了模塊的表頭字段及字段的屬性等等，然后我們按照這個(gè)模塊往表格里填數(shù)
- pipelines.py：項(xiàng)目中的pipelines文件掺逼，將抓取到的數(shù)據(jù)存入到數(shù)據(jù)庫(kù)中
- settings：項(xiàng)目中的設(shè)置文件
- spiders：用來(lái)存放爬蟲文件
- middlewares.py：
