Scrapy 框架簡(jiǎn)介
Scrapy是用純Python實(shí)現(xiàn)一個(gè)為了爬取網(wǎng)站數(shù)據(jù)芳来、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架字管，用途非常廣泛拓诸。
框架的力量：用戶只需要定制開發(fā)幾個(gè)模塊就可以輕松的實(shí)現(xiàn)一個(gè)爬蟲蒙秒，用來抓取網(wǎng)頁內(nèi)容以及各種圖片妹笆，非常之方便块请。
Scrapy 使用了 Twisted'tw?st?d異步網(wǎng)絡(luò)框架來處理網(wǎng)絡(luò)通訊，可以加快我們的下載速度拳缠，不用自己去實(shí)現(xiàn)異步框架墩新，并且包含了各種中間件接口，可以靈活的完成各種需求窟坐。
Scrapy中文維護(hù)站點(diǎn)：http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
Windows 安裝
升級(jí)pip版本：pip install --upgrade pip
通過pip 安裝 Scrapy 框架pip install scrapy
Ubuntu 需要9.10或以上版本/Mac安裝方式
安裝非Python的依賴 sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
通過pip 安裝 Scrapy 框架 sudo pip install scrapy
安裝后抖棘，只要在命令終端輸入 scrapy，提示類似以下結(jié)果狸涌，代表已經(jīng)安裝成功
具體Scrapy安裝流程參考：http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes 里面有各個(gè)平臺(tái)的安裝方法
Scrapy框架結(jié)構(gòu)及各模塊功能
各個(gè)組件的功能淺析
Scrapy Engine(引擎): 負(fù)責(zé)Spider切省、ItemPipeline、Downloader帕胆、Scheduler中間的通訊朝捆，信號(hào)、數(shù)據(jù)傳遞等懒豹，處理整個(gè)系統(tǒng)各模塊之間的信號(hào),數(shù)據(jù)流等芙盘。
Scheduler(調(diào)度器): 它負(fù)責(zé)接受引擎發(fā)送過來的Request請(qǐng)求，并按照一定的方式進(jìn)行整理排列脸秽，入隊(duì)儒老，當(dāng)引擎需要時(shí)，交還給引擎记餐。
Downloader（下載器）：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請(qǐng)求驮樊，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
Spider（爬蟲）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)囚衔，獲取Item字段需要的數(shù)據(jù)挖腰，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)练湿，
Item Pipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item猴仑，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、過濾肥哎、存儲(chǔ)等）的地方.
Downloader Middlewares（下載中間件）：你可以當(dāng)作是一個(gè)可以自定義擴(kuò)展下載功能的組件辽俗。（反反爬）
Spider Middlewares（Spider中間件）：你可以理解為是一個(gè)可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件（比如進(jìn)入Spider的Responses;和從Spider出去的Requests）
Scrapy 爬蟲 一共需要4步：
- 新建項(xiàng)目 (scrapy startproject xxx)：新建一個(gè)新的爬蟲項(xiàng)目
- 明確目標(biāo) （編寫items.py）：明確你想要抓取的目標(biāo)
- 制作爬蟲 （spiders/xxspider.py）：制作爬蟲開始爬取網(wǎng)頁
- 存儲(chǔ)內(nèi)容 （pipelines.py）：設(shè)計(jì)管道存儲(chǔ)爬取內(nèi)容
Scrapy框架官方網(wǎng)址：http://doc.scrapy.org/en/latest
scrapy項(xiàng)目結(jié)構(gòu)
新建項(xiàng)目(scrapy startproject)
在開始爬取之前，必須創(chuàng)建一個(gè)新的Scrapy項(xiàng)目篡诽。桌面新建一個(gè)scrapy_spider文件夾：
點(diǎn)擊文件夾然后按住shift文件夾然后在此處打開powershell崖飘，然后運(yùn)行如下命令
scrapy startproject spider_douban
其中， spider_douban為項(xiàng)目名稱霞捡，使用pycharm打開這個(gè)spider_douban文件夾，可以看到將會(huì)創(chuàng)建一個(gè) douban 文件夾薄疚，目錄結(jié)構(gòu)大致如下：
下面來簡(jiǎn)單介紹一下各個(gè)主要文件的作用：
scrapy.cfg ：項(xiàng)目的配置文件
douban/ ：項(xiàng)目的Python模塊碧信，將會(huì)從這里引用代碼
douban/items.py ：項(xiàng)目的目標(biāo)文件
douban/pipelines.py ：項(xiàng)目的管道文件
douban/settings.py ：項(xiàng)目的設(shè)置文件
douban/spiders/ ：存儲(chǔ)爬蟲代碼目錄
入門案例完成https://movie.douban.com/top250信息的爬取
創(chuàng)建一個(gè)Scrapy項(xiàng)目
定義提取的結(jié)構(gòu)化數(shù)據(jù)(Item)
編寫爬取網(wǎng)站的 Spider 并提取出結(jié)構(gòu)化數(shù)據(jù)(Item)
編寫 Item Pipelines 來存儲(chǔ)提取到的Item(即結(jié)構(gòu)化
明確目標(biāo)(mySpider/items.py)
我們打算抓取：https://movie.douban.com/top250信息
打開douban目錄下的items.py
Item 定義結(jié)構(gòu)化數(shù)據(jù)字段街夭，用來保存爬取到的數(shù)據(jù)砰碴，有點(diǎn)像Python中的dict，但是提供了一些額外的保護(hù)減少錯(cuò)誤板丽。
可以通過創(chuàng)建一個(gè) scrapy.Item 類呈枉， 并且定義類型為 scrapy.Field的類屬性來定義一個(gè)Item。
-
接下來,創(chuàng)建一個(gè)SpiderDoubanItem 類和構(gòu)建item模型（model）
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# https://docs.scrapy.org/en/latest/topics/items.html
import scrapy
class SpiderDoubanItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
# 序號(hào)
serial_number = scrapy.Field()
# 電影名稱
movie_name = scrapy.Field()
# 電影介紹
introduce = scrapy.Field()
# 電影星級(jí)
star = scrapy.Field()
# 電影的評(píng)價(jià)
evalute = scrapy.Field()
# 電影的描述
describe = scrapy.Field()
pass
制作爬蟲
爬蟲功能要分兩步：
- 爬數(shù)據(jù)
在C:\Users\Eric\Desktop\pywk\scrapy_demo2\douban>目錄下輸入命令埃碱，將在douban/spider目錄下創(chuàng)建一個(gè)名為douban_spider.py的爬蟲猖辫，并指定爬取域的范圍：
scrapy genspider douban_spider movie.douban.com
打開 douban/spiders目錄里的douban_spider.py，默認(rèn)增加了下列代碼:
# -*- coding: utf-8 -*-
import scrapy
class DoubanSpiderSpider(scrapy.Spider):
name = 'douban_spider'
allowed_domains = ['movie.douban.com']
start_urls = ['http://movie.douban.com/']
def parse(self, response):
pass
其實(shí)也可以由我們自行創(chuàng)建douban_spider.py并編寫上面的代碼砚殿，只不過使用命令可以免去編寫固定代碼的麻煩
要建立一個(gè)Spider啃憎， 你必須用scrapy.Spider類創(chuàng)建一個(gè)子類，并確定了三個(gè)強(qiáng)制的屬性 和 一個(gè)方法似炎。
name = "" ：這個(gè)爬蟲的識(shí)別名稱辛萍，必須是唯一的，在不同的爬蟲必須定義不同的名字羡藐。
allow_domains = [] 是搜索的域名范圍贩毕，也就是爬蟲的約束區(qū)域，規(guī)定爬蟲只爬取這個(gè)域名下的網(wǎng)頁仆嗦，不存在的URL會(huì)被忽略辉阶。
start_urls = () ：爬取的URL元祖/列表。爬蟲從這里開始抓取數(shù)據(jù)，所以睛藻，第一次下載的數(shù)據(jù)將會(huì)從這些urls開始启上。其他子URL將會(huì)從這些起始URL中繼承性生成。
parse(self, response) ：解析的方法店印，每個(gè)初始URL完成下載后將被調(diào)用冈在，調(diào)用的時(shí)候傳入從每一個(gè)URL傳回的Response對(duì)象來作為唯一參數(shù)，主要作用如下：
負(fù)責(zé)解析返回的網(wǎng)頁數(shù)據(jù)(response.body)按摘，提取結(jié)構(gòu)化數(shù)據(jù)(生成item)
生成需要下一頁的URL請(qǐng)求包券。
修改start_urls為我們的目標(biāo)站點(diǎn)
修改parse()方法
def parse(self, response):
print(response.text)
在C:\Users\Eric\Desktop\pywk\scrapy_demo2\douban>執(zhí)行爬蟲命令
# douban_spider 就是name的名稱
scrapy crawl douban_spider
是的，就是 douban_spider炫贤，看上面代碼溅固，它是 DoubanSpiderSpider類的 name 屬性，也就是使用 scrapy genspider命令的爬蟲名兰珍。
可能遇到的問題：
顯示沒有sqlite模塊
解決辦法
pip install sqlite
403錯(cuò)誤
更改settings.py的USER_AGENT
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
重新執(zhí)行
# douban_spider 就是name的名稱
scrapy crawl douban_spider
我們可以看到目標(biāo)站點(diǎn)的源代碼已經(jīng)被爬取了
一個(gè)Scrapy爬蟲項(xiàng)目里侍郭，可以存在多個(gè)爬蟲。各個(gè)爬蟲在執(zhí)行時(shí)掠河，就是按照 name 屬性來區(qū)分亮元。
創(chuàng)建main.py避免每次都執(zhí)行scrapy crawl douban_spider
在douban/douban文件夾下創(chuàng)建main.py，寫入如下代碼
from scrapy import cmdline
cmdline.execute('scrapy crawl douban_spider'.split())
直接run main.py即可在控制臺(tái)中顯示目標(biāo)站點(diǎn)的源代碼
取數(shù)據(jù)
- 爬取整個(gè)網(wǎng)頁完畢唠摹，接下來的就是的取過程了爆捞，首先觀察頁面源碼
是不是一目了然？直接上XPath開始提取數(shù)據(jù)吧勾拉。
我們之前在douban/items.py 里定義了一個(gè)DoubanItem類煮甥。 這里引入進(jìn)來，然后添加如下代碼
# -*- coding: utf-8 -*-
import scrapy
from douban.items import DoubanItem
class DoubanSpiderSpider(scrapy.Spider):
# 繼承scrapy.Spider藕赞，這里是爬蟲名字成肘，不能和項(xiàng)目名字重復(fù)
name = 'douban_spider'
# 允許的域名
allowed_domains = ['movie.douban.com']
# 入口 url，扔到調(diào)度器里面
# start_urls = ['http://movie.douban.com/']
start_urls = ['https://movie.douban.com/top250']
# 默認(rèn)解析方法
def parse(self, response):
movie_list = response.xpath('//div[@id="content"]//ol/li')
print(len(movie_list))
for i_item in movie_list:
douban_item = DoubanItem()
# 爬取序號(hào)
douban_item['serial_number'] = i_item.xpath('./div[@class="item"]/div[@class="pic"]/em/text()').extract_first()
# 爬取電影名稱
douban_item['movie_name'] = i_item.xpath('./div[@class="item"]/div[@class="info"]/div[@class="hd"]/a/span[1]/text()').extract_first()
# 電影內(nèi)容
# 解析數(shù)據(jù)斧蜕，而不是第一個(gè)
content = i_item.xpath('.//div[@class="bd"]/p[1]/text()').extract()
for i_content in content:
content_s = "".join(i_content.split())
douban_item['introduce'] = content_s
# 電影星級(jí)
douban_item['star'] = i_item.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[2]/text()').extract_first()
# 電影的評(píng)價(jià)
evalute = i_item.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[4]/text()').extract_first()
douban_item['evalute'] = evalute.replace('人評(píng)價(jià)', '')
# 電影的描述
douban_item['describe'] = i_item.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span[@class="inq"]/text()').extract_first()
print(douban_item)
# 不進(jìn)行 yield 無法進(jìn)入 pipelines 里面,將獲取的數(shù)據(jù)交給pipelines
yield douban_item
#解析下一頁
next_link = response.xpath('//span[@class="next"]/link/@href').extract()
# 如果有就一直取下一頁
if next_link:
next_link=next_link[0]
# 將獲取的數(shù)據(jù)交給pipelines
yield scrapy.Request('https://movie.douban.com/top250'+next_link, callback=self.parse)
保存數(shù)據(jù)
scrapy保存信息的最簡(jiǎn)單的方法主要有四種艇劫，-o 輸出指定格式的文件，惩激，命令如下：
json格式店煞，默認(rèn)為Unicode編碼
scrapy crawl douban_spider -o douban.json
json lines格式，默認(rèn)為Unicode編碼
scrapy crawl douban_spider -o douban.jsonl
csv 逗號(hào)表達(dá)式风钻，可用Excel打開顷蟀，注意編碼方式
scrapy crawl douban_spider -o douban.csv
xml格式
scrapy crawl douban_spider -o douban.xml
