上一篇咱們講解了Scrapy的工作機(jī)制和如何使用Scrapy爬取美女圖片，而今天接著講解Scrapy爬取美女圖片帆调，不過采取了不同的方式和代碼實(shí)現(xiàn)奠骄，對Scrapy的功能進(jìn)行更深入的運(yùn)用。（我的新書《Python爬蟲開發(fā)與項(xiàng)目實(shí)戰(zhàn)》發(fā)布了番刊，大家在這里可以看到樣章）
在學(xué)習(xí)Scrapy官方文檔的過程中含鳞，發(fā)現(xiàn)Scrapy自身實(shí)現(xiàn)了圖片和文件的下載功能，不需要咱們之前自己實(shí)現(xiàn)圖片的下載(不過原理都一樣)芹务。
在官方文檔中蝉绷，我們可以看到下面一些話:
Scrapy為下載item中包含的文件(比如在爬取到產(chǎn)品時(shí)，同時(shí)也想保存對應(yīng)的圖片)提供了一個(gè)可重用的 item pipelines . 這些pipeline有些共同的方法和結(jié)構(gòu)(我們稱之為media pipeline)枣抱。一般來說你會(huì)使用Files Pipeline或者 Images Pipeline.
這兩種pipeline都實(shí)現(xiàn)了以下特性:
避免重新下載最近已經(jīng)下載過的數(shù)據(jù)
Specifying where to store the media (filesystem directory, Amazon S3 bucket)
The Images Pipeline has a few extra functions for processing images:
將所有下載的圖片轉(zhuǎn)換成通用的格式（JPG）和模式（RGB）
縮略圖生成
檢測圖像的寬/高熔吗，確保它們滿足最小限制
這個(gè)管道也會(huì)為那些當(dāng)前安排好要下載的圖片保留一個(gè)內(nèi)部隊(duì)列，并將那些到達(dá)的包含相同圖片的項(xiàng)目連接到那個(gè)隊(duì)列中佳晶。 這可以避免多次下載幾個(gè)項(xiàng)目共享的同一個(gè)圖片桅狠。
從上面的話中，我們可以了解到 Scrapy不僅可以下載圖片轿秧，還可以生成指定大小的縮略圖中跌，這就非常有用。
使用Files Pipeline
當(dāng)使用 FilesPipeline典型的工作流程如下所示:
1.在一個(gè)爬蟲里菇篡，你抓取一個(gè)項(xiàng)目漩符，把其中圖片的URL放入 file_urls
組內(nèi)。
2.項(xiàng)目從爬蟲內(nèi)返回逸贾，進(jìn)入項(xiàng)目管道陨仅。
3.當(dāng)項(xiàng)目進(jìn)入 FilesPipeline津滞，file_urls組內(nèi)的URLs將被Scrapy的調(diào)度器和下載器（這意味著調(diào)度器和下載器的中間件可以復(fù)用）安排下載铝侵，當(dāng)優(yōu)先級更高，會(huì)在其他頁面被抓取前處理触徐。項(xiàng)目會(huì)在這個(gè)特定的管道階段保持“l(fā)ocker”的狀態(tài)咪鲜，直到完成文件的下載（或者由于某些原因未完成下載）。
4.當(dāng)文件下載完后撞鹉，另一個(gè)字段(files)將被更新到結(jié)構(gòu)中疟丙。這個(gè)組將包含一個(gè)字典列表颖侄，其中包括下載文件的信息，比如下載路徑享郊、源抓取地址（從 file_urls組獲得）和圖片的校驗(yàn)碼(checksum)览祖。 files列表中的文件順序?qū)⒑驮?file_urls組保持一致。如果某個(gè)圖片下載失敗炊琉，將會(huì)記錄下錯(cuò)誤信息展蒂，圖片也不會(huì)出現(xiàn)在 files組中。
使用Images Pipeline
當(dāng)使用Imagespipeline典型的工作流程如下所示:
1.在一個(gè)爬蟲里苔咪，你抓取一個(gè)項(xiàng)目锰悼，把其中圖片的URL放入 images_urls
組內(nèi)梧税。
2.項(xiàng)目從爬蟲內(nèi)返回敞恋，進(jìn)入項(xiàng)目管道。
3.當(dāng)項(xiàng)目進(jìn)入 Imagespipeline顽分，images_urls
組內(nèi)的URLs將被Scrapy的調(diào)度器和下載器（這意味著調(diào)度器和下載器的中間件可以復(fù)用）安排下載舔清，當(dāng)優(yōu)先級更高丝里，會(huì)在其他頁面被抓取前處理。項(xiàng)目會(huì)在這個(gè)特定的管道階段保持“l(fā)ocker”的狀態(tài)体谒，直到完成文件的下載（或者由于某些原因未完成下載）丙者。
4.當(dāng)文件下載完后，另一個(gè)字段(images)將被更新到結(jié)構(gòu)中营密。這個(gè)組將包含一個(gè)字典列表械媒，其中包括下載文件的信息，比如下載路徑评汰、源抓取地址（從 images_urls組獲得）和圖片的校驗(yàn)碼(checksum)纷捞。 images
列表中的文件順序?qū)⒑驮?images_urls組保持一致。如果某個(gè)圖片下載失敗被去，將會(huì)記錄下錯(cuò)誤信息主儡，圖片也不會(huì)出現(xiàn)在 images組中。
Pillow 是用來生成縮略圖惨缆，并將圖片歸一化為JPEG/RGB格式糜值，因此為了使用圖片管道，你需要安裝這個(gè)庫坯墨。 Python ImagingLibrary (PIL) 在大多數(shù)情況下是有效的寂汇，但眾所周知，在一些設(shè)置里會(huì)出現(xiàn)問題捣染，因此我們推薦使用 Pillow 而不是PIL.
咱們這次用到的就是Images Pipeline,用來下載圖片骄瓣，同時(shí)使用 Pillow 生成縮略圖。在安裝Scrapy的基礎(chǔ)上耍攘，使用pip install pillow 安裝這個(gè)模塊榕栏。
打開cmd畔勤，輸入scrapy startproject jiandan,這時(shí)候會(huì)生成一個(gè)工程，然后我把整個(gè)工程復(fù)制到pycharm中(還是使用IDE開發(fā)快)扒磁。
上圖就是工程的結(jié)構(gòu)庆揪。
jiandanSpider.py ------Spider 蜘蛛
items.py -----------------對要爬取數(shù)據(jù)的模型定義
pipelines.py-------------咱們最終要存儲的數(shù)據(jù)
settings.py----------------對Scrapy的配置
接下來我把代碼貼一下(復(fù)制代碼請到我博客):
jiandanSpider.py(和之前沒有變化):
#coding:utf-8
#需要安裝pillow模塊
import scrapy
from jiandan.items import JiandanItem
from scrapy.crawler import CrawlerProcess
class jiandanSpider(scrapy.Spider):
name = 'jiandan'
allowed_domains = []
start_urls = ["http://jandan.net/ooxx"]
def parse(self, response):
item = JiandanItem()
item['image_urls'] = response.xpath('//img//@src').extract()#提取圖片鏈接
# print 'image_urls',item['image_urls']
yield item
new_url= response.xpath('//a[@class="previous-comment-page"]//@href').extract_first()#翻頁
# print 'new_url',new_url
if new_url:
yield scrapy.Request(new_url,callback=self.parse)
items.py(增加了一個(gè)字段，請看之前對Images Pipeline的描述) :
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
class JiandanItem(scrapy.Item):
# define the fields for your item here like:
image_urls = scrapy.Field()#圖片的鏈接
images = scrapy.Field()
pipelines.py(改變最大,看注釋):
# -*- coding: utf-8 -*-
# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import os
import urllib
import scrapy
from scrapy.exceptions import DropItem
from scrapy.pipelines.images import ImagesPipeline
from jiandan import settings
class JiandanPipeline(ImagesPipeline):#繼承ImagesPipeline這個(gè)類妨托，實(shí)現(xiàn)這個(gè)功能
def get_media_requests(self, item, info):#重寫ImagesPipeline get_media_requests方法
'''
:param item:
:param info:
:return:
在工作流程中可以看到嚷硫，
管道會(huì)得到文件的URL并從項(xiàng)目中下載。
為了這么做始鱼，你需要重寫 get_media_requests() 方法仔掸，
并對各個(gè)圖片URL返回一個(gè)Request:
'''
for image_url in item['image_urls']:
yield scrapy.Request(image_url)
def item_completed(self, results, item, info):
'''
:param results:
:param item:
:param info:
:return:
當(dāng)一個(gè)單獨(dú)項(xiàng)目中的所有圖片請求完成時(shí)（要么完成下載，要么因?yàn)槟撤N原因下載失斠角濉）起暮，
item_completed() 方法將被調(diào)用。
'''
image_paths = [x['path'] for ok, x in results if ok]
if not image_paths:
raise DropItem("Item contains no images")
return item
settings.py(主要是對縮略圖的設(shè)置):
# -*- coding: utf-8 -*-
# Scrapy settings for jiandan project
#
# For simplicity, this file contains only settings considered important or
# commonly used. You can find more settings consulting the documentation:
#
# http://doc.scrapy.org/en/latest/topics/settings.html
# http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
# http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html
BOT_NAME = 'jiandan'
SPIDER_MODULES = ['jiandan.spiders']
NEWSPIDER_MODULE = 'jiandan.spiders'
ITEM_PIPELINES = {
'jiandan.pipelines.JiandanPipeline': 1,
}
# ITEM_PIPELINES = {'jiandan.pipelines.ImagesPipeline': 1}
IMAGES_STORE='E:\\jiandan2'
DOWNLOAD_DELAY = 0.25
IMAGES_THUMBS = {#縮略圖的尺寸会烙，設(shè)置這個(gè)值就會(huì)產(chǎn)生縮略圖
'small': (50, 50),
'big': (200, 200),
}
最后咱們開始運(yùn)行程序负懦，cmd切換到工程目錄，
輸入scrapy crawl jiandan柏腻，啟動(dòng)爬蟲纸厉。。五嫂。
大約25分鐘左右颗品，爬蟲工作結(jié)束。沃缘。躯枢。
咱們?nèi)タ纯疵琅畧D吧。
咱們打開thumbs文件夾槐臀，看看縮略圖锄蹂，下面有咱們設(shè)置的不同的尺寸。
今天的分享就到這里水慨，如果大家覺得還可以呀得糜，記得打賞呦。
歡迎大家加我微信晰洒，和我進(jìn)行交流朝抖。
