背景知識(shí)
（一）什么是Scrapy呢筒占？Python上優(yōu)秀的爬蟲框架卓缰。什么是爬蟲牡昆？可以看我的心得感悟，也可以自行谷歌百度掂器。
（二）建議看下初識(shí)Scrapy的事前準(zhǔn)備安裝Scrapy亚皂。
（三）Selectors根據(jù)XPath和CSS表達(dá)式從網(wǎng)頁中選擇數(shù)據(jù)。XPath和CSS表達(dá)式是什么東西国瓮，我們不用太過于糾結(jié)灭必，只需要知道可以使用它們在網(wǎng)頁中選擇數(shù)據(jù)。用法：利用chrome去復(fù)制所需數(shù)據(jù)的位置信息乃摹。當(dāng)然進(jìn)階的話可以看這里
基本用法與說明：
- response.selector.xpath('//title/text()')##用xpath選取了title的文字內(nèi)容
- response.selector.css('title::text') ##用css選取了title的文字內(nèi)容
由于selector.xpath和selector.css使用比較普遍禁漓，所以專門定義了xpath和css，所以上面也可以寫成： - response.xpath('//title/text()')
- response.css('title::text')
由于<code>.xpath</code>和<code>.css</code>返回的都是<class 'scrapy.selector.unified.SelectorList'>孵睬，因此可以這樣寫<code>response.css('img').xpath('@src').extract()</code> - 提取全部內(nèi)容:
.extract()播歼，獲得是一個(gè)列表 - 提取第一個(gè):
.extract_first()，獲得是一個(gè)字符串 - 選取鏈接:
.response.css('base::attr(href)')或.response.xpath('//base/@href')
正式開始
1. 新建工程 scrapy startproject tutorial
2. 創(chuàng)建爬蟲 scrapy genspider -t basic douban douban.com
上面兩步會(huì)創(chuàng)建如下的目錄結(jié)構(gòu)：
簡單說下每一個(gè)文件的作用掰读，雖然在初識(shí)Scrapy已經(jīng)說過了秘狞。
- spiders文件夾存放你的爬蟲，
- items.py用于定義存放網(wǎng)頁數(shù)據(jù)的item磷支。
- middlewares.py是后加的谒撼，目前不需要
- pipelines.py 用于處理從spiders返回的item，比如說清洗雾狈、存儲(chǔ)廓潜。
- settings.py是全局設(shè)定，比如說接下來提到的DEFAULT_REQUEST_HEADERA和USER_AGENT都在這里善榛。
3. 修改settings.py
因?yàn)镾crapy非常誠實(shí)辩蛋，爬取網(wǎng)頁的時(shí)候會(huì)表明自己是一只爬蟲，但是豆瓣不給這些表明身份的爬蟲活路移盆。所以我們只能換個(gè)身份悼院。
第一步：chrome用快捷鍵F12打開開發(fā)者工具，選擇Network一欄咒循，可能需要F5刷新頁面：
第二步：在上圖紅框部分隨機(jī)選取一個(gè)据途，會(huì)出現(xiàn)下圖：
我們主要需要的是里面紅框的Request Headers的信息。
第三步：在settings.py中修改DEFAULT_REQUEST_HEADERA和USER_AGENT叙甸。
里面的USER_AGENT填寫瀏覽器圖中的User-Agent對(duì)應(yīng)信息颖医，DEFAULT_REQUEST_HEADERA里的信息根據(jù)字典的寫法，從瀏覽器信息圖中依次對(duì)應(yīng)對(duì)應(yīng)填上去裆蒸。
PS:
順便啟用DOWNLOAD_DELAY=3減慢爬取速度熔萧，不要給別人的服務(wù)器增加太多壓力。
此外啟用
ITEM_PIPELINES = { 'tutorial.pipelines.DoubanPipeline': 300,}用于處理數(shù)據(jù)
4. 用爬蟲的視角看網(wǎng)頁，
在命令行中輸入scrapy shell https://movie.douban.com/chart 這時(shí)候會(huì)進(jìn)入scrapy版的ipython佛致，輸入view(response)就可以查看網(wǎng)頁贮缕。
5. 定義要爬取的內(nèi)容
在items.py中作如下修改
import scrapy
class DoubanItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
title = scrapy.Field()
link = scrapy.Field()
info = scrapy.Field()
desc = scrapy.Field()
6. 單頁邏輯
爬取多個(gè)網(wǎng)頁前，我們首先得要成功提取一個(gè)網(wǎng)頁的信息俺榆。在spiders/douban.py做如下修改
# -- coding: utf-8 --
import scrapy
from scrapy.http import Request
from ..items import DoubanItem
class DoubanSpider(scrapy.Spider):
name = "douban"
allowed_domains = ["douban.com"]
start_urls = (
'https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=0&type=T',
)
def parse(self, response):
item = DoubanItem()
for sel in response.css('#subject_list > ul > li > div.info'):
item['title']= sel.css('h2 > a::text').extract_first()
item['link'] = sel.css('h2 > a::attr(href)').extract_first()
item['info'] = sel.css('div.pub::text').extract_first()
item['desc'] = sel.css('p::text').extract_first()
yield item
大致的爬蟲就完成了感昼。用scrapy crawl douban開始工作。由于scrap構(gòu)建在python2.7上肋演，所以對(duì)中文支持不太好抑诸，在命令行中會(huì)以u(píng)nicode編碼的方式顯示烂琴，所以在shell上看到一堆不認(rèn)識(shí)的\xxx也不要太擔(dān)心爹殊。
7.數(shù)據(jù)儲(chǔ)存
為了方便之后調(diào)用數(shù)據(jù)，我們需要用pipelines.py將爬取的數(shù)據(jù)存儲(chǔ)在固定的文件中奸绷」？洌可以用json等格式儲(chǔ)存，也可以存放在數(shù)據(jù)庫中号醉。網(wǎng)頁爬取數(shù)據(jù)往往不太規(guī)范反症，建議使用mongodb（NoSQL）。
import json
import codecs
Import pymongo #python中用來操作mongodb的庫
##存儲(chǔ)為json格式
class DoubanPipeline(object):
def __init__(self):
self.file = codecs.open('douban_movie.json','wb',encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item)) + '\n'
self.file.write(line.decode("unicode_escape"))
return item
class MongoPipeline(object):
collection_name = 'douban_cartoon' # mongo的collection相當(dāng)于sql的table
def __init__(self, mongo_uri,mongo_db):
self.mongo_uri = mongo_uri
self.mongo_db = mongo_db
## 配置mongo
@classmethod
def from_crawler(cls, crawler):
return cls(
mongo_uri=crawler.settings.get('MONGO_URI'), #從settings中mongo的uri
mongo_db=crawler.settings.get('MONGO_DATABASE','douban') #從settings中獲取數(shù)據(jù)庫畔派，默認(rèn)為douban
)
# 在spider工作開始前連接mongodb
def open_spider(self, spider):
self.client = pymongo.MongoClient(self.mongo_uri)
self.db = self.client[self.mongo_db]
## 在spider工作結(jié)束后關(guān)閉連接
def close_spider(self, spider):
self.client.close()
## 在mongodb中插入數(shù)據(jù)
def process_item(self, item, spider):
# for i in item:
self.db[self.collection_name].insert(dict(item))
return item
運(yùn)行后就可以在項(xiàng)目所在目錄找到douban_movie.json,mongodb的話需要自己去查詢了铅碍。
多頁邏輯(一）
我們需要在這一頁獲取下一個(gè)的鏈接，然后重新調(diào)用parse函數(shù)爬取這個(gè)鏈接线椰。
def parse(self, response):
.....
## 獲取下一個(gè)的鏈接
href = response.xpath('//*[@id="subject_list"]/div[2]/span[4]/a')
url = u'https://book.douban.com'+ href.css('a::attr(href)').extract_first()
yield Request(url, callback=self.parse)
多頁邏輯(二）
我們還可以通過Scrapy提供的CrawlSpider完成多頁爬取胞谈。CrawlSpider比Spider多了一步即設(shè)置Rule，具體可以看我的[Scrapy基礎(chǔ)之詳解Spider]的CrawlSpider憨愉。
第一步shell試錯(cuò)
為了確保LinkExtractor能提取到正確的鏈接烦绳，我們需要在shell中進(jìn)行試驗(yàn)。
scrapy shell https://book.douban.com/tag/漫畫
from scrapy.linkextractors import LinkExtractor ##導(dǎo)入LinkExtractor
item=LinkExtractor(allow='/tag/漫畫',restrict_xpaths=('//*[@id="subject_list"]/div[2]/span/a')).extract_links(response) ##需要反復(fù)修改
第二步修改爬蟲
修改后的爬蟲如下：
# -- coding: utf-8 --
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from tutorial.items import DoubanItem
class ManhuaSpider(CrawlSpider):
name = 'manhua'
allowed_domains = ['book.douban.com']
start_urls = ['https://book.douban.com/tag/漫畫']
rules = (
Rule(LinkExtractor(allow=r'/tag/漫畫',
restrict_xpaths=('//*[@id="subject_list"]/div[2]/span/a')),
callback='parse_item',
follow=True),
)
def parse_item(self, response):
item = DoubanItem()
for sel in response.css('#subject_list > ul > li > div.info'):
item['title']= sel.css('h2 > a::text').extract_first()
item['link'] = sel.css('h2 > a::attr(href)').extract_first()
item['info'] = sel.css('div.pub::text').extract_first()
item['desc'] = sel.css('p::text').extract_first()
yield item
運(yùn)行結(jié)果和多頁邏輯(一）的一致配紫。
進(jìn)一步径密，你可以看再識(shí)Scrapy-下載豆瓣圖書封面，在這個(gè)的基礎(chǔ)上增加圖片下載功能躺孝。
如果怕被ban享扔，可以看再識(shí)Scrapy-防ban策略
本文參考了Andrew_liu的Python爬蟲(六)--Scrapy框架學(xué)習(xí)，
scrapy研究探索（二）——爬w3school.com.cn植袍，以及最重要的官方文檔惧眠。
寫在最后：
網(wǎng)絡(luò)上有那么多的Scrapy的教程，為啥我還要寫一個(gè)呢奋单？因?yàn)槲矣X得真正學(xué)會(huì)用自己語言去表達(dá)一門技術(shù)的時(shí)候锉试，才算入門了。
還有寫出來的東西才能讓別人發(fā)現(xiàn)自己的不足，希望各位大大批評(píng)指正呆盖。
我的源代碼托管在GitHub上拖云，有需要的話可以去看
