通過下面的命令可以快速創(chuàng)建 CrawlSpider模板 的代碼：

    scrapy genspider -t crawl tencent tencent.com

上一個(gè)案例中痰憎，我們通過正則表達(dá)式，制作了新的url作為Request請(qǐng)求參數(shù)攀涵，現(xiàn)在我們可以換個(gè)花樣...

  class scrapy.spiders.CrawlSpider

它是Spider的派生類铣耘，Spider類的設(shè)計(jì)原則是只爬取start_url列表中的網(wǎng)頁，而CrawlSpider類定義了一些規(guī)則(rule)來提供跟進(jìn)link的方便的機(jī)制以故，從爬取的網(wǎng)頁中獲取link并繼續(xù)爬取的工作更適合蜗细。

源碼參考

    class CrawlSpider(Spider):
        rules = ()
        def __init__(self, *a, **kw):
            super(CrawlSpider, self).__init__(*a, **kw)
            self._compile_rules()

        #首先調(diào)用parse()來處理start_urls中返回的response對(duì)象
        #parse()則將這些response對(duì)象傳遞給了_parse_response()函數(shù)處理，并設(shè)置回調(diào)函數(shù)為parse_start_url()
        #設(shè)置了跟進(jìn)標(biāo)志位True
        #parse將返回item和跟進(jìn)了的Request對(duì)象    
        def parse(self, response):
            return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

        #處理start_url中返回的response怒详，需要重寫
        def parse_start_url(self, response):
            return []

        def process_results(self, response, results):
            return results

        #從response中抽取符合任一用戶定義'規(guī)則'的鏈接炉媒，并構(gòu)造成Resquest對(duì)象返回
        def _requests_to_follow(self, response):
            if not isinstance(response, HtmlResponse):
                return
            seen = set()
            #抽取之內(nèi)的所有鏈接，只要通過任意一個(gè)'規(guī)則'昆烁，即表示合法
            for n, rule in enumerate(self._rules):
                links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
                #使用用戶指定的process_links處理每個(gè)連接
                if links and rule.process_links:
                    links = rule.process_links(links)
                #將鏈接加入seen集合吊骤，為每個(gè)鏈接生成Request對(duì)象，并設(shè)置回調(diào)函數(shù)為_repsonse_downloaded()
                for link in links:
                    seen.add(link)
                    #構(gòu)造Request對(duì)象静尼，并將Rule規(guī)則中定義的回調(diào)函數(shù)作為這個(gè)Request對(duì)象的回調(diào)函數(shù)
                    r = Request(url=link.url, callback=self._response_downloaded)
                    r.meta.update(rule=n, link_text=link.text)
                    #對(duì)每個(gè)Request調(diào)用process_request()函數(shù)白粉。該函數(shù)默認(rèn)為indentify，即不做任何處理鼠渺，直接返回該Request.
                    yield rule.process_request(r)

        #處理通過rule提取出的連接鸭巴，并返回item以及request
        def _response_downloaded(self, response):
            rule = self._rules[response.meta['rule']]
            return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)

        #解析response對(duì)象，會(huì)用callback解析處理他拦盹，并返回request或Item對(duì)象
        def _parse_response(self, response, callback, cb_kwargs, follow=True):
            #首先判斷是否設(shè)置了回調(diào)函數(shù)鹃祖。（該回調(diào)函數(shù)可能是rule中的解析函數(shù)，也可能是 parse_start_url函數(shù)）
            #如果設(shè)置了回調(diào)函數(shù)（parse_start_url()）普舆，那么首先用parse_start_url()處理response對(duì)象恬口，
            #然后再交給process_results處理。返回cb_res的一個(gè)列表
            if callback:
                #如果是parse調(diào)用的沼侣，則會(huì)解析成Request對(duì)象
                #如果是rule callback楷兽，則會(huì)解析成Item
                cb_res = callback(response, **cb_kwargs) or ()
                cb_res = self.process_results(response, cb_res)
                for requests_or_item in iterate_spider_output(cb_res):
                    yield requests_or_item

            #如果需要跟進(jìn)，那么使用定義的Rule規(guī)則提取并返回這些Request對(duì)象
            if follow and self._follow_links:
                #返回每個(gè)Request對(duì)象
                for request_or_item in self._requests_to_follow(response):
                    yield request_or_item

        def _compile_rules(self):
            def get_method(method):
                if callable(method):
                    return method
                elif isinstance(method, basestring):
                    return getattr(self, method, None)

            self._rules = [copy.copy(r) for r in self.rules]
            for rule in self._rules:
                rule.callback = get_method(rule.callback)
                rule.process_links = get_method(rule.process_links)
                rule.process_request = get_method(rule.process_request)

        def set_crawler(self, crawler):
            super(CrawlSpider, self).set_crawler(crawler)
            self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承于Spider類华临，除了繼承過來的屬性外（name、allow_domains）端考，還提供了新的屬性和方法:

LinkExtractors

class scrapy.linkextractors.LinkExtractor

Link Extractors 的目的很簡(jiǎn)單: 提取鏈接?

每個(gè)LinkExtractor有唯一的公共方法是 extract_links()雅潭，它接收一個(gè) Response 對(duì)象揭厚，并返回一個(gè) scrapy.link.Link 對(duì)象。

Link Extractors要實(shí)例化一次扶供，并且 extract_links 方法會(huì)根據(jù)不同的 response 調(diào)用多次提取鏈接?

    class scrapy.linkextractors.LinkExtractor(
        allow = (),
        deny = (),
        allow_domains = (),
        deny_domains = (),
        deny_extensions = None,
        restrict_xpaths = (),
        tags = ('a','area'),
        attrs = ('href'),
        canonicalize = True,
        unique = True,
        process_value = None
    )

主要參數(shù)：

• allow：滿足括號(hào)中“正則表達(dá)式”的值會(huì)被提取筛圆，如果為空，則全部匹配椿浓。

• deny：與這個(gè)正則表達(dá)式(或正則表達(dá)式列表)不匹配的URL一定不提取太援。

• allow_domains：會(huì)被提取的鏈接的domains。

• deny_domains：一定不會(huì)被提取鏈接的domains扳碍。

• restrict_xpaths：使用xpath表達(dá)式提岔，和allow共同作用過濾鏈接。

rules

在rules中包含一個(gè)或多個(gè)Rule對(duì)象笋敞，每個(gè)Rule對(duì)爬取網(wǎng)站的動(dòng)作定義了特定操作碱蒙。如果多個(gè)rule匹配了相同的鏈接，則根據(jù)規(guī)則在本集合中被定義的順序夯巷，第一個(gè)會(huì)被使用赛惩。

    class scrapy.spiders.Rule(
            link_extractor, 
            callback = None, 
            cb_kwargs = None, 
            follow = None, 
            process_links = None, 
            process_request = None
    )

• link_extractor：是一個(gè)Link Extractor對(duì)象，用于定義需要提取的鏈接趁餐。

• callback： 從link_extractor中每獲取到鏈接時(shí)喷兼，參數(shù)所指定的值作為回調(diào)函數(shù)，該回調(diào)函數(shù)接受一個(gè)response作為其第一個(gè)參數(shù)后雷。

注意：當(dāng)編寫爬蟲規(guī)則時(shí)季惯，避免使用parse作為回調(diào)函數(shù)。由于CrawlSpider使用parse方法來實(shí)現(xiàn)其邏輯喷面，如果覆蓋了 parse方法星瘾，crawl spider將會(huì)運(yùn)行失敗。

• follow：是一個(gè)布爾(boolean)值惧辈，指定了根據(jù)該規(guī)則從response提取的鏈接是否需要跟進(jìn)琳状。 如果callback為None，follow 默認(rèn)設(shè)置為True 盒齿，否則默認(rèn)為False念逞。

• process_links：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用，從link_extractor中獲取到鏈接列表時(shí)將會(huì)調(diào)用該函數(shù)边翁。該方法主要用來過濾翎承。

• process_request：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用， 該規(guī)則提取到每個(gè)request時(shí)都會(huì)調(diào)用該函數(shù)符匾。 (用來過濾request)

爬取規(guī)則(Crawling rules)

繼續(xù)用騰訊招聘為例叨咖，給出配合rule使用CrawlSpider的例子:

1.首先運(yùn)行

 scrapy shell "http://hr.tencent.com/position.php?&start=0#a"

2.導(dǎo)入LinkExtractor，創(chuàng)建LinkExtractor實(shí)例對(duì)象。：

   from scrapy.linkextractors import LinkExtractor

   page_lx = LinkExtractor(allow=('position.php?&start=\d+'))

allow : LinkExtractor對(duì)象最重要的參數(shù)之一甸各，這是一個(gè)正則表達(dá)式垛贤，必須要匹配這個(gè)正則表達(dá)式(或正則表達(dá)式列表)的URL才會(huì)被提取，如果沒有給出(或?yàn)榭?, 它會(huì)匹配所有的鏈接?

deny : 用法同allow趣倾，只不過與這個(gè)正則表達(dá)式匹配的URL不會(huì)被提取)?它的優(yōu)先級(jí)高于 allow 的參數(shù)聘惦，如果沒有給出(或None), 將不排除任何鏈接?

3.調(diào)用LinkExtractor實(shí)例的extract_links()方法查詢匹配結(jié)果：

   page_lx.extract_links(response)

4.沒有查到：

 []

5.注意轉(zhuǎn)義字符的問題，繼續(xù)重新匹配：

    page_lx = LinkExtractor(allow=('position\.php\?&start=\d+'))
  # page_lx = LinkExtractor(allow = ('start=\d+'))

   page_lx.extract_links(response)

image.png

CrawlSpider 版本

那么儒恋，scrapy shell測(cè)試完成之后善绎，修改以下代碼

  #提取匹配 'http://hr.tencent.com/position.php?&start=\d+'的鏈接
  page_lx = LinkExtractor(allow = ('start=\d+'))

  rules = [
#提取匹配,并使用spider的parse方法進(jìn)行分析;并跟進(jìn)鏈接(沒有callback意味著follow默認(rèn)為True)
Rule(page_lx, callback = 'parse', follow = True)
]

這么寫對(duì)嗎？

不對(duì)诫尽！千萬記住 callback 千萬不能寫 parse禀酱，再次強(qiáng)調(diào)：由于CrawlSpider使用parse方法來實(shí)現(xiàn)其邏輯，如果覆蓋了 parse方法箱锐，crawl spider將會(huì)運(yùn)行失敗比勉。

    #tencent.py

    import scrapy
    from scrapy.spiders import CrawlSpider, Rule
    from scrapy.linkextractors import LinkExtractor
    from mySpider.items import TencentItem

    class TencentSpider(CrawlSpider):
        name = "tencent"
        allowed_domains = ["hr.tencent.com"]
        start_urls = [
            "http://hr.tencent.com/position.php?&start=0#a"
        ]

        page_lx = LinkExtractor(allow=("start=\d+"))

        rules = [
            Rule(page_lx, callback = "parseContent", follow = True)
        ]

        def parseContent(self, response):
            for each in response.xpath('//*[@class="even"]'):
                name = each.xpath('./td[1]/a/text()').extract()[0]
                detailLink = each.xpath('./td[1]/a/@href').extract()[0]
                positionInfo = each.xpath('./td[2]/text()').extract()[0]

                peopleNumber = each.xpath('./td[3]/text()').extract()[0]
                workLocation = each.xpath('./td[4]/text()').extract()[0]
                publishTime = each.xpath('./td[5]/text()').extract()[0]
                #print name, detailLink, catalog,recruitNumber,workLocation,publishTime

                item = TencentItem()
                item['name']=name.encode('utf-8')
                item['detailLink']=detailLink.encode('utf-8')
                item['positionInfo']=positionInfo.encode('utf-8')
                item['peopleNumber']=peopleNumber.encode('utf-8')
                item['workLocation']=workLocation.encode('utf-8')
                item['publishTime']=publishTime.encode('utf-8')

                yield item

        # parse() 方法不需要寫     
        # def parse(self, response):                                              
        #     pass

運(yùn)行： scrapy crawl tencent

Logging

Scrapy提供了log功能，可以通過 logging 模塊使用驹止。

可以修改配置文件settings.py浩聋，任意位置添加下面兩行，效果會(huì)清爽很多臊恋。

  LOG_FILE = "TencentSpider.log"
  LOG_LEVEL = "INFO"

Log levels

• Scrapy提供5層logging級(jí)別:

• CRITICAL - 嚴(yán)重錯(cuò)誤(critical)

• ERROR - 一般錯(cuò)誤(regular errors)

• WARNING - 警告信息(warning messages)

• INFO - 一般信息(informational messages)

• DEBUG - 調(diào)試信息(debugging messages)

logging設(shè)置

通過在setting.py中進(jìn)行以下設(shè)置可以被用來配置logging:

1.LOG_ENABLED 默認(rèn): True衣洁，啟用logging
2.LOG_ENCODING 默認(rèn): 'utf-8'，logging使用的編碼
3.LOG_FILE 默認(rèn): None抖仅，在當(dāng)前目錄里創(chuàng)建logging輸出文件的文件名
4LOG_LEVEL 默認(rèn): 'DEBUG'坊夫，log的最低級(jí)別
LOG_STDOUT 默認(rèn): False 如果為 True，進(jìn)程所有的標(biāo)準(zhǔn)輸出(及錯(cuò)誤)將會(huì)被重定向到log中撤卢。例如环凿，執(zhí)行 print "hello" ，其將會(huì)在Scrapy log中顯示放吩。