當(dāng)我們?nèi)〉昧司W(wǎng)頁(yè)的response之后嘿辟，最關(guān)鍵的就是如何從繁雜的網(wǎng)頁(yè)中把我們需要的數(shù)據(jù)提取出來(lái)，python從網(wǎng)頁(yè)中提取數(shù)據(jù)的包很多池摧，常用的有下面的幾個(gè)：

• BeautifulSoup
  它基于HTML代碼的結(jié)構(gòu)來(lái)構(gòu)造一個(gè)Python對(duì)象淤击， 對(duì)不良標(biāo)記的處理也非常合理裁眯，但是速度上有所欠缺。
• lxml
  是一個(gè)基于 ElementTree (不是Python標(biāo)準(zhǔn)庫(kù)的一部分)的python化的XML解析庫(kù)(也可以解析HTML)。

你可以在scrapy中使用任意你熟悉的網(wǎng)頁(yè)數(shù)據(jù)提取工具榜贴，但是，scrapy本身也為我們提供了一套提取數(shù)據(jù)的機(jī)制沾鳄，我們稱(chēng)之為選擇器(seletors)箕戳，他們通過(guò)特定的 XPath 或者 CSS 表達(dá)式來(lái)“選擇” HTML文件中的某個(gè)部分。XPath 是一門(mén)用來(lái)在XML文件中選擇節(jié)點(diǎn)的語(yǔ)言代咸，也可以用在HTML上蹈丸。 CSS 是一門(mén)將HTML文檔樣式化的語(yǔ)言。選擇器由它定義呐芥，并與特定的HTML元素的樣式相關(guān)連逻杖。
Scrapy選擇器構(gòu)建于 lxml 庫(kù)之上，這意味著它們?cè)谒俣群徒馕鰷?zhǔn)確性上非常相似思瘟。下面我們來(lái)了解scrapy選擇器荸百。

使用選擇器

scrapy中調(diào)用選擇器的方法非常的簡(jiǎn)單，下面我們從實(shí)例中進(jìn)行學(xué)習(xí)滨攻。
我們還是以博客園首頁(yè)的信息作為例子够话，演示使用選擇器抓取數(shù)據(jù)，下圖是首頁(yè)的html信息光绕，我們下面就是抓取標(biāo)題女嘲，鏈接，閱讀數(shù)诞帐，評(píng)論數(shù)欣尼。

import scrapy
from scrapy.selector import Selector

class Cnblog_Spider(scrapy.Spider):

    name = "cnblog"
    allowed_domains = ["cnblogs.com"]
    start_urls = [
     'https://www.cnblogs.com/',
    ]

    def parse(self, response):
        selector = Selector(response=response)
        title = selector.xpath('//a[@class="titlelnk"]/text()').extract()
        link = selector.xpath('//a[@class="titlelnk"]/@href').extract()
        read = selector.xpath('//span[@class="article_comment"]/a/text()').extract()
        comment = selector.xpath('//span[@class="article_view"]/a/text()').extract()
        print('這是title：',title)
        print('這是鏈接：', link)
        print('這是閱讀數(shù)', read)
        print('這是評(píng)論數(shù)', comment)

選擇器的使用可以分為下面的三步：

1. 導(dǎo)入選擇器from scrapy.selector import Selector
2. 創(chuàng)建選擇器實(shí)例selector = Selector(response=response)
3. 使用選擇器selector.xpath()或者selector.css()

當(dāng)然你可以使用xpath或者css中的任意一種或者組合使用，怎么方便怎么來(lái),至于xpath和css語(yǔ)法停蕉，你可以去額外學(xué)習(xí)愕鼓，仔細(xì)觀察钙态，你會(huì)發(fā)現(xiàn)每個(gè)選擇器最后都有一個(gè)extract()，你可以嘗試去掉這個(gè)看一下拒啰，區(qū)別在于驯绎，當(dāng)你沒(méi)有使用extract()的時(shí)候，提取出來(lái)的內(nèi)容依然具有選擇器屬性谋旦，簡(jiǎn)而言之剩失，你可以繼續(xù)使用里面的內(nèi)容進(jìn)行提取下級(jí)內(nèi)容，而當(dāng)你使用了extract()之后册着，提取出來(lái)的內(nèi)容就會(huì)變成字符串格式了拴孤。我們進(jìn)行多級(jí)提取的時(shí)候，這會(huì)很有用甲捏。值得注意的是演熟，選擇器提取出來(lái)的內(nèi)容是放在列表里面的，即使沒(méi)有內(nèi)容司顿，那也是一個(gè)空列表芒粹，下面我們運(yùn)行這個(gè)爬蟲(chóng)，你會(huì)發(fā)現(xiàn)內(nèi)容已經(jīng)被提取出來(lái)了大溜。

事實(shí)上化漆，我們可以完全不用那么麻煩，因?yàn)閟crapy為我們提供了選擇器的簡(jiǎn)易用法钦奋，當(dāng)我們需要選擇器的時(shí)候座云，只要一步就可以了，如下：

import scrapy

class Cnblog_Spider(scrapy.Spider):
    name = "cnblog"
    allowed_domains = ["cnblogs.com"]
    start_urls = [
        'https://www.cnblogs.com/',
    ]

    def parse(self, response):
        title = response.xpath('//a[@class="titlelnk"]/text()').extract()
        link = response.xpath('//a[@class="titlelnk"]/@href').extract()
        read = response.xpath('//span[@class="article_comment"]/a/text()').extract()
        comment = response.xpath('//span[@class="article_view"]/a/text()').extract()
        print('這是title：', title)
        print('這是鏈接：', link)
        print('這是閱讀數(shù)', read)
        print('這是評(píng)論數(shù)', comment)

可以看到付材，我們直接使用response.xpath()就可以了朦拖，并沒(méi)有導(dǎo)入什么，實(shí)例化什么厌衔，可以說(shuō)非常方便了璧帝，當(dāng)然直接response.css()一樣可以。

拓展

scrapy為我們提供的選擇器還有一些其他的特點(diǎn)富寿，這里我們簡(jiǎn)單的列舉

• extract()

  >>> response.xpath('//title/text()')
  [<Selector (text) xpath=//title/text()>]
  >>> response.css('title::text')
  [<Selector (text) xpath=//title/text()>]
  

  前面已經(jīng)提到了睬隶，.xpath() 及 .css() 方法返回一個(gè)類(lèi) SelectorList 的實(shí)例, 它是一個(gè)新選擇器的列表，就是說(shuō)作喘，你依然可以使用里面的元素進(jìn)行向下提取理疙，因?yàn)樗€是一個(gè)選擇器晕城，為了提取真實(shí)的原文數(shù)據(jù)泞坦，我們需要調(diào)用 .extract()
• extract_first()
  如果想要提取到第一個(gè)匹配到的元素, 可以調(diào)用response.xpath('//span[@class="article_view"]/a/text()').extract_first() 這樣我們就拿到了第一個(gè)匹配的數(shù)據(jù)，當(dāng)然砖顷，我們之前提到了選擇器返回的數(shù)據(jù)是一個(gè)列表贰锁，那么你當(dāng)然可以使用response.xpath('//span[@class="article_view"]/a/text()').extract()[0]拿到第一個(gè)匹配的數(shù)據(jù)赃梧，這和response.xpath('//span[@class="article_view"]/a/text()')[0].extract()效果是一樣的，值得注意的是豌熄，如果是空列表授嘀，這兩種方法的區(qū)別就出現(xiàn)了，extract_first()會(huì)返回None锣险，而后面的那種方法蹄皱，就會(huì)因列表為空而報(bào)錯(cuò)。
  除此之外芯肤，我們還可以為extract_first()設(shè)置默認(rèn)值巷折，當(dāng)空列表時(shí)，就會(huì)返回一個(gè)我們?cè)O(shè)置的值崖咨，比如：extract_first(default='not-found')锻拘。

結(jié)合正則表達(dá)式

你會(huì)發(fā)現(xiàn)，之前我們匹配的閱讀數(shù)击蹲，評(píng)論數(shù)都會(huì)有漢字在里面署拟，如果我們只想提取里面的數(shù)字呢，這個(gè)時(shí)候就可以使用正則表達(dá)式和選擇器配合來(lái)實(shí)現(xiàn)歌豺，比如下面：

import scrapy

class Cnblog_Spider(scrapy.Spider):
    name = "cnblog"
    allowed_domains = ["cnblogs.com"]
    start_urls = [
        'https://www.cnblogs.com/',
    ]

    def parse(self, response):
        read = response.xpath(
                '//span[@class="article_comment"]/a/text()').re('\d+')
        comment = response.xpath(
                '//span[@class="article_view"]/a/text()').re('\d+')
        print('這是閱讀數(shù)', read)
        print('這是評(píng)論數(shù)', comment)

運(yùn)行一下推穷，可以看到，效果就出來(lái)了世曾。