Scrapy快速瀏覽?
Scrapy是一個用于對web站點進行抓取和提取結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用框架是复，可用于數(shù)據(jù)挖掘、信息處理等多種用途幔睬。
??盡管Scrapy最初是為Web頁面抓取設(shè)計的, 它也可以使用各種API (如 Amazon Associates Web Services) 或作為通用web爬蟲來提取數(shù)據(jù)。
Spider實例講解?
為了展示Scrapy的特性，下面將演示一個Scrapy Spider示例我纪，使用最簡單的方法來運行蜘蛛。下面是一個Spider代碼丐吓，它能從網(wǎng)站http://quotes.toscrape.com上抓取著名的引文浅悉，按照下面的內(nèi)容：
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'http://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').get(),
'author': quote.xpath('span/small/text()').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
把這段代碼拷貝到一個文件, 把文件命名成和 quotes_spider.py類似的名字，然后通過runspider 命令運行這個Spider:
scrapy runspider quotes_spider.py -o quotes.json
當運行結(jié)束后券犁，在quotes.json文件中有一個JSON格式的包括引文內(nèi)容和作者的引文列表术健，如下所示（下面代碼是經(jīng)過重新格式化處理的，具有較好的可讀性）：
[{
"author": "Jane Austen",
"text": "The person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid."
},
{
"author": "Groucho Marx",
"text": "Outside of a dog, a book is man's best friend. Inside of a dog it's too dark to read."
},
{
"author": "Steve Martin",
"text": "A day without sunshine is like, you know, night."
},
...]
剛才發(fā)生了什么?
當你運行命令scrapy runspider quotes_spider.py, Scrapy在quotes_spider.py文件中查找Spider定義然后通過抓取引擎來運行它粘衬。
整個抓取過程首先通過針對start_urls屬性中定義的URL（在本例中荞估，僅請求“humor”類別的URL）發(fā)起請求咳促，然后調(diào)用默認的回調(diào)方法parse，將響應(yīng)對象作為參數(shù)傳遞勘伺。在parse回調(diào)函數(shù)中跪腹，使用CSS選擇器遍歷quote元素，提取引文內(nèi)容和作者信息娇昙、生成Python字典實例并通過yield關(guān)鍵字返回尺迂，查找到下一頁的鏈接，并使用與回調(diào)函數(shù)相同的 parse方法發(fā)起另一個請求冒掌。
在這展示了Scrapy的一個主要優(yōu)點：異步調(diào)度和處理請求噪裕。這意味著Scrapy不需要等待請求完成和處理，它可以發(fā)送另一個請求或同時執(zhí)行其他操作股毫。這也意味著膳音，即使某些請求失敗或在處理時發(fā)生錯誤，其他請求也可以繼續(xù)進行铃诬。
雖然這種方式能夠進行非臣老荩快速的頁面爬取（同時以容錯的方式發(fā)送多個并發(fā)請求）趣席，但Scrapy也可以通過一些設(shè)置來控制爬蟲的禮貌性兵志。例如：在每個請求之間設(shè)置下載延遲、限制每個域或每個IP的并發(fā)請求數(shù)量宣肚，甚至使用自動限流擴展來根據(jù)情況自動進行限制想罕。
注意
這是使用feed導(dǎo)出生成JSON文件，您可以輕松更改導(dǎo)出格式（例如XML或CSV）或存儲后端（例如FTP或Amazon S3）霉涨。還可以編寫項目管道以將項目存儲在數(shù)據(jù)庫中按价。
還有呢??
你已經(jīng)看到了如何使用Scrapy從網(wǎng)站中提取和存儲Item信息，但這只是表面現(xiàn)象笙瑟。Scrapy提供了許多強大的功能楼镐，使scraping變得簡單高效, 例如:
內(nèi)建支持擴展的CSS和XPath選擇器，可以從HTML/XML源中選擇和提取數(shù)據(jù)往枷，包含使用正則表達式提取的輔助方法框产。
一個交互式shell控制臺（IPython感知），用于嘗試CSS和XPath表達式來收集數(shù)據(jù)错洁，在編寫或調(diào)試蜘蛛時非常有用茅信。
內(nèi)建支持以多種格式（JSON、CSV墓臭、XML）生成feed導(dǎo)出并將其存儲在多個后端（FTP蘸鲸、S3、本地文件系統(tǒng)）
強大的編碼支持和自動檢測窿锉，用于處理其他的酌摇、非標準和損壞的編碼聲明膝舅。
-
大量的內(nèi)置擴展和中間件:
- cookies和會話處理
- HTTP特性，如壓縮埂息、身份驗證技潘、緩存
- user-agent假冒
- robots.txt
- 爬取深度限制
- 等等
一個Telnet控制臺，用于連接到運行在Scrapy進程控制臺千康，以便對爬蟲程序進行檢查和調(diào)試
還有其他一些優(yōu)點享幽，如可重用的蜘蛛，從站點地圖和XML/CSV源抓取站點拾弃，一個自動下載圖像（或任何其他媒體）的媒體管道值桩，一個緩存DNS解析器等！
接下來是什么??
接下來的步驟是安裝Scrapy豪椿，按照教程學(xué)習(xí)如何創(chuàng)建一個完整的Scrapy項目并加入社區(qū)奔坟。謝謝你的關(guān)注！
由于官方文檔尚未完成翻譯搭盾，所以文檔中的鏈接現(xiàn)在還不能正確跳轉(zhuǎn)咳秉，請耐心等待！
