1.文件下載:
Scrapy框架內(nèi)部提供了兩個Item Pipeline，專門用于下載文件
和圖片：
● FilesPipeline
● ImagesPipeline
我們可以將這兩個Item Pipeline看作特殊的下載器，用戶使用
時只需要通過item的一個特殊字段將要下載文件或圖片的url傳遞給
它們，它們會自動將文件或圖片下載到本地，并將下載結(jié)果信息存入
item的另一個特殊字段硅堆，以便用戶在導(dǎo)出文件中查閱沪曙。下面詳細介
紹如何使用它們痘括。
通過一個簡單的例子講解FilesPipeline的使用歇竟，在如下頁面中
可以下載多本PDF格式的小說：
<html>
<body>
<a href='/book/sg.pdf'>down three countries</a>
<a href='/book/xyj.pdf'>down west</a>
<a href='/book/shz.pdf'>down lakerers</a>
<a href='/book/hlm.pdf'>down red dream</a>
</body>
</html>
- 步驟 01 在配置文件settings.py中啟用FilesPipeline挥唠，通常
將其置于其他Item Pipeline之前：
ITEM_PIPELINES = {
'scrapy.pipelines.files.FilesPipeline':299,
'Book.pipelines.BookPipeline': 300,
'Book.pipelines.DuplicatePipeline':301,
#'Book.pipelines.MongoDBPipeline':302
}
- 步驟 02 在配置文件settings.py中，使用FILES_STORE指定文
件下載目錄焕议，如：
FILES_STORE='/home/liushuo/Download/scrapy'
- 步驟 03 在Spider解析一個包含文件下載鏈接的頁面時宝磨，將所
有需要下載文件的url地址收集到一個列表，賦給item的
file_urls字段（item['file_urls']）盅安。FilesPipeline在處理
每一項item時唤锉，會讀取item['file_urls']，對其中每一個url進
行下載别瞭，Spider示例代碼如下：
class DownloadBookSpider(scrapy.Spider):
...
def parse(response):
item = {}
# 下載列表
item['file_urls'] = []
for url in response.xpath('//a/@href').extract():
download_url = response.urljoin(url)
# 將url 填入下載列表
item['file_urls'].append(download_url)
yield item
當(dāng)FilesPipeline下載完item['file_urls']中的所有文件后窿祥，會將
各文件的下載結(jié)果信息收集到另一個列表，賦給item的files字段
（item['files']）蝙寨。下載結(jié)果信息包括以下內(nèi)容：
● Path文件下載到本地的路徑（相對于FILES_STORE的相對路
徑）晒衩。
● Checksum文件的校驗和。
● url文件的url地址墙歪。
