Python版本管理：pyenv和pyenv-virtualenv
Scrapy爬蟲入門教程一 安裝和基本使用
Scrapy爬蟲入門教程二 官方提供Demo
Scrapy爬蟲入門教程三 命令行工具介紹和示例
Scrapy爬蟲入門教程四 Spider（爬蟲）
Scrapy爬蟲入門教程五 Selectors（選擇器）
Scrapy爬蟲入門教程六 Items（項目）
Scrapy爬蟲入門教程七 Item Loaders（項目加載器）
Scrapy爬蟲入門教程八 交互式 shell 方便調(diào)試
Scrapy爬蟲入門教程九 Item Pipeline（項目管道）
Scrapy爬蟲入門教程十 Feed exports（導出文件）
Scrapy爬蟲入門教程十一 Request和Response（請求和響應）
Scrapy爬蟲入門教程十二 Link Extractors（鏈接提取器）

開發(fā)環(huán)境：
Python 3.6.0 版本 （當前最新）
Scrapy 1.3.2 版本 （當前最新）

導出文件

新版本0.10。

實現(xiàn)爬蟲時最常需要的特征之一是能夠正確地存儲所過濾的數(shù)據(jù)，并且經(jīng)常意味著使用被過濾的數(shù)據(jù)（通常稱為“export feed”）生成要由其他系統(tǒng)消耗的“導出文件” 破喻。

Scrapy使用Feed導出功能即時提供此功能，這允許您使用多個序列化格式和存儲后端來生成包含已抓取項目的Feed学搜。

序列化格式

為了序列化抓取的數(shù)據(jù)，F(xiàn)eed導出使用項導出器鲜戒。這些格式是開箱即用的：

• JSON
• JSON lines
• CSV
• XML

但您也可以通過FEED_EXPORTERS設(shè)置擴展支持的格式 孵滞。

JSON

• FEED_FORMAT： json
• 使用出口： JsonItemExporter
• 如果您對大型Feed使用JSON，請參閱此警告漂彤。

JSON lines

• FEED_FORMAT： jsonlines
• 使用出口： JsonLinesItemExporter

CSV

• FEED_FORMAT： csv
• 使用出口： CsvItemExporter
• 指定要導出的列及其順序使用 FEED_EXPORT_FIELDS。其他Feed導出程序也可以使用此選項灾搏，但它對CSV很重要挫望，因為與許多其他導出格式不同，CSV使用固定標頭狂窑。

XML

• FEED_FORMAT： xml
• 使用出口： XmlItemExporter

Pickle

• FEED_FORMAT： pickle
• 使用出口： PickleItemExporter

Marshal

• FEED_FORMAT： marshal
• 使用出口： MarshalItemExporter

存儲

使用Feed導出時媳板，您可以使用URI（通過FEED_URI設(shè)置）定義在哪里存儲Feed 。Feed導出支持由URI方案定義的多個存儲后端類型泉哈。

支持開箱即用的存儲后端包括：

• 本地文件系統(tǒng)
• FTP
• S3（需要 botocore或 boto）
• 標準輸出

如果所需的外部庫不可用蛉幸，則某些存儲后端可能無法使用。例如丛晦，S3后端僅在安裝了botocore 或boto庫時可用（Scrapy僅支持boto到Python 2）奕纫。

存儲URI參數(shù)

存儲URI還可以包含在創(chuàng)建訂閱源時被替換的參數(shù)。這些參數(shù)是：

• %(time)s - 在創(chuàng)建訂閱源時由時間戳替換
• %(name)s - 被蜘蛛名替換

任何其他命名參數(shù)將替換為同名的spider屬性烫沙。例如匹层， 在創(chuàng)建訂閱源的那一刻，%(site_id)s將被spider.site_id屬性替換锌蓄。

這里有一些例子來說明：

• 存儲在FTP中使用每個蜘蛛一個目錄：
• ftp://user:password@ftp.example.com/scraping/feeds/%(name)s/%(time)s.json
• 存儲在S3使用每個蜘蛛一個目錄：
• s3://mybucket/scraping/feeds/%(name)s/%(time)s.json

存儲后端

本地文件系統(tǒng)

訂閱源存儲在本地文件系統(tǒng)中升筏。

URI方案： file
示例URI： file:///tmp/export.csv
所需的外部庫：none
請注意，（僅）對于本地文件系統(tǒng)存儲瘸爽，如果指定絕對路徑您访，則可以省略該方案/tmp/export.csv。這只適用于Unix系統(tǒng)剪决。

FTP

訂閱源存儲在FTP服務器中灵汪。

• URI方案： ftp
• 示例URI： ftp://user:pass@ftp.example.com/path/to/export.csv
• 所需的外部庫：none

S3

訂閱源存儲在Amazon S3上。

• URI方案： s3
• 示例URI：
• s3://mybucket/path/to/export.csv
• s3://aws_key:aws_secret@mybucket/path/to/export.csv
• 所需的外部庫：botocore或boto

AWS憑證可以作為URI中的用戶/密碼傳遞昼捍，也可以通過以下設(shè)置傳遞：

• AWS_ACCESS_KEY_ID
• AWS_SECRET_ACCESS_KEY

標準輸出

Feed被寫入Scrapy進程的標準輸出识虚。

• URI方案： stdout
• 示例URI： stdout:
• 所需的外部庫：none

設(shè)置

這些是用于配置Feed導出的設(shè)置：

• FEED_URI （強制性）
• FEED_FORMAT
• FEED_STORAGES
• FEED_EXPORTERS
• FEED_STORE_EMPTY
• FEED_EXPORT_ENCODING
• FEED_EXPORT_FIELDS

FEED_URI

默認： None

導出Feed的URI。請參閱支持的URI方案的存儲后端妒茬。

啟用Feed導出時需要此設(shè)置担锤。

FEED_FORMAT

要用于Feed的序列化格式。有關(guān)可能的值乍钻，請參閱 序列化格式肛循。

FEED_EXPORT_ENCODING

默認： None

要用于Feed的編碼铭腕。

如果取消設(shè)置或設(shè)置為None（默認），它使用UTF-8除了JSON輸出多糠，\uXXXX由于歷史原因使用安全的數(shù)字編碼（序列）累舷。

使用utf-8，如果你想UTF-8 JSON了夹孔。

FEED_EXPORT_FIELDS

默認： None

要導出的字段的列表被盈，可選。示例：搭伤。FEED_EXPORT_FIELDS = ["foo", "bar", "baz"]

使用FEED_EXPORT_FIELDS選項定義要導出的字段及其順序只怎。

當FEED_EXPORT_FIELDS為空或無（默認）時，Scrapy使用在Item蜘蛛正在產(chǎn)生的dicts 或子類中定義的字段怜俐。

如果導出器需要一組固定的字段（CSV導出格式為這種情況 ）身堡，并且FEED_EXPORT_FIELDS為空或無，則Scrapy會嘗試從導出的??數(shù)據(jù)中推斷字段名稱 - 當前它使用第一個項目中的字段名稱拍鲤。

FEED_STORE_EMPTY

默認： False

是否導出空Feed（即贴谎，沒有項目的Feed）。

FEED_STORAGES
默認： {}

包含您的項目支持的其他Feed存儲后端的字典季稳。鍵是URI方案擅这，值是存儲類的路徑。

FEED_STORAGES_BASE

默認：

{
    '': 'scrapy.extensions.feedexport.FileFeedStorage',
    'file': 'scrapy.extensions.feedexport.FileFeedStorage',
    'stdout': 'scrapy.extensions.feedexport.StdoutFeedStorage',
    's3': 'scrapy.extensions.feedexport.S3FeedStorage',
    'ftp': 'scrapy.extensions.feedexport.FTPFeedStorage',
}

包含Scrapy支持的內(nèi)置Feed存儲后端的字典绞幌。您可以通過分配其中None的URI方案 來禁用這些后端FEED_STORAGES蕾哟。例如，要禁用內(nèi)置FTP存儲后端（無替換）莲蜘，請將其放置在settings.py：

FEED_STORAGES = {
    'ftp': None,
}

FEED_EXPORTERS

默認： {}

包含您的項目支持的其他導出器的字典谭确。鍵是序列化格式，值是Item exporter類的路徑票渠。

FEED_EXPORTERS_BASE

默認：

{
    'json': 'scrapy.exporters.JsonItemExporter',
    'jsonlines': 'scrapy.exporters.JsonLinesItemExporter',
    'jl': 'scrapy.exporters.JsonLinesItemExporter',
    'csv': 'scrapy.exporters.CsvItemExporter',
    'xml': 'scrapy.exporters.XmlItemExporter',
    'marshal': 'scrapy.exporters.MarshalItemExporter',
    'pickle': 'scrapy.exporters.PickleItemExporter',
}

一個包含Scrapy支持的內(nèi)置feed導出器的dict逐哈。您可以通過分配其中None的序列化格式來禁用任何這些導出器FEED_EXPORTERS。例如问顷，要禁用內(nèi)置的CSV導出器（無替換）昂秃，請將其放置在settings.py：

FEED_EXPORTERS = {
    'csv': None,
}