下載器中間件是介于Scrapy的request/response處理的鉤子框架漠秋，是用于全局修改Scrapy request和response的一個(gè)輕量笙蒙、底層的系統(tǒng)。

激活Downloader Middleware

要激活下載器中間件組件庆锦，將其加入到 DOWNLOADER_MIDDLEWARES 設(shè)置中艇搀。 該設(shè)置是一個(gè)字典(dict)，鍵為中間件類的路徑，值為其中間件的順序(order)档插。像下面這樣

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

DOWNLOADER_MIDDLEWARES 設(shè)置會(huì)與Scrapy定義的 DOWNLOADER_MIDDLEWARES_BASE 設(shè)置合并(但不是覆蓋)则剃， 而后根據(jù)順序(order)進(jìn)行排序调煎，最后得到啟用中間件的有序列表: 第一個(gè)中間件是最靠近引擎的谎僻，最后一個(gè)中間件是最靠近下載器的。

關(guān)于如何分配中間件的順序請查看 Scrapy學(xué)習(xí)篇（八）之settings里面的Scrapy默認(rèn)BASE設(shè)置 挎挖，而后根據(jù)你想要放置中間件的位置選擇一個(gè)值墓造。 由于每個(gè)中間件執(zhí)行不同的動(dòng)作涮俄，你的中間件可能會(huì)依賴于之前(或者之后)執(zhí)行的中間件，因此順序是很重要的。

如果你想禁止內(nèi)置的(在 DOWNLOADER_MIDDLEWARES_BASE 中設(shè)置并默認(rèn)啟用的)中間件， 你必須在項(xiàng)目的 DOWNLOADER_MIDDLEWARES 設(shè)置中定義該中間件大咱，并將其值賦為 None 。 例如，如果您想要關(guān)閉user-agent中間件:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
}

自定義Downloader Middleware

如果你想自定義一個(gè)屬于你的下載器中間件，只需要編寫一個(gè)下載器中間件類，繼承自scrapy.downloadermiddlewares.DownloaderMiddleware,而后在里面重寫以下的幾個(gè)方法。

• process_request(request, spider)

  當(dāng)每個(gè)request通過下載中間件時(shí)，該方法被調(diào)用。

  process_request() 必須返回其中之一: 返回 None 志鹃、返回一個(gè) Response 對象陕见、返回一個(gè) Request 對象或raise IgnoreRequest 忍坷。

  • 如果其返回 None ，Scrapy將繼續(xù)處理該request，執(zhí)行其他的中間件的相應(yīng)方法，直到合適的下載器處理函數(shù)(download handler)被調(diào)用， 該request被執(zhí)行(其response被下載)。

  • 如果其返回 Response 對象，Scrapy將不會(huì)調(diào)用 任何 其他的 process_request() 或 process_exception() 方法，或相應(yīng)地下載函數(shù)； 其將返回該response。 已安裝的中間件的 process_response() 方法則會(huì)在每個(gè)response返回時(shí)被調(diào)用缸濒。

  • 如果其返回 Request 對象耀鸦，Scrapy則停止調(diào)用 process_request方法并重新調(diào)度返回的request洛姑。當(dāng)新返回的request被執(zhí)行后， 相應(yīng)地中間件鏈將會(huì)根據(jù)下載的response被調(diào)用两入。

  • 如果其raise一個(gè) IgnoreRequest 異常裹纳，則安裝的下載中間件的 process_exception() 方法會(huì)被調(diào)用塘娶。如果沒有任何一個(gè)方法處理該異常， 則request的errback(Request.errback)方法會(huì)被調(diào)用虹曙。如果沒有代碼處理拋出的異常， 則該異常被忽略且不記錄(不同于其他異常那樣)禾怠。

  參數(shù):
  request(Request 對象)–處理的request
  spider(Spider 對象)–該request對應(yīng)的spider

• process_response(request, response, spider)

  process_request() 必須返回以下之一: 返回一個(gè) Response 對象、 返回一個(gè) Request 對象或raise一個(gè) IgnoreRequest 異常。

  • 如果其返回一個(gè) Response (可以與傳入的response相同缩抡，也可以是全新的對象)蘑险， 該response會(huì)被在鏈中的其他中間件的 process_response() 方法處理。
  • 如果其返回一個(gè) Request 對象，則中間件鏈停止表箭， 返回的request會(huì)被重新調(diào)度下載赁咙。處理類似于 process_request() 返回request所做的那樣。
  • 如果其拋出一個(gè) IgnoreRequest 異常免钻，則調(diào)用request的errback(Request.errback)彼水。 如果沒有代碼處理拋出的異常，則該異常被忽略且不記錄(不同于其他異常那樣)伯襟。

  參數(shù):
  request (Request 對象) – response所對應(yīng)的request
  response (Response 對象) – 被處理的response
  spider (Spider 對象) – response所對應(yīng)的spider

• process_exception(request, exception, spider)

  當(dāng)下載處理器(download handler)或 process_request() (下載中間件)拋出異常(包括IgnoreRequest異常)時(shí)猿涨，Scrapy調(diào)用 process_exception() 。

  process_exception() 應(yīng)該返回以下之一: 返回 None 姆怪、 一個(gè) Response 對象、或者一個(gè) Request 對象。

  • 如果其返回 None 稽揭，Scrapy將會(huì)繼續(xù)處理該異常俺附，接著調(diào)用已安裝的其他中間件的 process_exception() 方法，直到所有中間件都被調(diào)用完畢溪掀，則調(diào)用默認(rèn)的異常處理事镣。
  • 如果其返回一個(gè) Response 對象，則已安裝的中間件鏈的 process_response() 方法被調(diào)用揪胃。Scrapy將不會(huì)調(diào)用任何其他中間件的 process_exception() 方法璃哟。
  • 如果其返回一個(gè) Request 對象， 則返回的request將會(huì)被重新調(diào)用下載喊递。這將停止中間件的 process_exception() 方法執(zhí)行随闪，就如返回一個(gè)response的那樣。

  參數(shù):
  request (是 Request 對象) – 產(chǎn)生異常的request
  exception (Exception 對象) – 拋出的異常
  spider (Spider 對象) – request對應(yīng)的spider

內(nèi)置Downloader Middleware介紹

• CookiesMiddleware

  該中間件使得爬取需要cookie(例如使用session)的網(wǎng)站成為了可能骚勘。 其追蹤了web server發(fā)送的cookie铐伴，并在之后的request中發(fā)送回去， 就如瀏覽器所做的那樣俏讹。

  以下設(shè)置可以用來配置cookie中間件:
  COOKIES_ENABLED默認(rèn)為True
  COOKIES_DEBUG默認(rèn)為False

  Scrapy通過使用 cookiejar Request meta key來支持單spider追蹤多cookie session当宴。 默認(rèn)情況下其使用一個(gè)cookie jar(session)，不過我們可以傳遞一個(gè)標(biāo)示符來使用多個(gè)泽疆。
  比如：

  for i, url in enumerate(urls):
      yield scrapy.Request("http://www.example.com", meta={'cookiejar': i},
          callback=self.parse_page)
  

  需要注意的是 cookiejar meta key不是”黏性的(sticky)”户矢。 我們需要在之后的request請求中接著傳遞。
  比如：

  def parse_page(self, response):
      # do some processing
      return scrapy.Request("http://www.example.com/otherpage",
          meta={'cookiejar': response.meta['cookiejar']},
          callback=self.parse_other_page)
  

• DefaultHeadersMiddleware

  該中間件設(shè)置 DEFAULT_REQUEST_HEADERS 指定的默認(rèn)request header殉疼。

• DownloadTimeoutMiddleware

  該中間件設(shè)置 DOWNLOAD_TIMEOUT 指定的request下載超時(shí)時(shí)間.

• HttpAuthMiddleware

  該中間件完成某些使用 Basic access authentication (或者叫HTTP認(rèn)證)的spider生成的請求的認(rèn)證過程逗嫡。

• HttpCacheMiddleware

  該中間件為所有HTTP request及response提供了底層(low-level)緩存支持。 其由cache存儲(chǔ)后端及cache策略組成株依。

• HttpCompressionMiddleware

  該中間件提供了對壓縮(gzip, deflate)數(shù)據(jù)的支持

• ChunkedTransferMiddleware

  該中間件添加了對 chunked transfer encoding 的支持驱证。

• HttpProxyMiddleware

  該中間件提供了對request設(shè)置HTTP代理的支持。您可以通過在 Request 對象中設(shè)置 proxy 元數(shù)據(jù)來開啟代理恋腕。

• RedirectMiddleware

  該中間件根據(jù)response的狀態(tài)處理重定向的request抹锄。通過該中間件的(被重定向的)request的url可以通過 Request.meta 的 redirect_urls 鍵找到。

• MetaRefreshMiddleware

  該中間件根據(jù)meta-refresh html標(biāo)簽處理request重定向荠藤。

• RetryMiddleware

  該中間件將重試可能由于臨時(shí)的問題伙单，例如連接超時(shí)或者HTTP 500錯(cuò)誤導(dǎo)致失敗的頁面。
  爬取進(jìn)程會(huì)收集失敗的頁面并在最后哈肖，spider爬取完所有正常(不失敗)的頁面后重新調(diào)度吻育。 一旦沒有更多需要重試的失敗頁面，該中間件將會(huì)發(fā)送一個(gè)信號(hào)(retry_complete)淤井， 其他插件可以監(jiān)聽該信號(hào)布疼。

• RobotsTxtMiddleware

  該中間件過濾所有robots.txt eclusion standard中禁止的request摊趾。
  確認(rèn)該中間件及 ROBOTSTXT_OBEY 設(shè)置被啟用以確保Scrapy尊重robots.txt。

• UserAgentMiddleware

  用于覆蓋spider的默認(rèn)user agent的中間件游两。
  要使得spider能覆蓋默認(rèn)的user agent砾层，其 user_agent 屬性必須被設(shè)置。

• AjaxCrawlMiddleware

  根據(jù)meta-fragment html標(biāo)簽查找 ‘AJAX可爬取’ 頁面的中間件贱案。