在寫爬蟲的時(shí)候，經(jīng)常會(huì)遇到一個(gè)難題，就是反爬蟲秕脓。反爬蟲策略一般就是檢測(cè)user-agent，IP等等信息儒搭，辨別是機(jī)器發(fā)送請(qǐng)求還是認(rèn)為發(fā)送請(qǐng)求吠架。如何使我們寫的爬蟲突破反爬蟲策略，從而繼續(xù)抓取到需要的信息搂鲫，scrapy的中間件就可以完成這個(gè)需求傍药。
首先了解一下如何防止爬蟲被反，有以下幾個(gè)策略：
1.動(dòng)態(tài)的設(shè)置user-agent魂仍，模擬不同的瀏覽器信息拐辽。
2.禁用cookies(如果不需要登錄)，設(shè)置COOKIES_ENABLED控制CookiesMiddleware的開啟和關(guān)閉擦酌。
3.設(shè)置延遲加載俱诸，防止訪問過于頻繁，設(shè)置為2秒以上赊舶，設(shè)置DOWNLOAD_DELAY = 3
4.使用Google/Baidu Cache睁搭，如果百度或者谷歌有待爬取頁(yè)面的緩存數(shù)據(jù)，可以通過緩存獲取锯岖。
5.使用代理IP池介袜，每一次請(qǐng)求都更換IP，模擬不同的用戶發(fā)送請(qǐng)求出吹。
6.使用Crawlear(專用于爬蟲的代理組件)遇伞，正確的設(shè)置下載中間件之后，所有的requests請(qǐng)求都是通過Crawlear發(fā)出的捶牢，就不需要使用代理IP了鸠珠。
user-agent 中間件
接下來就用一個(gè)豆瓣爬蟲的例子巍耗，爬一下豆瓣電影排行榜，介紹下載中間件的用法渐排。
class MovieTopSpider(CrawlSpider): name = 'movie_top' allowed_domains = ['movie.douban.com'] start_urls = ['https://movie.douban.com/top250?start=0&filter='] # 翻頁(yè)規(guī)則炬太， pageLink = LinkExtractor(allow=(r"start=\d+&filter=")) # 定義匹配規(guī)則，callback不可以使用parse() rules = ( Rule(pageLink, callback='parse_page', follow=True), ) def parse_page(self, response): print(response.request.headers["User-Agent"]) print(response.url)直接運(yùn)行爬蟲驯耻，發(fā)現(xiàn)控制臺(tái)上什么并沒有輸出每一頁(yè)的網(wǎng)址亲族。
原因是沒有設(shè)置user-agent，我們需要在settings.py設(shè)置一下user-agent等信息可缚。DEFAULT_REQUEST_HEADERS = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', }啟動(dòng)爬蟲霎迫，發(fā)現(xiàn)控制臺(tái)打印了網(wǎng)址和User-Agent信息。
通過上面的這種設(shè)置方法只能使用一個(gè)user-agent帘靡，不能達(dá)到動(dòng)態(tài)切換的效果知给。此時(shí)就需要中間件的參與了。
在settings.py中定義User-Agent列表：USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)", ]在settings.py的同級(jí)目錄下創(chuàng)建一個(gè)middlewares.py文件描姚，隨機(jī)選取一個(gè)User-Agent涩赢，代碼如下：
class UserAgentMiddleware(object): def process_request(self, request, spider): user_agent = random.choice(settings.USER_AGENTS) request.headers['User-Agent'] = user_agent將自定義的useragent中間件加入到settings.py中：
DOWNLOADER_MIDDLEWARES = { 'scrapy_douban.middlewares.UserAgentMiddleware': 600, }啟動(dòng)爬蟲，發(fā)現(xiàn)控制臺(tái)上User-Agent信息每一條都是隨機(jī)的轩勘。
雖然已經(jīng)可以隨機(jī)選取User-Agent筒扒，但是settings.py文件中的User-Agent列表只有4條，實(shí)際項(xiàng)目里面需要大量的user-agent信息赃阀，這么配置代碼的可讀性很差霎肯。這一點(diǎn)可以使用fake-useragent庫(kù)(需要安裝)進(jìn)行改善。代碼如下：
from fake_useragent import UserAgent class UserAgentMiddleware(object): def process_request(self, request, spider): location = "fake_useragent_" + fake_useragent.VERSION #本地文件路徑 ua = fake_useragent.UserAgent(use_cache_server=False, path=location) #禁用緩存榛斯，使用本地文件 request.headers['User-Agent'] = ua.random #隨便從本地文件中取出一個(gè)user-agent把fake-useragent的Json文件下載到本地观游，放到項(xiàng)目目錄中。(可以把之前配置的user-agent列表刪除)
啟動(dòng)爬蟲驮俗，控制臺(tái)上隨機(jī)打印user-agent信息懂缕。
代理IP proxy 中間件
每一次的request請(qǐng)求都會(huì)帶著IP地址進(jìn)行發(fā)送，如果目標(biāo)服務(wù)器檢測(cè)到爬蟲王凑，就會(huì)把本地的IP封禁搪柑。使用代理IP簡(jiǎn)單理解就是把每次的請(qǐng)求附帶著的IP地址進(jìn)行更改，每一次請(qǐng)求的IP都不容易索烹，目標(biāo)服務(wù)器就封禁IP的概率就小了很多了工碾。(代理IP可以到西刺代理去找，切記使用高匿IP)
scrapy使用代理IP百姓，過程如下：
在settings.py中渊额，創(chuàng)建一個(gè)IP_POOLS，里面存放一些可用的IP地址，然后每一次都隨機(jī)一個(gè)旬迹，進(jìn)行訪問火惊。IP_POOL=[ {"http":"114.225.168.185:53128"}, {"http":"114.225.168.185:8123"}, {"http":"182.88.89.19:8123"}, {"http":"182.34.33.152:53128"}, {"http":" 121.31.195.239:8123"} ]在middlewares.py中創(chuàng)建代理中間件：
class MyproxiesSpiderMiddleware(object): def __init__(self,ip=''): self.ip=ip def process_request(self, request, spider): thisip=random.choice(IP_POOL) request.meta["proxy"]="http://"+thisip["http"]在settings.py文件中設(shè)置中間件的配置
DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 560, 'scrapy_douban.middlewares.MyproxiesSpiderMiddleware' : 550, }啟動(dòng)項(xiàng)目，可以訪問到目標(biāo)網(wǎng)站奔垦，獲取數(shù)據(jù)屹耐。
跟user-agent一樣，IP_POOL代理IP池中需要的IP數(shù)量很多椿猎，而且免費(fèi)的代理IP惶岭，經(jīng)常是不能用的，在實(shí)際的運(yùn)行環(huán)境中犯眠，需要使用付費(fèi)的代理俗他。我使用的是阿布云代理，可以自行注冊(cè)阔逼，購(gòu)買一條隧道。使用方法很簡(jiǎn)單地沮。
代碼如下：# 代理IP嗜浮，阿布云代理 class ABProxyMiddleware(object): """ 阿布云ip代理配置 """ def process_request(self, request, spider): request.meta["proxy"] = settings.PROXY_SERVER request.headers["Proxy-Authorization"] = settings.PROXY_AUTH在settings.py文件中設(shè)置一下關(guān)于代理和中間件的配置
DOWNLOADER_MIDDLEWARES = { 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 560, 'scrapy_douban.middlewares.ABProxyMiddleware' : 550, } # 阿布云ip代理配置，包括賬號(hào)密碼 import base64 PROXY_USER = "通行證書" PROXY_PASS = "通行密鑰" PROXY_HOST = "HTTP隧道服務(wù)器地址" PROXY_PORT = "端口" # for Python3 PROXY_AUTH = "Basic " + base64.urlsafe_b64encode(bytes((PROXY_USER + ":" + PROXY_PASS), "ascii")).decode("utf8") PROXY_SERVER = "http://" + PROXY_HOST + ":" + PROXY_PORT啟動(dòng)爬蟲摩疑，可以正常發(fā)送請(qǐng)求危融，獲取服務(wù)器返回的數(shù)據(jù)。
