1.什么是爬蟲和反爬蟲
- 爬蟲是使用任何技術(shù)手段批量獲取網(wǎng)站信息的一種方式翻擒，反爬蟲是使用任何技術(shù)手段阻止別人批量獲取自己網(wǎng)站信息的一種方式氓涣；
2.User-Agent介紹
User Agent中文名為用戶代理，是Http協(xié)議中的一部分陋气，屬于頭域的組成部分劳吠，User Agent也簡稱UA。它是一個特殊字符串頭巩趁，是一種向訪問網(wǎng)站提供你所使用的瀏覽器類型及版本痒玩、操作系統(tǒng)及版本、瀏覽器內(nèi)核议慰、等信息的標(biāo)識蠢古；User-Agent是headers中的一個屬性，表示當(dāng)前訪問服務(wù)器的身份信息别凹，如果同一個身份過于頻繁的訪問服務(wù)器會被識別為機(jī)器身份草讶，遭到反爬的打擊，所以需要頻繁的更改User-Agent信息炉菲；User-Agent字段解析：瀏覽器標(biāo)識 (操作系統(tǒng)標(biāo)識; 加密等級標(biāo)識; 瀏覽器語言) 渲染引擎標(biāo)識 版本信息堕战；
3.使用不同的User-Agent來規(guī)避反爬策略
想要隨機(jī)更改User-Agent，首先我們可以在蜘蛛文件的Spider類中添加一個header請求頭拍霜，很多網(wǎng)站只需要userAgent信息就可以通過嘱丢，但是有的網(wǎng)站還需要驗(yàn)證一些其他的信息，所以我們可以在請求頭中添加一些需要用到的字段沉御，比如：
Accept：客戶端支持的數(shù)據(jù)類型屿讽，用逗號隔開，是有順序的吠裆，分號前面是主類型伐谈，分號后是子類型；Accept-Encoding：指定瀏覽器可以支持的web服務(wù)器返回內(nèi)容壓縮編碼類型试疙；Accept-Language：瀏覽器可接受的自然語言的類型诵棵；Connection：設(shè)置HTTP連接的持久化，通常都是Keep-Alive祝旷；host：服務(wù)器的域名或IP地址履澳，如果不是通用端口，還包含該端口號怀跛；Referer：指當(dāng)前請求的URL是在什么地址引用的距贷；
headers = {
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'host': 'dribbble.com/stories',
'Referer': 'https://dribbble.com/',
}
- 添加完請求頭需要的字段，我們可以在settings.py 文件中手動創(chuàng)建一個User-Agent列表
user_agent_list = [
"Opera/9.80 (X11; Linux i686; Ubuntu/14.10) Presto/2.12.388 Version/12.16",
"Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14",
"Mozilla/5.0 (Windows NT 6.0; rv:2.0) Gecko/20100101 Firefox/4.0 Opera 12.14",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0) Opera 12.14",
"Opera/12.80 (Windows NT 5.1; U; en) Presto/2.10.289 Version/12.02",
"Opera/9.80 (Windows NT 6.1; U; es-ES) Presto/2.9.181 Version/12.00",
"Opera/9.80 (Windows NT 5.1; U; zh-sg) Presto/2.9.181 Version/12.00",
"Opera/12.0(Windows NT 5.2;U;en)Presto/22.9.168 Version/12.00",
"Opera/12.0(Windows NT 5.1;U;en)Presto/22.9.168 Version/12.00",
"Mozilla/5.0 (Windows NT 5.1) Gecko/20100101 Firefox/14.0 Opera/12.0",
"Opera/9.80 (Windows NT 6.1; WOW64; U; pt) Presto/2.10.229 Version/11.62",
"Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.10.229 Version/11.62",
"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
"Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; de) Presto/2.9.168 Version/11.52",
"Opera/9.80 (Windows NT 5.1; U; en) Presto/2.9.168 Version/11.51",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; de) Opera 11.51",
"Opera/9.80 (X11; Linux x86_64; U; fr) Presto/2.9.168 Version/11.50",
"Opera/9.80 (X11; Linux i686; U; hu) Presto/2.9.168 Version/11.50",
"Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11",
"Opera/9.80 (X11; Linux i686; U; es-ES) Presto/2.8.131 Version/11.11",
"Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/5.0 Opera 11.11",
"Opera/9.80 (X11; Linux x86_64; U; bg) Presto/2.8.131 Version/11.10",
"Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10",
"Opera/9.80 (Windows NT 5.1; U; zh-tw) Presto/2.8.131 Version/11.10",
"Opera/9.80 (Windows NT 6.1; Opera Tablet/15165; U; en) Presto/2.8.149 Version/11.1",
"Opera/9.80 (X11; Linux x86_64; U; Ubuntu/10.10 (maverick); pl) Presto/2.7.62 Version/11.01",
]
- 然后在項(xiàng)目中創(chuàng)建一個utils.py文件吻谋，在這個文件中自定義一個隨機(jī)函數(shù)
import random
def get_randam_int(lst):
return random.randint(0, len(lst)-1)
- 最后修改蜘蛛文件中的parse()方法忠蝗，導(dǎo)入相關(guān)模塊，調(diào)用自定義的隨機(jī)函數(shù)生成隨機(jī)User-gent添加到headers請求頭中漓拾；
def parse(self, response):
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'host': 'dribbble.com',
'Referer': 'https://dribbble.com/',
}
random_index = get_randam_int(user_agent_list)
random_agent = user_agent_list[random_index]
headers['User-Agent'] = random_agent
a_nodes = response.css('header div.teaser a')
for a_node in a_nodes:
# print(a_node)
a_url = a_node.css('::attr(href)').extract()[0]
a_image_url = a_node.css('img::attr(src)').extract()[0]
yield Request(headers=headers,url=parse.urljoin(response.url, a_url), callback=self.parse_analyse, meta={'a_image_url': a_image_url})
4.也可以在中間件中設(shè)置User Agent
5.調(diào)試工具
打開你需要爬蟲的網(wǎng)頁阁最；
按鍵盤的F12或手動去瀏覽器右上角的“更多工具”選項(xiàng)選擇開發(fā)者工具戒祠；
按鍵盤的F5刷新網(wǎng)頁；
選擇Network中的Doc速种；
點(diǎn)擊Headers姜盈，就可以在最末尾查看Request Headers的User-Agent字段，也可以復(fù)制使用User-Agent字段配阵；
