__author__ = 'Lee'
import requests
import random #隨機(jī)數(shù)模塊
def requests_headers():
head_connection = ['Keep-Alive','close']
head_accept = ['text/html,application/xhtml+xml,*/*']
head_accept_language = ['zh-CN,fr-FR;q=0.5','en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']
#header 為隨機(jī)產(chǎn)生一套由上邊信息的header文件
header = {
'Connection':head_connection[random.randrange(0,len(head_connection))],
'Accept':head_accept[0],
'Accept-Language':head_accept_language[random.randrange(0,len(head_accept_language))],
'User-Agent':head_user_agent[random.randrange(0,len(head_user_agent))],
}
print('headers.py connection Success!')
return header #返回值為 header這個(gè)字典
python爬蟲反爬取---設(shè)置User Agent自動(dòng)變換header文件
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
- 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來符相,“玉大人拆融,你說我怎么就攤上這事“≈眨” “怎么了镜豹?”我有些...
- 文/不壞的土叔 我叫張陵,是天一觀的道長蓝牲。 經(jīng)常有香客問我趟脂,道長,這世上最難降的妖魔是什么例衍? 我笑而不...
- 正文 為了忘掉前任昔期,我火速辦了婚禮,結(jié)果婚禮上佛玄,老公的妹妹穿的比我還像新娘硼一。我一直安慰自己,他們只是感情好梦抢,可當(dāng)我...
- 文/花漫 我一把揭開白布般贼。 她就那樣靜靜地躺著,像睡著了一般奥吩。 火紅的嫁衣襯著肌膚如雪哼蛆。 梳的紋絲不亂的頭發(fā)上,一...
- 文/蒼蘭香墨 我猛地睜開眼惕味,長吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼楼誓!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起名挥,我...
- 序言:老撾萬榮一對(duì)情侶失蹤疟羹,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后禀倔,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體榄融,經(jīng)...
- 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
- 正文 我和宋清朗相戀三年救湖,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了愧杯。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
- 正文 年R本政府宣布,位于F島的核電站陡舅,受9級(jí)特大地震影響抵乓,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜靶衍,卻給世界環(huán)境...
- 文/蒙蒙 一灾炭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧颅眶,春花似錦咆贬、人聲如沸。這莊子的主人今日做“春日...
- 文/蒼蘭香墨 我抬頭看了看天上的太陽皱蹦。三九已至煤杀,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間沪哺,已是汗流浹背沈自。 一陣腳步聲響...
- 正文 我出身青樓忌怎,卻偏偏與公主長得像,于是被迫代替她去往敵國和親酪夷。 傳聞我的和親對(duì)象是個(gè)殘疾皇子榴啸,可洞房花燭夜當(dāng)晚...
推薦閱讀更多精彩內(nèi)容
- 今天做了個(gè)隨機(jī)變換IP的功能由于今天懶得寫爬蟲爬取西刺網(wǎng) (http://www.xicidaili.com/wt...
- 案例目的:爬取58同城寵物狗信息難點(diǎn) - 自動(dòng)代理:爬取58信息前,自動(dòng)設(shè)置 http://www.xicidai...
- 知乎已經(jīng)成為了爬蟲的訓(xùn)練場(chǎng)晚岭,本文利用Python中的requests庫鸥印,模擬登陸知乎,獲取cookie坦报,保存到本地...
- 本文介紹使用Scrapy爬蟲框架爬取某FM音頻文件库说。 框架介紹 Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù),提取結(jié)構(gòu)性數(shù)據(jù)...
- “1”是一個(gè)前提 認(rèn)識(shí)孩子片择,認(rèn)知孩子潜的,懂孩子。愛孩子就要懂孩子字管,夸孩子就要先認(rèn)知孩子啰挪,要實(shí)事求是地認(rèn)知孩子,過高纤掸、...