Python爬蟲(一)?Requests庫(kù)part1

Requests庫(kù)是由python語(yǔ)言編寫的HTTP客戶端庫(kù),常用于編寫爬蟲和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)从撼。

1. 安裝Requests

Windows系統(tǒng)下怜森,在命令行輸入:pip install requests,安裝

2. 方法函數(shù)-get()

r=requests.get(url,params,**kwargs)

url: 需要爬取的網(wǎng)站地址暇咆。

params: 翻譯過來(lái)就是參數(shù)锋爪, url中的額外參數(shù)丙曙,字典或者字節(jié)流格式,可選其骄。

**kwargs : 12個(gè)控制訪問的參數(shù)


r對(duì)象的屬性:

r.status_code http請(qǐng)求的返回狀態(tài)亏镰,若為200則表示請(qǐng)求成功。

r.text http響應(yīng)內(nèi)容的字符串形式拯爽,即返回的頁(yè)面內(nèi)容

r.encoding 從http header 中猜測(cè)的相應(yīng)內(nèi)容編碼方式

r.apparent_encoding 從內(nèi)容中分析出的響應(yīng)內(nèi)容編碼方式(備選編碼方式)

r.content http響應(yīng)內(nèi)容的二進(jìn)制形式


使用實(shí)例1:不帶參數(shù)的get

>>> import requests

>>>r=requests.get('https://www.baidu.com')

>>> print r

出現(xiàn)<Response [200]>索抓,說明請(qǐng)求成功

>>> print r.encoding

ISO-8859-1

requests會(huì)從服務(wù)器返回的響應(yīng)頭的 Content-Type 去獲取字符集編碼,如果content-type有charset字段那么requests才能正確識(shí)別編碼毯炮,否則就使用默認(rèn)的 ISO-8859-1. 一般那些不規(guī)范的頁(yè)面往往有這樣的問題.

解決辦法:

requests的返回結(jié)果對(duì)象里有個(gè)apparent_encoding函數(shù), 通過調(diào)用chardet.detect()來(lái)識(shí)別文本編碼

>>> r.apparent_encoding

'utf-8'

>>> r.encoding='utf-8'

>>> r.text

此時(shí)正確打印出頁(yè)面HTML

使用實(shí)例2:傳遞參數(shù)

參數(shù)以鍵/值對(duì)的形式置于 URL 中逼肯,跟在一個(gè)問號(hào)的后面

>>> payload = {'key1': 'value1', 'key2': 'value2', 'key3': None}

>>>r=requests.get('http://httpbin.org/get',params=payload)

>>> print(r.url)

http://httpbin.org/get?key2=value2&key1=value1

使用實(shí)例3:傳遞headers

>>> headers = {'user-agent': 'my-app/0.0.1'}

>>> r = requests.get(url, headers=headers)

使用實(shí)例4:傳遞cookies

>>> url = 'http://httpbin.org/cookies'

>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)

>>> r.text

'{"cookies": {"cookies_are": "working"}}'



參考來(lái)源:http://docs.python-requests.org/zh_CN/latest/index.html

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
  • 序言:七十年代末桃煎,一起剝皮案震驚了整個(gè)濱河市篮幢,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌为迈,老刑警劉巖三椿,帶你破解...
    沈念sama閱讀 221,888評(píng)論 6 515
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異曲尸,居然都是意外死亡赋续,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 94,677評(píng)論 3 399
  • 文/潘曉璐 我一進(jìn)店門另患,熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)纽乱,“玉大人,你說我怎么就攤上這事昆箕⊙涣校” “怎么了?”我有些...
    開封第一講書人閱讀 168,386評(píng)論 0 360
  • 文/不壞的土叔 我叫張陵鹏倘,是天一觀的道長(zhǎng)薯嗤。 經(jīng)常有香客問我,道長(zhǎng)纤泵,這世上最難降的妖魔是什么骆姐? 我笑而不...
    開封第一講書人閱讀 59,726評(píng)論 1 297
  • 正文 為了忘掉前任,我火速辦了婚禮捏题,結(jié)果婚禮上玻褪,老公的妹妹穿的比我還像新娘。我一直安慰自己公荧,他們只是感情好带射,可當(dāng)我...
    茶點(diǎn)故事閱讀 68,729評(píng)論 6 397
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著循狰,像睡著了一般窟社。 火紅的嫁衣襯著肌膚如雪券勺。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 52,337評(píng)論 1 310
  • 那天灿里,我揣著相機(jī)與錄音关炼,去河邊找鬼。 笑死钠四,一個(gè)胖子當(dāng)著我的面吹牛盗扒,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播缀去,決...
    沈念sama閱讀 40,902評(píng)論 3 421
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼甸祭!你這毒婦竟也來(lái)了缕碎?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 39,807評(píng)論 0 276
  • 序言:老撾萬(wàn)榮一對(duì)情侶失蹤池户,失蹤者是張志新(化名)和其女友劉穎咏雌,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體校焦,經(jīng)...
    沈念sama閱讀 46,349評(píng)論 1 318
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡赊抖,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 38,439評(píng)論 3 340
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了寨典。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片氛雪。...
    茶點(diǎn)故事閱讀 40,567評(píng)論 1 352
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖耸成,靈堂內(nèi)的尸體忽然破棺而出报亩,到底是詐尸還是另有隱情,我是刑警寧澤井氢,帶...
    沈念sama閱讀 36,242評(píng)論 5 350
  • 正文 年R本政府宣布弦追,位于F島的核電站赞警,受9級(jí)特大地震影響涝婉,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜扫尺,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 41,933評(píng)論 3 334
  • 文/蒙蒙 一约急、第九天 我趴在偏房一處隱蔽的房頂上張望零远。 院中可真熱鬧,春花似錦烤宙、人聲如沸遍烦。這莊子的主人今日做“春日...
    開封第一講書人閱讀 32,420評(píng)論 0 24
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽(yáng)服猪。三九已至供填,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間罢猪,已是汗流浹背近她。 一陣腳步聲響...
    開封第一講書人閱讀 33,531評(píng)論 1 272
  • 我被黑心中介騙來(lái)泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留膳帕,地道東北人粘捎。 一個(gè)月前我還...
    沈念sama閱讀 48,995評(píng)論 3 377
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像危彩,于是被迫代替她去往敵國(guó)和親攒磨。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 45,585評(píng)論 2 359

推薦閱讀更多精彩內(nèi)容