Requests 是用Python語言編寫，基于 urllib梗顺，采用 Apache2 Licensed 開源協(xié)議的 HTTP 庫论笔。它比 urllib 更加方便，可以節(jié)約我們大量的工作苔悦，完全滿足 HTTP 測試需求。Requests 的哲學(xué)是以 PEP 20 的習(xí)語為中心開發(fā)的椎咧，所以它比 urllib 更加 Pythoner玖详。支持 Python3 ！
Beautiful is better than ugly.(美麗優(yōu)于丑陋)
Explicit is better than implicit.(清楚優(yōu)于含糊)
Simple is better than complex.(簡單優(yōu)于復(fù)雜)
Complex is better than complicated.(復(fù)雜優(yōu)于繁瑣)
Readability counts.(重要的是可讀性)
一勤讽、安裝 Requests
通過pip安裝
pipinstallrequests
或者蟋座，下載代碼后安裝：
$ git clone git://github.com/kennethreitz/requests.git$ cd requests
$ python setup.py install
再懶一點(diǎn)，通過IDE安裝吧脚牍，如pycharm向臀！
二、發(fā)送請求與傳遞參數(shù)
先來一個簡單的例子吧诸狭！讓你了解下其威力：
import requests
r = requests.get(url='http://www.itwhy.org')# 最基本的GET請求
print(r.status_code)# 獲取返回狀態(tài)
r = requests.get(url='http://dict.baidu.com/s', params={'wd':'python'})#帶參數(shù)的GET請求
print(r.url)
print(r.text)#打印解碼后的返回?cái)?shù)據(jù)
r = requests.get(url='http://www.itwhy.org')# 最基本的GET請求
print(r.status_code)# 獲取返回狀態(tài)
r = requests.get(url='http://dict.baidu.com/s', params={'wd':'python'})#帶參數(shù)的GET請求
print(r.url)
print(r.text)#打印解碼后的返回?cái)?shù)據(jù)
很簡單吧券膀！不但GET方法簡單，其他方法都是統(tǒng)一的接口樣式哦驯遇！
requests.get(‘https://github.com/timeline.json’) #GET請求
requests.post(“http://httpbin.org/post”) #POST請求
requests.put(“http://httpbin.org/put”) #PUT請求
requests.delete(“http://httpbin.org/delete”) #DELETE請求
requests.head(“http://httpbin.org/get”) #HEAD請求
requests.options(“http://httpbin.org/get”) #OPTIONS請求
PS：以上的HTTP方法芹彬，對于WEB系統(tǒng)一般只支持 GET 和 POST，有一些還支持 HEAD 方法叉庐。
帶參數(shù)的請求實(shí)例：
import requests
requests.get('http://www.dict.baidu.com/s', params={'wd':'python'})#GET參數(shù)實(shí)例requests.post('http://www.itwhy.org/wp-comments-post.php', data={'comment':'測試POST'})#POST參數(shù)實(shí)例
POST發(fā)送JSON數(shù)據(jù)：
import requestsimport json
r = requests.post('https://api.github.com/some/endpoint', data=json.dumps({'some':'data'}))print(r.json())
定制header：
import requestsimport json
data = {'some':'data'}
headers = {'content-type':'application/json',
? ? ? ? ? 'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
r = requests.post('https://api.github.com/some/endpoint', data=data, headers=headers)print(r.text)
三雀监、Response對象
使用requests方法后，會返回一個response對象眨唬，其存儲了服務(wù)器響應(yīng)的內(nèi)容会前，如上實(shí)例中已經(jīng)提到的 r.text、r.status_code……
獲取文本方式的響應(yīng)體實(shí)例：當(dāng)你訪問 r.text 之時匾竿，會使用其響應(yīng)的文本編碼進(jìn)行解碼瓦宜，并且你可以修改其編碼讓 r.text 使用自定義的編碼進(jìn)行解碼。
r = requests.get('http://www.itwhy.org')print(r.text,'\n{}\n'.format('*'*79), r.encoding)
r.encoding ='GBK'print(r.text,'\n{}\n'.format('*'*79), r.encoding)
其他響應(yīng)：
r.status_code #響應(yīng)狀態(tài)碼
r.raw #返回原始響應(yīng)體岭妖，也就是 urllib 的 response 對象临庇，使用 r.raw.read() 讀取
r.content #字節(jié)方式的響應(yīng)體反璃，會自動為你解碼 gzip 和 deflate 壓縮
r.text #字符串方式的響應(yīng)體，會自動根據(jù)響應(yīng)頭部的字符編碼進(jìn)行解碼
r.headers #以字典對象存儲服務(wù)器響應(yīng)頭假夺，但是這個字典比較特殊淮蜈，字典鍵不區(qū)分大小寫，若鍵不存在則返回None
#*特殊方法*#
r.json() #Requests中內(nèi)置的JSON解碼器
r.raise_for_status() #失敗請求(非200響應(yīng))拋出異常
案例之一：
import requests
URL ='http://ip.taobao.com/service/getIpInfo.php'# 淘寶IP地址庫APItry:
? ? r = requests.get(URL, params={'ip':'8.8.8.8'}, timeout=1)
? ? r.raise_for_status()? ? # 如果響應(yīng)狀態(tài)碼不是 200已卷，就主動拋出異常except requests.RequestException as e:
? ? print(e)else:
? ? result = r.json()
? ? print(type(result), result, sep='\n')
四梧田、上傳文件
使用 Requests 模塊，上傳文件也是如此簡單的侧蘸，文件的類型會自動進(jìn)行處理：
import requests
url ='http://127.0.0.1:5000/upload'files = {'file': open('/home/lyb/sjzl.mpg','rb')}#files = {'file': ('report.jpg', open('/home/lyb/sjzl.mpg', 'rb'))}? ? #顯式的設(shè)置文件名
r = requests.post(url, files=files)print(r.text)
更加方便的是裁眯，你可以把字符串當(dāng)著文件進(jìn)行上傳：
import requests
url ='http://127.0.0.1:5000/upload'files = {'file': ('test.txt', b'Hello Requests.')}#必需顯式的設(shè)置文件名
r = requests.post(url, files=files)print(r.text)
五、身份驗(yàn)證
基本身份認(rèn)證(HTTP Basic Auth):
import requestsfromrequests.authimport HTTPBasicAuth
r = requests.get('https://httpbin.org/hidden-basic-auth/user/passwd', auth=HTTPBasicAuth('user','passwd'))# r = requests.get('https://httpbin.org/hidden-basic-auth/user/passwd', auth=('user', 'passwd'))? ? # 簡寫print(r.json())
另一種非常流行的HTTP身份認(rèn)證形式是摘要式身份認(rèn)證讳癌，Requests對它的支持也是開箱即可用的:
requests.get(URL, auth=HTTPDigestAuth('user','pass'))
六穿稳、Cookies與會話對象
如果某個響應(yīng)中包含一些Cookie，你可以快速訪問它們：
import requests
r = requests.get('http://www.google.com.hk/')print(r.cookies['NID'])print(tuple(r.cookies))
要想發(fā)送你的cookies到服務(wù)器晌坤，可以使用 cookies 參數(shù)：
import requests
url ='http://httpbin.org/cookies'cookies = {'testCookies_1':'Hello_Python3','testCookies_2':'Hello_Requests'}# 在Cookie Version 0中規(guī)定空格逢艘、方括號、圓括號骤菠、等于號埋虹、逗號、雙引號娩怎、斜杠、問號胰柑、@，冒號，分號等特殊符號都不能作為Cookie的內(nèi)容童番。r = requests.get(url, cookies=cookies)print(r.json())
會話對象讓你能夠跨請求保持某些參數(shù)伪货，最方便的是在同一個Session實(shí)例發(fā)出的所有請求之間保持cookies，且這些都是自動處理的踩官，甚是方便却桶。
下面就來一個真正的實(shí)例，如下是快盤簽到腳本：
import requests
headers = {'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
? ? ? ? ? 'Accept-Encoding':'gzip, deflate, compress',
? ? ? ? ? 'Accept-Language':'en-us;q=0.5,en;q=0.3',
? ? ? ? ? 'Cache-Control':'max-age=0',
? ? ? ? ? 'Connection':'keep-alive',
? ? ? ? ? 'User-Agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
s = requests.Session()
s.headers.update(headers)# s.auth = ('superuser', '123')s.get('https://www.kuaipan.cn/account_login.htm')
_URL ='http://www.kuaipan.cn/index.php's.post(_URL, params={'ac':'account','op':'login'},
? ? ? data={'username':'****@foxmail.com','userpwd':'********','isajax':'yes'})
r = s.get(_URL, params={'ac':'zone','op':'taskdetail'})print(r.json())
s.get(_URL, params={'ac':'common','op':'usersign'})
七蔗牡、超時與異常
timeout 僅對連接過程有效颖系，與響應(yīng)體的下載無關(guān)。
>>> requests.get('http://github.com', timeout=0.001)
Traceback (most recent call last):
? File "", line 1,inrequests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)
所有Requests顯式拋出的異常都繼承自 requests.exceptions.RequestException：ConnectionError辩越、HTTPError嘁扼、Timeout、TooManyRedirects黔攒。
轉(zhuǎn)自:http://www.itwhy.org/%E8%BD%AF%E4%BB%B6%E5%B7%A5%E7%A8%8B/python/python-%E7%AC%AC%E4%B8%89%E6%96%B9-http-%E5%BA%93-requests-%E5%AD%A6%E4%B9%A0.html
requests是python的一個HTTP客戶端庫趁啸，跟urllib强缘，urllib2類似，那為什么要用requests而不用urllib2呢不傅？官方文檔中是這樣說明的：
python的標(biāo)準(zhǔn)庫urllib2提供了大部分需要的HTTP功能旅掂，但是API太逆天了，一個簡單的功能就需要一大堆代碼访娶。
我也看了下requests的文檔商虐，確實(shí)很簡單，適合我這種懶人震肮。下面就是一些簡單指南称龙。
插播個好消息！剛看到requests有了中文翻譯版戳晌，建議英文不好的看看鲫尊，內(nèi)容也比我的博客好多了，具體鏈接是：http://cn.python-requests.org/en/latest/(不過是v1.1.0版沦偎，另抱歉疫向，之前貼錯鏈接了)。
安裝很簡單豪嚎，我是win系統(tǒng)搔驼，就在這里下載了安裝包（網(wǎng)頁中download the zipball處鏈接），然后$ python setup.py install就裝好了侈询。
當(dāng)然舌涨，有easy_install或pip的朋友可以直接使用：easy_install requests或者pip install requests來安裝。
至于linux用戶扔字，這個頁面還有其他安裝方法囊嘉。
測試：在IDLE中輸入import requests，如果沒提示錯誤革为，那說明已經(jīng)安裝成功了扭粱！
>>>importrequests>>>r=requests.get('http://www.zhidaow.com')# 發(fā)送請求>>>r.status_code# 返回碼200>>>r.headers['content-type']# 返回頭部信息'text/html; charset=utf8'>>>r.encoding# 編碼信息'utf-8'>>>r.text#內(nèi)容部分（PS，由于編碼問題震檩，建議這里使用r.content）u'\n
是不是很簡單琢蛤？比urllib2和urllib簡單直觀的多？抛虏！那請接著看快速指南吧博其。
發(fā)送請求很簡單的，首先要導(dǎo)入requests模塊：
>>>importrequests
接下來讓我們獲取一個網(wǎng)頁迂猴，例如我個人博客的首頁：
>>>r=requests.get('http://www.zhidaow.com')
接下來贺奠，我們就可以使用這個r的各種方法和函數(shù)了。
另外错忱，HTTP請求還有很多類型儡率，比如POST,PUT,DELETE,HEAD,OPTIONS挂据。也都可以用同樣的方式實(shí)現(xiàn)：
>>>r=requests.post("http://httpbin.org/post")>>>r=requests.put("http://httpbin.org/put")>>>r=requests.delete("http://httpbin.org/delete")>>>r=requests.head("http://httpbin.org/get")>>>r=requests.options("http://httpbin.org/get")
因?yàn)槟壳拔疫€沒用到這些，所以沒有深入研究儿普。
有時候我們需要在URL中傳遞參數(shù)崎逃，比如在采集百度搜索結(jié)果時，我們wd參數(shù)（搜索詞）和rn參數(shù)（搜素結(jié)果數(shù)量）眉孩，你可以手工組成URL个绍，requests也提供了一種看起來很NB的方法：
>>>payload={'wd':'張亞楠','rn':'100'}>>>r=requests.get("http://www.baidu.com/s",params=payload)>>>printr.urlu'http://www.baidu.com/s?rn=100&wd=%E5%BC%A0%E4%BA%9A%E6%A5%A0'
上面wd=的亂碼就是“張亞楠”的轉(zhuǎn)碼形式。（好像參數(shù)按照首字母進(jìn)行了排序浪汪。）
可以通過r.text來獲取網(wǎng)頁的內(nèi)容巴柿。
>>>r=requests.get('https://www.zhidaow.com')>>>r.textu'\n
文檔里說，requests會自動將內(nèi)容轉(zhuǎn)碼死遭。大多數(shù)unicode字體都會無縫轉(zhuǎn)碼广恢。但我在cygwin下使用時老是出現(xiàn)UnicodeEncodeError錯誤，郁悶呀潭。倒是在python的IDLE中完全正常钉迷。
另外，還可以通過r.content來獲取頁面內(nèi)容钠署。
>>>r=requests.get('https://www.zhidaow.com')>>>r.contentb'\n
文檔中說r.content是以字節(jié)的方式去顯示糠聪，所以在IDLE中以b開頭。但我在cygwin中用起來并沒有谐鼎，下載網(wǎng)頁正好舰蟆。所以就替代了urllib2的urllib2.urlopen(url).read()功能。（基本上是我用的最多的一個功能狸棍。）
可以使用r.encoding來獲取網(wǎng)頁編碼身害。
>>>r=requests.get('http://www.zhidaow.com')>>>r.encoding'utf-8'
當(dāng)你發(fā)送請求時，requests會根據(jù)HTTP頭部來猜測網(wǎng)頁編碼隔缀，當(dāng)你使用r.text時，requests就會使用這個編碼傍菇。當(dāng)然你還可以修改requests的編碼形式猾瘸。
>>>r=requests.get('http://www.zhidaow.com')>>>r.encoding'utf-8'>>>r.encoding='ISO-8859-1'
像上面的例子，對encoding修改后就直接會用修改后的編碼去獲取網(wǎng)頁內(nèi)容丢习。
像urllib和urllib2牵触，如果用到j(luò)son，就要引入新模塊咐低，如json和simplejson揽思，但在requests中已經(jīng)有了內(nèi)置的函數(shù)，r.json()见擦。就拿查詢IP的API來說：
>>>r=requests.get('http://ip.taobao.com/service/getIpInfo.php?ip=122.88.60.28')>>>r.json()['data']['country']'中國'
我們可以用r.status_code來檢查網(wǎng)頁的狀態(tài)碼钉汗。
>>>r=requests.get('http://www.mengtiankong.com')>>>r.status_code200>>>r=requests.get('http://www.mengtiankong.com/123123/')>>>r.status_code404>>>r=requests.get('http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN')>>>r.urlu'http://www.zhidaow.com/>>>r.status_code200
前兩個例子很正常羹令，能正常打開的返回200，不能正常打開的返回404损痰。但第三個就有點(diǎn)奇怪了福侈，那個是百度搜索結(jié)果中的302跳轉(zhuǎn)地址，但狀態(tài)碼顯示是200卢未，接下來我用了一招讓他原形畢露：
>>>r.history(,)
這里能看出他是使用了302跳轉(zhuǎn)肪凛。也許有人認(rèn)為這樣可以通過判斷和正則來獲取跳轉(zhuǎn)的狀態(tài)碼了，其實(shí)還有個更簡單的方法：
>>>r=requests.get('http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN',allow_redirects=False)>>>r.status_code302
只要加上一個參數(shù)allow_redirects辽社，禁止了跳轉(zhuǎn)伟墙，就直接出現(xiàn)跳轉(zhuǎn)的狀態(tài)碼了，好用吧滴铅？我也利用這個在最后一掌做了個簡單的獲取網(wǎng)頁狀態(tài)碼的小應(yīng)用戳葵，原理就是這個。
可以通過r.headers來獲取響應(yīng)頭內(nèi)容失息。
>>>r=requests.get('http://www.zhidaow.com')>>>r.headers{'content-encoding':'gzip','transfer-encoding':'chunked','content-type':'text/html; charset=utf-8';...}
可以看到是以字典的形式返回了全部內(nèi)容譬淳，我們也可以訪問部分內(nèi)容。
>>>r.headers['Content-Type']'text/html; charset=utf-8'>>>r.headers.get('content-type')'text/html; charset=utf-8'
我們可以通過timeout屬性設(shè)置超時時間盹兢，一旦超過這個時間還沒獲得響應(yīng)內(nèi)容邻梆，就會提示錯誤。
>>>requests.get('http://github.com',timeout=0.001)Traceback(mostrecentcalllast):File"",line1,inrequests.exceptions.Timeout:HTTPConnectionPool(host='github.com',port=80):Requesttimedout.(timeout=0.001)
采集時為避免被封IP绎秒，經(jīng)常會使用代理浦妄。requests也有相應(yīng)的proxies屬性。
importrequestsproxies={"http":"http://10.10.1.10:3128","https":"http://10.10.1.10:1080",}requests.get("http://www.zhidaow.com",proxies=proxies)
如果代理需要賬戶和密碼见芹，則需這樣：
proxies={"http":"http://user:pass@10.10.1.10:3128/",}
請求頭內(nèi)容可以用r.request.headers來獲取剂娄。
>>>r.request.headers{'Accept-Encoding':'identity, deflate, compress, gzip','Accept':'*/*','User-Agent':'python-requests/1.2.3 CPython/2.7.3 Windows/XP'}
偽裝請求頭部是采集時經(jīng)常用的，我們可以用這個方法來隱藏：
r=requests.get('http://www.zhidaow.com')printr.request.headers['User-Agent']#python-requests/1.2.3 CPython/2.7.3 Windows/XPheaders={'User-Agent':'alexkh'}r=requests.get('http://www.zhidaow.com',headers=headers)printr.request.headers['User-Agent']#alexkh
requests的keep-alive是基于urllib3玄呛，同一會話內(nèi)的持久連接完全是自動的阅懦。同一會話內(nèi)的所有請求都會自動使用恰當(dāng)?shù)倪B接。
也就是說徘铝，你無需任何設(shè)置耳胎，requests會自動實(shí)現(xiàn)keep-alive。
defget_status(url):r=requests.get(url,allow_redirects=False)returnr.status_codeprintget_status('http://www.zhidaow.com')#200printget_status('http://www.zhidaow.com/hi404/')#404printget_status('http://mengtiankong.com')#301printget_status('http://www.baidu.com/link?url=QeTRFOS7TuUQRppa0wlTJJr6FfIYI1DJprJukx4Qy0XnsDO_s9baoO8u1wvjxgqN')#302printget_status('http://www.huiya56.com/com8.intre.asp?46981.html')#500
1惕它、官方文檔
requests的具體安裝過程請看：http://docs.python-requests.org/en/latest/user/install.html#install
requests的官方指南文檔：http://docs.python-requests.org/en/latest/user/quickstart.html
requests的高級指南文檔：http://docs.python-requests.org/en/latest/user/advanced.html#advanced
2怕午、本文內(nèi)容部分翻譯自官方文檔，部分自己歸納淹魄。
3郁惜、大多數(shù)用的IDLE格式，累死了甲锡，下次直接用編輯器格式兆蕉，這樣更符合我的習(xí)慣羽戒。
4、還是那句話恨樟，有問題留言或email半醉。
5、圖注：requests官方文檔上的一只老鱉劝术。
轉(zhuǎn)載出處：http://www.zhidaow.com/post/python-requests-install-and-brief-introduction
