本文簡單介紹了requests的基本使用,python爬蟲中requests模塊絕對是是最好用的網(wǎng)絡(luò)請求模塊覆享，可以忘記以前學(xué)的urllib和urllib3
requests的安裝
pip install requests
response對象
| 屬性 | 說明 |
|---|---|
| r.status_code | HTTP請求的返回狀態(tài),200表示連接成功,其它表示失敗 |
| r.text | url對應(yīng)的html文本 |
| r.encoding | html的編碼方式 |
| r.apparent_encoding | 備選編碼方式 |
| r.content | http響應(yīng)內(nèi)容的二進制形式 |
| r.url | 對應(yīng)的url |
| r.cookies | 返回生成的cookies |
發(fā)送請求
一開始導(dǎo)入Requests模塊
import requests
GET請求
r = requests.get(url, params=None, **kwargs)
url：擬獲取頁面的url鏈接
params：url中的額外參數(shù)纹份，字典或字節(jié)流格式
**kwargs: 12個可控制訪問的參數(shù)
此時得到了r的Response對象帽衙，我們可以根據(jù)這個對象的屬性獲取索要信息精拟。
我們不妨看一下requests中g(shù)et方法的實現(xiàn)
def get(url, params=None, **kwargs):
r"""Sends a GET request.
:param url: URL for the new :class:`Request` object.
:param params: (optional) Dictionary, list of tuples or bytes to send
in the body of the :class:`Request`.
:param \*\*kwargs: Optional arguments that ``request`` takes.
:return: :class:`Response <Response>` object
:rtype: requests.Response
"""
kwargs.setdefault('allow_redirects', True)
return request('get', url, params=params, **kwargs)
舉例說明最常用的方式
>>> import requests
>>> r = requests.get("https://www.baidu.com")
>>>
POST請求
r = requests.post(url, data = {"key"： "value"})
構(gòu)建URL
如果手工構(gòu)建URL，那么數(shù)據(jù)會以鍵值的形式在URL的問號后面滚躯，Requests可以通過params來構(gòu)建URL胃惜。例如在百度上查詢Requests庫后，其網(wǎng)頁鏈接應(yīng)該是類似這樣的
https://www.baidu.com/s?wd=requests&rsv_spt=1&rsv_iqid=0xa4190d6100037ee8&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=7&rsv_sug1=6&rsv_sug7=100&rsv_sug2=1&prefixsug=reques&rsp=0&inputT=5095&rsv_sug4=7054&rsv_sug=1
搜索后的網(wǎng)頁應(yīng)該是這樣的
我們把URL主體留下來鼎姐，再次查詢
https://www.baidu.com/s?wd=requests
網(wǎng)頁反饋
發(fā)現(xiàn)兩個網(wǎng)頁頁面完全一樣钾麸，仔細(xì)看看上面wd=requests，這其實就是上面介紹可以用鍵值的方式炕桨，wd就是鍵饭尝，而requests就是值，可以同params構(gòu)建完整URL献宫，簡要舉例說明用法
params = {"wd": "requests"}
url = "https://www.baidu.com"
r = requests.get(url, params=params)
二進制響應(yīng)內(nèi)容
對非文本請求钥平，可以以字節(jié)的訪問，例如下載圖片遵蚜，這里提供兩種方式
方法一
import requests
from PIL import Image
from io import BytesIO
r = requests.get("https://upload-images.jianshu.io/upload_images/14198966-452601202f9ecebf.jpg")
img = Image.open(ByteIO(r.content))
img.save(path)
方法二
import requests
r = requests.get("https://upload-images.jianshu.io/upload_images/14198966-452601202f9ecebf.jpg")
with open(path, "wb") as f:
f.write(r.content)
定制請求頭
在反爬蟲機制中帖池，檢查headers里面的元素是比較普遍的手段，可以通過F12來查看header進而添加header來應(yīng)對簡單的反爬蟲
import requests
headers = {"User-Agent": " Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0"}
r = requests.get(url, headers=headers)
Cookie
當(dāng)某個響應(yīng)中包含一些cookie吭净，cookie是用來銜接一個頁面與另一個頁面的關(guān)系睡汹，比如說當(dāng)我登錄以后, 瀏覽器為了保存登錄信息, 將這些信息存放在了 cookie 中. 然后我訪問第二個頁面的時候, 保存的 cookie 被調(diào)用, 服務(wù)器知道之前做了什么, 瀏覽了些什么。有兩種方式攜帶cookie
方法一寂殉，以手動的方式附帶cookie
r = requests.get(url, cookies=cookies)
方法二囚巴，通過Session自帶cookie
s = requests.Session()
r = s.get(url)
參考：
1.https://morvanzhou.github.io/tutorials/data-manipulation/scraping/3-01-requests/#%E7%99%BB%E5%BD%95
2.https://2.python-requests.org//zh_CN/latest/user/quickstart.html