1.1 Requests庫方法介紹
requests.request() : 構(gòu)造一個請求市袖，支持下面方法（其它方法基礎(chǔ)）
Requests 庫的六種方法和HTTP協(xié)議的六種方法一致：
requests.get()： 獲取HTML網(wǎng)頁的主要方法仔役，對于與HTTP的GET
requests.head()： 獲取HTML頁頭信息，對應(yīng)于與HTTP的HEAD
requests.post()： 向網(wǎng)頁提交POST請求方法，對應(yīng)于HTTP的POST
requests.put()：向網(wǎng)頁提交PUT請求方法仪际，對應(yīng)于HTTP的PUT
requests.patch()：向網(wǎng)頁提交局部修改請求咸作，對應(yīng)于HTTP的PATCH
requests.delete()：向網(wǎng)頁提交刪除請求，對應(yīng)于HTTP的DELETE
用戶通過 requests.get()们豌， requests.head() 訪問 Internet涯捻，獲取資源
用戶通過 requests.put()，requests.post()望迎， requests.patch()障癌， requests.delete() 修改Internet網(wǎng)絡(luò)信息
假設(shè)：URL位置有一組數(shù)據(jù) UserInfo， 包括UserID辩尊， UserName等20個字段
需求： 用戶修改了UserName涛浙，其它不變
方法： 1. 采用Patch， 僅向URL提交UserName局部修改信息
?? ?2. 采用PUT摄欲， 必須將所有20個字符一起提交URL轿亮，未提交字符會刪除
1.2 Response對象屬性
r.status_code: HTTP請求的返回狀態(tài)，200表示訪問成功
r.text: HTTP響應(yīng)內(nèi)容的字符串格式
r.encoding: HTTP header的編碼方式
r.apparent_encoding: HTTP 內(nèi)容中的編碼方式
r.content: HTTP響應(yīng)內(nèi)容的二進(jìn)制形式（還原圖片）
主要注意 r.encoding 和 r.apparent_encoding 區(qū)別
r.encoding 如果header中不存在charset胸墙，則默認(rèn)為 ISO-8859-1
import requests
r = requests.get('http://www.baidu.com')
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
r.encoding = 'utf-8'
print(r.text)
r.text: 一開始輸入非常規(guī)碼
r.encoding : 'ISO-8859-1'
r.apparent_encoding: 'utf-8'
r.text: 顯示可讀代碼
Requests 返回的異常值
requests.ConnectionError: 網(wǎng)絡(luò)連接錯誤異常我注，如DNS查詢失敗，拒絕連接等
requests.HTTPError： HTTP錯誤異常
requests.URLRequired： URL缺失異常
requests.tooManyRedirects： 超過最大定向次數(shù)迟隅，產(chǎn)生重定向異常
requests.ConnectTimeout： 連接遠(yuǎn)程服務(wù)器超時異常
requests.Timeout： 請求URL超時但骨，產(chǎn)生超時異常
1.3 爬蟲代碼通用框架結(jié)構(gòu)
import requests
def getHTMLText(url):
try:
r = requests.get(url, timeout = 30)
r.raise_for_status() # not 200, raise error automatically
r.encoding = r.apparent_encoding
return r.text
except:
return 'FINDING ERRORS!'
if __name__ = '__main__':
url = 'http://www.baidu.com'
print(getHTMLText(url))
1.4 requests.request(method, url, **kwargs)
請求方法
r = requests.request('GET', url, **kwargs)
r = requests.request('HEAD', url, **kwargs)
r = requests.request('POST', url, **kwargs)
r = requests.request('PUT', url, **kwargs)
r = requests.request('PATCH', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('OPTIONS', url, **kwargs)
**kwarges 控制訪問參數(shù)，均為可選項
params： 字典或者字節(jié)序列智袭，作為參數(shù)增加到url中
kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', params =kv)
print(r.url)
# http://python123.io/ws?key1=value1&key2=value2
data:字典或者字符串奔缠，向data域賦值
kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', data=kv)
json:字典，向json域賦值
kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', json=kv)
其它還有headers补履，cookies添坊， auth， files箫锤， timeout贬蛙， proxis等
1.5 requests.get(url)
r = requests.get(url, params = None, **kwargs)
url: 獲取頁面的url鏈接
params: url中的額外參數(shù)，字典或字節(jié)流格式谚攒，可選
**kwargs: 12個控制訪問的參數(shù)
獲取HTML網(wǎng)頁的主要方法阳准，對于與HTTP的GET
首先構(gòu)造一個向服務(wù)器請求資源的Request對象
結(jié)果返回一個包含服務(wù)器資源的Response類
import requests
r = response.get(''http://www.baidu.com'')
print(r.status_code)
print(r.headers)
print(type(r))
status_code ：如果返回 200,表示訪問成功
type(r)： requests.models.Response
r.headers: 顯示頭文件
1.6 requests.head(url)
只是顯示頭部信息，所花費流量信息比較少
import requests
r = requests.head('http://www.baidu.com')
print(r.headers)
print(r.text)
結(jié)果顯示print(r.text)為None
1.7 requests.post(url)
向URL POST一個字典自動編碼為form(表單）
向URL POST一個字符串自動編碼為data
import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = payload)
print (r.text)
{
'form':{
'key2': 'valu2'
'key1' : 'value1'
}
}
import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = 'ABC')
print (r.text)
{
'data': 'ABC'
'form':{
}
}
