我感覺庫(kù)是一個(gè)可以完全取代
庫(kù)的庫(kù)，因?yàn)槲医酉聛硭鶎W(xué)的內(nèi)容基本上就是前面
庫(kù)的重復(fù)操作，但是代碼量會(huì)稍微少一些、理解起來也容易些罷了，或者我可以借助
官方文檔的幾句話（官方調(diào)戲如下）：
Requests：讓 HTTP 服務(wù)人類
學(xué)習(xí)的內(nèi)容：（requests庫(kù)）get
import requests
params = {
'wd': '中國(guó)'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
url = 'https://www.baidu.com/s'
resp = requests.get(url, params=params, headers=headers) # 帶參數(shù)申請(qǐng)
with open('baidu.html', 'w', encoding='utf-8') as fp:
fp.write(resp.content.decode('utf-8'))
（requests庫(kù)）get 的其他內(nèi)容【承接上文】
resp.url # 返回 url 地址
resp.encoding # 返回響應(yīng)頭部字符編碼拇派，準(zhǔn)確性較低，省時(shí)
resp.apparent_encoding # 返回響應(yīng)頭部字符編碼凿跳，準(zhǔn)確性較高件豌，耗時(shí)
resp.status_code # 返回響應(yīng)碼，200 為正常
type(resp.text) # str 類型
type(resp.content) # byte 類型
resp.text # 根據(jù) resp.encoding 自動(dòng)轉(zhuǎn)換網(wǎng)頁(yè)內(nèi)容控嗜，準(zhǔn)確性較低
resp.content # 顯示網(wǎng)頁(yè)原內(nèi)容茧彤，即 byte 類型網(wǎng)頁(yè)內(nèi)容
resp.content.decode('utf-8') # 顯示 str 類型網(wǎng)頁(yè)內(nèi)容
其實(shí)上面的的方法相當(dāng)于篩選所需內(nèi)容（
）并返回
在百度上搜索中國(guó)，并接收響應(yīng) resp躬审，對(duì)于 resp.text 和 resp.content.decode('utf-8')棘街，雖然都是 str 類型網(wǎng)頁(yè)內(nèi)容，但編碼方式不同承边，一般使用 utf-8 的編碼方式是正確的遭殉，使用 resp.content.decode('utf-8') 打開后內(nèi)容如下
百度搜中國(guó)的網(wǎng)頁(yè)
學(xué)習(xí)的內(nèi)容：（requests庫(kù)）post
import requests
data = {
'first': 'true',
'pn': '1',
'kd': 'Python'
}
headers = {
'referer': 'https://www.lagou.com/jobs/list_Python?px=default&city=%E6%AD%A6%E6%B1%89',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
url = 'https://www.lagou.com/jobs/positionAjax.json?px=default&city=%E6%AD%A6%E6%B1%89&needAddtionalResult=false'
resp = requests.post(url, data=data, headers=headers)
print(type(resp.json())) # dict 類型
print(resp.json()) # 將 json 數(shù)據(jù)中的字符串轉(zhuǎn)換成列表或字典的形式
打印如下：
<class 'dict'>
{'status': False, 'msg': '您操作太頻繁,請(qǐng)稍后再訪問', 'clientIp': '223.73.72.68', 'state': 2402}
沒錯(cuò)，又是那個(gè)網(wǎng)站（拉鉤網(wǎng)）博助，我又爬取失敗了险污，其實(shí)這也在我的預(yù)料之中，因?yàn)槲腋杏X庫(kù)就是一個(gè)
庫(kù)的翻版富岳，使用方法底層應(yīng)該還是差不多的蛔糯，所以這次爬取的結(jié)果和上次也應(yīng)該是一樣的
其實(shí)和
大同小異的啦，只是請(qǐng)求的方式不同罷了（根據(jù)目標(biāo)網(wǎng)頁(yè)的指定方式來）窖式，兩者使用的方法還是非常類似的
學(xué)習(xí)的內(nèi)容：requests.requests 庫(kù)
import requests
# 模板
request.requests(method, url, **kwargs)
# method
requests.post()
requests.get()
# **kwargs
params = {
'wd': 'xiaotuan'
}
requests.method(url, params=params) # 網(wǎng)址緊跟著的搜索參數(shù)
data = {
'kd': 'Python'
}
requests.method(url, data=data) # 網(wǎng)頁(yè) From data 的數(shù)據(jù)域
headers = {
'referer': '123',
'user-agent': '456'
'cookie': '798'
}
requests.method(url, headers=headers) # 網(wǎng)頁(yè) Request Headers 的請(qǐng)求頭
proxy = {
'http': '101.17.132.186:18661'
}
requests.method(url, proxies=proxy) # 加入 ip 代理
requests.method(url, verify=False) # 處理不信任的 SSL證書的網(wǎng)站
resp = requests.method() # 返回的響應(yīng)頭
resp.json() # 將 json 數(shù)據(jù)中的字符串轉(zhuǎn)換成列表或字典的形式
resp = requests.method() # 返回的響應(yīng)頭
resp.cookies.get_dict() # 以字典的形式獲取 cookie 信息
學(xué)習(xí)的內(nèi)容：（requests庫(kù)）session
import requests
data = {
'email': '13727077344',
'password': '' # 密碼不告訴你嘿嘿
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'
}
login_url = 'http://www.renren.com/PLogin.do'
session = requests.Session()
session.post(login_url, data=data, headers=headers)
dapeng_url = 'http://www.renren.com/880151247/profile'
resp = session.get(dapeng_url)
with open('renren.html', 'w', encoding='utf-8',) as fp:
fp.write(resp.content.decode('utf-8'))
我感覺很有幾天前學(xué)的
的味道蚁飒，
對(duì)象能夠幫我們?cè)诓煌?qǐng)求中共享參數(shù)，也會(huì)在同一個(gè)
實(shí)例發(fā)出的所有請(qǐng)求之間保持
