什么是urllib:
Urllib是python內(nèi)置的HTTP請(qǐng)求庫(kù)
- 常用模塊
urllib.request 請(qǐng)求
urllib.parser解析
- urllib.request.urlopen
data = {
'name' = 'name',
'age' = 18
}
bianliang = urllib.parse.urlencode(data).encode()
request = urllib.request.Request(url=url, data=bianliang,headers=headers)
- import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
content = response.read().decode('utf-8')
print(content)
- 獲取狀態(tài)碼 頭部信息
request = urllib.request.Request(url=url,headers=self.headers)
response = urllib.request.urlopen(request)
- 獲得響應(yīng)的內(nèi)容
content = response.read().decode()
*防止被反扒 需要一些headers頭部信息才能訪問(wèn)
self.headers = {
'User-Agent': 'UA地址'
}
# 這樣請(qǐng)求網(wǎng)站時(shí) 就是頭部信息了
