使用build_opener()修改報(bào)頭
由于urlopen()不支持一些HTTP的高級(jí)功能譬重，所以，我們?nèi)绻薷膱?bào)頭罐氨，可以使用urllib.request.build_opener()進(jìn)行臀规，比如，如果要爬取剛才無法爬取的網(wǎng)頁栅隐，我們可以使用如下代碼:
import urllib.request
url = 'https://www.baidu.com/'
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()
print(data.decode('utf-8'))
使用add_header()添加報(bào)頭
我們還可以使用urllib.request.Request()下的add_header()實(shí)現(xiàn)瀏覽器的模擬
import urllib.request
url = 'https://www.baidu.com/'
req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
data = urllib.request.urlopen(req).read()
print(data.decode('utf-8'))
