urllib常用的方法有，URLopen，parse，request.error病苗。
下面我們來簡單說一下它們的用法
urllib：就是向網(wǎng)頁發(fā)起請求，至于怎么發(fā)起我們就直接上代碼了
#首先我們導(dǎo)入我們需要的包
import urllib.urlopen
#我們定義一個url
#輸入我們要訪問的網(wǎng)址
url = 'www.badu.com'
#這里我們要設(shè)置一個UA
haer = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6801.400 QQBrowser/10.3.2928.400'
}
#這里是吧參數(shù)傳給urlopen讓他知道我們要訪問什么網(wǎng)址,返回一個request
request = urllib.request.Request(url=url,haders=haer)
#這一步是用urlopen向我們定義的url發(fā)起請求
response = urllib.request.urlopen(request)
if response.status==200:
#這我們用到lparse模塊的解碼
ym = response.read().decode()
print(ym)
#這就urlopen的用法了
下面我們簡單說一下怎么自定義opener來使用代理來發(fā)起請求
#首先我們先導(dǎo)入我們需要的包
from urllib import request,error
#構(gòu)建多個代理
proxy = {
'https':'182.111.64.7:41766',
'https':'111.194.96.166:8118',
}
#使用我們的代理發(fā)起請求
proxy_handler = request.ProxyHandler(
proxies=proxy
)
#實例化一個opener對象
opener = request.build_opener(proxy_handler)
#定義url
url = 'http://www.baidu.com/'
#使用我們剛才我們的自定義發(fā)起請求
response = opener.open(request)
if response.status==200:
ym = response.read().decode()
print(ym)
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
