什么是代理服務(wù)器
所謂代理服務(wù)器，是一個處于我們與互聯(lián)網(wǎng)中間的服務(wù)器市框，如果使用代
理服務(wù)器霞扬，我們?yōu)g覽信息的時候，先向代理服務(wù)器發(fā)出請求拾给，然后由代
理服務(wù)器向互聯(lián)網(wǎng)獲取信息祥得，再返回給我們。
使用代理服務(wù)器進行爬取網(wǎng)頁實戰(zhàn)
使用代理服務(wù)器進行信息爬取蒋得，可以很好的解決IP限制的問題级及。
- 方法一
import urllib
# 39.82.135.164:8118
def useproxy(url,proxy_addr):
proxy = urllib.request.ProxyHandler({"http":proxy_addr})
opner = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
urllib.request.install_opener(opner) # 添加為全局
data = urllib.request.urlopen(url,timeout=5).read().decode("utf-8","ignore")
return data
print(useproxy("http://www.baidu.com","61.135.217.7:80"))
- 方法二
import urllib.request
def useproxy(url,proxy_addr):
proxy_handler = urllib.request.ProxyHandler({
'http': proxy_addr
})
opener = urllib.request.build_opener(proxy_handler)
data = opener.open(url).read().decode("utf-8","ignore")
return data
print(useproxy("http://www.baidu.com","61.135.217.7:80"))
