ip代理的一個網(wǎng)站,如果代理信息有誤或者代理無法使用則會發(fā)生被遠程主機拒絕訪問等錯誤
#1.首先建立一個名為use_proxy的自定義函數(shù)，該函數(shù)的主要實現(xiàn)使用代理服務(wù)器來爬取url的功能
#2.該函數(shù)有兩個參數(shù)雕凹，一個為代理地址，另一個為url地址
#3.使用urllib.request.ProxyHandler()來設(shè)置對用的代理服務(wù)器信息
#4. 使用urllib.request.install_opener()創(chuàng)建全局opener對象
import urllib.request
def use_proxy(proxy_addr,url):
proxy = urllib.request.ProxyHandler({'http':proxy_addr})
opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
urllib.request.install_opener(opener)
data = urllib.request.urlopen(url).read().decode('utf-8')
return data
proxy_addr = '60.178.1.122:8081'
data = use_proxy(proxy_addr,'http://www.baidu.com')
print(len(data))
