一盒音、前言
原本是想開始維護(hù)IP代理池子库，繼續(xù)python爬蟲進(jìn)階之路，但在看其他人寫的IP代理爬取的文章時挎春，發(fā)現(xiàn)可以把爬下來的IP用來給CSDN博客里的文章刷閱讀量，于是就刷了1k+的閱讀量......
想當(dāng)初開始python爬蟲和數(shù)據(jù)可視化的寫作時豆拨，寫完處女作《爬取張佳瑋138w+知乎關(guān)注者：數(shù)據(jù)可視化》后直奋，立馬注冊了簡書、CSDN賬號施禾，并分別投放了文章脚线，但兩者的境遇可謂天差地別，簡書上一日之間上了網(wǎng)站首頁并被加入今日看點等諸多專題拾积，而CSDN上幾乎無人問津殉挽，截止昨日過去20多天，才120+左右閱讀......相比之下拓巧，明顯感受到了簡書對小透明的友善斯碌，截止今晚“閱讀 2605 評論 22 喜歡 82 贊賞 3”，當(dāng)然和大V的文章不能比肛度，但也還算過得去傻唾。
二、代碼
代碼直接參考了下文承耿，更多解讀參見原文冠骄，其中將ip提取部分修改了下，并將用來測試IP是否可用的百度url改成了CSDN博客里文章的url加袋。
爬蟲（2）--- 構(gòu)建簡單代理IP池
當(dāng)然也可以去試試其他網(wǎng)站能不能刷閱讀量凛辣，最開始試了下簡書，發(fā)現(xiàn)無效职烧，可能記錄的是每個用戶的閱讀扁誓，所以單純IP訪問而賬號未登錄的話，可能無法增加閱讀量蚀之。
再就是試了下CSDN蝗敢，發(fā)現(xiàn)閱讀量蹭蹭上漲后，也是有點害怕足删，不知道會不會被封IP和賬號寿谴，后續(xù)也還是不敢放開地刷數(shù)據(jù)，只能算是娛樂下失受。（兩篇文章分別從20+和120+閱讀刷到了現(xiàn)在的數(shù)據(jù)讶泰，請不要舉報我）
另外也試了下豆瓣......嗯咏瑟，立馬就“403”，上不去了痪署，所以看了本文想刷其他網(wǎng)站數(shù)據(jù)的朋友响蕴，還是三思而行，如果賬號被封惠桃，概不負(fù)責(zé)哦。==辖试。
代碼（py3.5版本）：
# coding: utf-8
import urllib.request
import urllib.parse
import time
from multiprocessing import Pool#多進(jìn)程
import random
from lxml import etree #解析
def GetUserAgent():
'''
功能：隨機(jī)獲取HTTP_User_Agent
'''
user_agents=[
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
"Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
"Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
"Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
"Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
"Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
"Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1"
]
user_agent = random.choice(user_agents)
return user_agent
def getProxies():
'''
功能：爬取西刺高匿IP構(gòu)造原始代理IP池
'''
init_proxies = []
##爬取前五頁
for i in range(1,6):
print("####")
print("####爬取第"+str(i)+"頁####")
print("####")
print("IP地址\t\t\t端口\t存活時間\t\t驗證時間")
url = "http://www.xicidaili.com/nn/"+str(i)
user_agent = GetUserAgent()
headers=("User-Agent",user_agent)
opener = urllib.request.build_opener()
opener.addheaders = [headers]
try:
data = opener.open(url,timeout=5).read()
except Exception as er:
print("爬取的時候發(fā)生錯誤辜王，具體如下：")
print(er)
selector=etree.HTML(data)
'''
ip_addrs = selector.xpath('//tr[@class="odd"]/td[2]/text()') #IP地址
port = selector.xpath('//tr[@class="odd"]/td[3]/text()') #端口
sur_time = selector.xpath('//tr[@class="odd"]/td[9]/text()') #存活時間
ver_time = selector.xpath('//tr[@class="odd"]/td[10]/text()') #驗證時間
'''
#原代碼只提取了奇數(shù)行部分，修改下
ip_addrs = selector.xpath('//tr/td[2]/text()') #IP地址
port = selector.xpath('//tr/td[3]/text()') #端口
sur_time = selector.xpath('//tr/td[9]/text()') #存活時間
ver_time = selector.xpath('//tr/td[10]/text()') #驗證時間
for j in range(len(ip_addrs)):
ip = ip_addrs[j]+":"+port[j]
init_proxies.append(ip)
#輸出爬取數(shù)據(jù)
print(ip_addrs[j]+"\t\t"+port[j]+"\t\t"+sur_time[j]+"\t"+ver_time[j])
return init_proxies
def testProxy(curr_ip):
'''
功能：驗證IP有效性
@curr_ip：當(dāng)前被驗證的IP
'''
tmp_proxies = []
#socket.setdefaulttimeout(10) #設(shè)置全局超時時間
#tarURL = "http://www.baidu.com/"
#tarURL = "http://blog.csdn.net/deserts_x/article/details/76726885" #CSDN-老樹畫畫
tarURL = "http://blog.csdn.net/deserts_x/article/details/76409116" #CSDN-張佳瑋
user_agent = GetUserAgent()
proxy_support = urllib.request.ProxyHandler({"http":curr_ip})
opener = urllib.request.build_opener(proxy_support)
opener.addheaders=[("User-Agent",user_agent)]
urllib.request.install_opener(opener)
try:
res = urllib.request.urlopen(tarURL,timeout=5).read()
if len(res)!=0:
tmp_proxies.append(curr_ip)
except urllib.error.URLError as er2:
if hasattr(er2,"code"):
print("驗證代理IP（"+curr_ip+"）時發(fā)生錯誤（錯誤代碼）："+str(er2.code))
if hasattr(er2,"reason"):
print("驗證代理IP（"+curr_ip+"）時發(fā)生錯誤（錯誤原因）："+str(er2.reason))
except Exception as er:
print("驗證代理IP（"+curr_ip+"）時發(fā)生如下錯誤）：")
print(er)
time.sleep(2)
return tmp_proxies
def mulTestProxies(init_proxies):
'''
功能：多進(jìn)程驗證IP有效性
@init_proxies：原始未驗證代理IP池
'''
pool = Pool(processes=7)
fl_proxies = pool.map(testProxy,init_proxies)
pool.close()
pool.join() #等待進(jìn)程池中的worker進(jìn)程執(zhí)行完畢
return fl_proxies
if __name__ == '__main__':
#---（1）獲取代理IP池
init_proxies = getProxies() #獲取原始代理IP
tmp_proxies = mulTestProxies(init_proxies) #多進(jìn)程測試原始代理IP
proxy_addrs = []
for tmp_proxy in tmp_proxies:
if len(tmp_proxy)!=0:
#print(tmp_proxy)
proxy_addrs.append(tmp_proxy)
print(len(proxy_addrs))
print(proxy_addrs)
三罐孝、小結(jié)
關(guān)于爬取和維護(hù)IP代理池的文章網(wǎng)上其實不少呐馆，簡書上也不少，對于想要爬蟲進(jìn)階的人來說一定是會碰到的莲兢，畢竟當(dāng)你想大規(guī)模爬取某網(wǎng)站數(shù)據(jù)時汹来，只靠自己電腦的IP在單位時間里大量訪問的話，多半會出事改艇，而為了爬取效率起見收班，就需要大量IP車輪戰(zhàn)，前仆后繼地上了谒兄。
提供免費IP代理的網(wǎng)站也不少摔桦，當(dāng)然質(zhì)量并不好，大多IP并不能用承疲，這也是在維護(hù)IP代理池時邻耕，需要靠不斷爬取、檢測和更新IP解決的燕鸽。
最后兄世，重要的事情去說三遍：
看了本文想刷其他網(wǎng)站數(shù)據(jù)的朋友，還是三思而行啊研，如果賬號被封御滩，概不負(fù)責(zé)哦。==悲伶。
看了本文想刷其他網(wǎng)站數(shù)據(jù)的朋友艾恼，還是三思而行，如果賬號被封麸锉，概不負(fù)責(zé)哦钠绍。==。
看了本文想刷其他網(wǎng)站數(shù)據(jù)的朋友花沉，還是三思而行柳爽，如果賬號被封媳握，概不負(fù)責(zé)哦。==磷脯。
