工作原理 :
基于爬蟲對網(wǎng)絡(luò)上免費的代理公布站進行抓取和分析 , 并將最近的結(jié)果保存在本地文件中 , 等待驗證 , 可以利用花刺等工具進行批量驗證 , 也可以使用筆者編寫的Python多線程代理驗證腳本進行批量驗證
截圖
Paste_Image.png
321321321.png
Paste_Image.png
Paste_Image.png
Paste_Image.png
代碼實現(xiàn) :
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
import time
import sys
import binascii
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')
# config-start
proxiesFileName = "proxies.txt" # 獲取到的代理保存的文件名
timeout = 5 # 連接超時時間
urls = [
'http://bjcore.xicidaili.com/nn', # 國內(nèi)匿名
'http://bjcore.xicidaili.com/nt', # 國內(nèi)透明
'http://bjcore.xicidaili.com/wt', # 國外匿名
'http://bjcore.xicidaili.com/wt', # 國外透明
'http://bjcore.xicidaili.com/qq', # Socks代理
'http://www.kuaidaili.com/proxylist/1', # 快代理
'http://www.kuaidaili.com/proxylist/2', # 快代理
'http://www.kuaidaili.com/proxylist/3', # 快代理
'http://www.kuaidaili.com/proxylist/4', # 快代理
'http://www.kuaidaili.com/proxylist/5', # 快代理
'http://www.kuaidaili.com/proxylist/6', # 快代理
'http://www.kuaidaili.com/proxylist/7', # 快代理
'http://www.kuaidaili.com/proxylist/8', # 快代理
'http://www.kuaidaili.com/proxylist/9', # 快代理
'http://www.kuaidaili.com/proxylist/10', # 快代理
'http://www.ip3366.net/?stype=1&page=1', # 云代理
'http://www.ip3366.net/?stype=1&page=2', # 云代理
'http://www.ip3366.net/?stype=1&page=3', # 云代理
'http://www.ip3366.net/?stype=1&page=4', # 云代理
'http://www.ip3366.net/?stype=1&page=5', # 云代理
'http://www.ip3366.net/?stype=1&page=6', # 云代理
'http://www.ip3366.net/?stype=1&page=7', # 云代理
'http://www.ip3366.net/?stype=1&page=8', # 云代理
'http://www.ip3366.net/?stype=1&page=9', # 云代理
'http://www.ip3366.net/?stype=1&page=10', # 云代理
# 很奇怪這個網(wǎng)站的所有代理都沒有注明協(xié)議(這個網(wǎng)站很久沒有更新了)
# 'http://www.proxy#/default.aspx', # 綜合代理
# 'http://www.proxy#/Proxy', # 免費代理服務器
# 'http://www.proxy#/QQ-Proxy', # 免費QQ代理服務器
# 'http://www.proxy#/MSN-Proxy', # 免費MSN代理服務器
# 'http://www.proxy#/Region/Brazil', # 巴西
# 'http://www.proxy#/Region/China', # 中國
# 'http://www.proxy#/Region/America', # 美國
# 'http://www.proxy#/Region/Taiwan', # 臺灣
# 'http://www.proxy#/Region/Japan', # 日本
# 'http://www.proxy#/Region/Thailand', # 泰國
# 'http://www.proxy#/Region/Vietnam', # 越南
# 'http://www.proxy#/Region/bahrein', # 巴林
]
# config-end
def getSimpleContent(url):
headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
return requests.get(url,headers=headers).text.encode('UTF-8')
def analysis(url):
print "Getting content of url...",
content=getSimpleContent(url)
print "Ok!"
results=[]
print "Parsing..."
soup = BeautifulSoup(content, "html.parser")
if "xicidaili" in url:
print u"Using : 西刺代理模塊"
trs = soup.findAll('tr')
trs = trs[1:] # 去掉表頭
for tr in trs:
tds = tr.findAll('td')
ip = tds[1].string
port = tds[2].string
location = tds[3].string
anonymous = tds[4].string
protocol = tds[5].string
if location == None:
location = u"未知"
else:
location = location.replace(" ","")
location=location.replace('\x0a','')
anonymous=anonymous.replace('\x0a','')
protocol=protocol.replace('\x0a','')
proxyType=url.split("/")[-1]
if proxyType=="nn":
tempName=u"國內(nèi)匿名"
elif proxyType=="nt":
tempName=u"國內(nèi)透明"
elif proxyType=="wn":
tempName=u"國外匿名"
elif proxyType=="wt":
tempName=u"國外透明"
elif proxyType=="qq":
tempName=u"QQ代理"
else:
tempName=u""
fileName=u"西刺-"+tempName+str(getNowTime("%Y-%m-%d-%H-%M-%S"))+".txt"
if proxyType=="qq": # 將代理類型從QQ代理替換為SOCKS5
protocol=u"SOCKS5"
# 記錄日志文件
appendToFile(fileName,ip+":"+port+"@"+protocol+"#"+location+","+anonymous+"\n")
return
elif "proxy360" in url:
print u"Using : proxy360模塊"
divs = soup.findAll(style="float:left; display:block; width:630px;")
for div in divs:
spans=div.findAll('span')
ip=spans[0].string
ip=ip.replace(' ','')
ip=ip.replace('\r\n','')
port=spans[1].string
port=port.replace(' ','')
port=port.replace('\r\n','')
anonymous=spans[2].string
anonymous=anonymous.replace(' ','')
anonymous=anonymous.replace('\r\n','')
location=spans[3].string
location=location.replace(' ','')
location=location.replace('\r\n','')
proxyType=url.split("/")[-1]
if proxyType=="default.aspx":
tempName=u"綜合代理"
elif proxyType=="Proxy":
tempName=u"免費代理服務器"
elif proxyType=="QQ-Proxy":
tempName=u"免費QQ代理服務器"
elif proxyType=="MSN-Proxy":
tempName=u"免費MSN代理服務器"
elif proxyType=="Brazil":
tempName=u"巴西"
elif proxyType=="China":
tempName=u"中國"
elif proxyType=="America":
tempName=u"美國"
elif proxyType=="Taiwan":
tempName=u"臺灣"
elif proxyType=="Japan":
tempName=u"日本"
elif proxyType=="Thailand":
tempName=u"泰國"
elif proxyType=="Vietnam":
tempName=u"越南"
elif proxyType=="bahrein":
tempName=u"巴林"
else:
tempName=u""
fileName=u"proxy360-"+tempName+str(getNowTime("%Y-%m-%d-%H-%M-%S"))+".txt"
# 這個網(wǎng)站并沒有指定代理的協(xié)議 , 這里默認使用HTTP協(xié)議
protocol="HTTP"
# 記錄日志文件
appendToFile(fileName,ip+":"+port+"@"+protocol+"#"+location+","+anonymous+"\n")
return
elif "kuaidaili" in url:
print u"Using : 快代理模塊"
trs = soup.findAll('tr')
trs = trs[1:] # 去掉表頭
for tr in trs:
tds = tr.findAll('td')
ip=tds[0].string
port=tds[1].string
anonymous=tds[2].string
protocol=tds[3].string
location=tds[5].string
tempName=url.split("/")[-1]
fileName=u"快代理-"+tempName+"-"+str(getNowTime("%Y-%m-%d-%H-%M-%S"))+".txt"
# 記錄日志文件
appendToFile(fileName,ip+":"+port+"@"+protocol+"#"+location+","+anonymous+"\n")
return
elif "ip3366" in url:
print u"Using : 云代理模塊"
trs = soup.findAll('tr')
trs = trs[1:] # 去掉表頭
for tr in trs:
tds = tr.findAll('td')
ip=tds[0].string
port=tds[1].string
anonymous=tds[2].string
protocol=tds[3].string
location=tds[5].string
tempName=url.split("page=")[-1]
fileName=u"云代理-"+tempName+"-"+str(getNowTime("%Y-%m-%d-%H-%M-%S"))+".txt"
# 這里有萬惡的編碼問題 , 暫時沒有能力解決 , 中文的描述就先不寫到文件里了
# 記錄日志文件
# appendToFile(fileName,ip+":"+port+"@"+protocol+"#"+location+","+anonymous+"\n")
appendToFile(fileName,ip+":"+port+"@"+protocol+"\n")
return
else:
return
def getNowTime(format):
return time.strftime(format,time.localtime(time.time()))
def appendToFile(fileName,content):
file=open(fileName,"a+")
file.write(content)
file.close()
# 批量獲取代理
for url in urls:
print "----------------------------"
print "Getting : "+url
analysis(url)
