開源IP代理池
繼上一篇開源項目IPProxys的使用之后辜荠，大家在github,我的公眾號和博客上提出了很多建議。經(jīng)過兩周時間的努力素征，基本完成了開源IP代理池IPProxyPool的重構(gòu)任務(wù)，業(yè)余時間基本上都花在上面了。（我的新書《Python爬蟲開發(fā)與項目實戰(zhàn)》發(fā)布了药蜻，大家在這里可以看到樣章）
IPProxyPool相對于之前的版本完成了哪些提升呢？主要包括一下幾個方面：
- 使用多進(jìn)程+協(xié)程的方式替饿，將爬取和驗證的效率提高了50倍以上语泽，可以在幾分鐘之內(nèi)獲取所有的有效IP
- 使用web.py作為API服務(wù)器，重構(gòu)HTTP接口
- 增加Mysql,MongoDB等數(shù)據(jù)庫的適配
- 支持python3
- 增加了三個代理網(wǎng)站
- 增加評分機(jī)制视卢，評比穩(wěn)定的ip
大家如果感興趣踱卵，可以到github上clone IPProxyPool源碼，已經(jīng)500多 star了据过。
下面說明一下使用方法：
項目依賴
Ubuntu,debian
1.安裝sqlite數(shù)據(jù)庫(一般系統(tǒng)內(nèi)置): apt-get install sqlite3
2.安裝requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent
3.安裝lxml: apt-get install python-lxml
注意：
- python3下的是pip3
- 有時候使用的gevent版本過低會出現(xiàn)自動退出情況惋砂，請使用pip install gevent --upgrade更新
- 在python3中安裝web.py，不能使用pip绳锅，直接下載py3版本的源碼進(jìn)行安裝
Windows
1.下載sqlite,路徑添加到環(huán)境變量
2.安裝requests,chardet,web.py,gevent: pip install requests chardet web.py sqlalchemy gevent
3.安裝lxml: pip install lxml或者下載lxml windows版
注意：
- python3下的是pip3
- 有時候使用的gevent版本過低會出現(xiàn)自動退出情況西饵，請使用pip install gevent --upgrade更新
- 在python3中安裝web.py，不能使用pip鳞芙，直接下載py3版本的源碼進(jìn)行安裝
擴(kuò)展說明
本項目默認(rèn)數(shù)據(jù)庫是sqlite眷柔，但是采用sqlalchemy的ORM模型期虾，通過預(yù)留接口可以拓展使用MySQL，MongoDB等數(shù)據(jù)庫驯嘱。 配置方法： ‘’
1.MySQL配置
第一步：首先安裝MySQL數(shù)據(jù)庫并啟動
第二步：安裝MySQLdb或者pymysql(推薦)
第三步：在config.py文件中配置DB_CONFIG镶苞。如果安裝的是MySQLdb模塊，配置如下：
DB_CONFIG={
'DB_CONNECT_TYPE':'sqlalchemy',
'DB_CONNECT_STRING' = 'mysql+mysqldb://root:root@localhost/proxy?charset=utf8'
}
如果安裝的是pymysql模塊宙拉，配置如下：
DB_CONFIG={
'DB_CONNECT_TYPE':'sqlalchemy',
'DB_CONNECT_STRING' = 'mysql+pymysql://root:root@localhost/proxy?charset=utf8'
}
sqlalchemy下的DB_CONNECT_STRING參考支持?jǐn)?shù)據(jù)庫宾尚，理論上使用這種配置方式不只是適配MySQL，sqlalchemy支持的數(shù)據(jù)庫都可以谢澈，但是僅僅測試過MySQL煌贴。
2.MongoDB配置
第一步：首先安裝MongoDB數(shù)據(jù)庫并啟動
第二步：安裝pymongo模塊
第三步：在config.py文件中配置DB_CONFIG。配置類似如下：
DB_CONFIG={
'DB_CONNECT_TYPE':'pymongo',
'DB_CONNECT_STRING' = 'mongodb://localhost:27017/'
}
由于sqlalchemy并不支持MongoDB,因此額外添加了pymongo模式锥忿，DB_CONNECT_STRING參考pymongo的連接字符串牛郑。
注意:
如果大家想拓展其他數(shù)據(jù)庫，可以直接繼承db下ISqlHelper類敬鬓，實現(xiàn)其中的方法淹朋，具體實現(xiàn)參考我的代碼，然后在DataStore中導(dǎo)入類即可钉答。
try:
if DB_CONFIG['DB_CONNECT_TYPE'] == 'pymongo':
from db.MongoHelper import MongoHelper as SqlHelper
else:
from db.SqlHelper import SqlHelper as SqlHelper
sqlhelper = SqlHelper()
sqlhelper.init_db()
except Exception,e:
raise Con_DB_Fail
有感興趣的朋友础芍，可以將Redis的實現(xiàn)方式添加進(jìn)來。
具體的使用方法数尿，大家請到github上看使用說明仑性。歡迎大家贊賞分享。
