pyspider簡介
官方文檔：http://docs.pyspider.org/
中文網(wǎng)址：http://www.pyspider.cn/book/pyspider/
最新版本: https://github.com/binux/pyspider/releases
PySpider：一個國人編寫的強大的網(wǎng)絡爬蟲系統(tǒng)并帶有強大的WebUI。采用Python語言編寫罢洲，分布式架構百宇，支持多種數(shù)據(jù)庫后端眷射，強大的WebUI支持腳本編輯器绽榛，任務監(jiān)視器谈况，項目管理器以及結果查看器厂置。在線示例： http://demo.pyspider.org/
pyspider是作者之前做的一個爬蟲架構的開源化實現(xiàn)泰涂。主要的功能需求是：
- 抓取、更新調(diào)度多站點的特定的頁面
- 需要對頁面進行結構化信息提取
- 靈活可擴展，穩(wěn)定可監(jiān)控 而這也是絕大多數(shù)python爬蟲的需求 —— 定向抓取铲觉，結構化化解析澈蝙。但是面對結構迥異的各種網(wǎng)站，單一的抓取模式并不一定能滿足撵幽，靈活的抓取控制是必須的灯荧。為了達到這個目的，單純的配置文件往往不夠靈活盐杂，于是逗载，通過腳本去控制抓取是我最后的選擇。 而去重調(diào)度链烈，隊列厉斟，抓取，異常處理强衡，監(jiān)控等功能作為框架擦秽，提供給抓取腳本沃暗，并保證靈活性谓松。最后加上web的編輯調(diào)試環(huán)境，以及web任務監(jiān)控冻辩，即成為了這套框架越败。
pyspider的設計基礎是：以python腳本驅(qū)動的抓取環(huán)模型爬蟲
- 通過python腳本進行結構化信息的提取触幼，follow鏈接調(diào)度抓取控制，實現(xiàn)最大的靈活性
- 通過web化的腳本編寫究飞、調(diào)試環(huán)境置谦。web展現(xiàn)調(diào)度狀態(tài)
- 抓取環(huán)模型成熟穩(wěn)定，模塊間相互獨立噪猾，通過消息隊列連接霉祸，從單進程到多機分布式靈活拓展
安裝:
添加依賴
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev
sudo apt-get install phantomjs
pip3 install pyspider
啟動:
pyspider all
開啟編寫一個pyspider項目
from pyspider.libs.base_handler import *
import pymongo,pymysql
class Handler(BaseHandler):
"""
Handler 就是 pyspider 爬蟲的主類，我
們可以在此處定義爬取袱蜡、解析丝蹭、存儲的邏輯。
整個爬蟲的功能只需要一個 Handler 即可完成
"""
#crawl_config 屬性坪蚁。我們可以將本項目的
#所有爬取配置統(tǒng)一定義到這里奔穿，如定義
#Headers、設置代理等敏晤，配置之后全局生效
crawl_config = {
}
#mongodb數(shù)據(jù)庫連接
mongocli = pymongo.MongoClient(host='localhost', port=27017)
db = mongocli['jobbole']
jobbolearticle = db['jobbolearticle']
#mysql數(shù)據(jù)庫連接
client = pymysql.Connect(
'localhost','root','ljh1314',
'class1804',charset='utf8'
)
cursor = client.cursor()
#on_start() 方法是爬取入口贱田，初始的爬取
#請求會在這里產(chǎn)生
@every(minutes=24 * 60)
def on_start(self):
self.crawl('http://blog.jobbole.com/all-posts/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
print(response)
for each in response.doc('a[class="page-numbers"]').items():
self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
self.index_page(response)
list = response.doc('#archive .post.floated-thumb')
# print(list)
for item in list.items():
print('拿到了數(shù)據(jù)')
print(type(item))
title = item('a.archive-title').text()
url = item('a.archive-title').attr.href
print(title,url)
return {
'title':title,
'url':url,
}
#方法中return的結果會執(zhí)行on_result
def on_result(self,result):
#可以在這里做數(shù)據(jù)的持久化
print(result)
#mysql數(shù)據(jù)庫存儲
sql = """
INSERT INTO jobbole()
VALUE (%s,%s)
"""
try:
self.cursor.execute(sql,[result['title'],result['url']])
self.client.commit()
except Exception as err:
print(err)
self.client.rollback()
#mongodb數(shù)據(jù)庫存儲
self.jobbolearticle.insert(result)
