- 官方文檔：http://docs.pyspider.org/
- PySpider：一個(gè)國人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的WebUI淘菩。采用Python語言編寫星虹，分布式架構(gòu)挣饥，支持多種數(shù)據(jù)庫后端自晰，強(qiáng)大的WebUI支持腳本編輯器剑逃，任務(wù)監(jiān)視器滞伟，項(xiàng)目管理器以及結(jié)果查看器
- pyspider是作者之前做的一個(gè)爬蟲架構(gòu)的開源化實(shí)現(xiàn)。主要的功能需求是：
- 抓取炕贵、更新調(diào)度多站點(diǎn)的特定的頁面
- 需要對頁面進(jìn)行結(jié)構(gòu)化信息提取
- 靈活可擴(kuò)展，穩(wěn)定可監(jiān)控 而這也是絕大多數(shù)python爬蟲的需求 —— 定向抓取野崇，結(jié)構(gòu)化化解析称开。但是面對結(jié)構(gòu)迥異的各種網(wǎng)站，單一的抓取模式并不一定能滿足乓梨，靈活的抓取控制是必須的鳖轰。為了達(dá)到這個(gè)目的，單純的配置文件往往不夠靈活扶镀，于是蕴侣，通過腳本去控制抓取是我最后的選擇。 而去重調(diào)度臭觉，隊(duì)列昆雀，抓取，異常處理蝠筑，監(jiān)控等功能作為框架狞膘，提供給抓取腳本，并保證靈活性什乙。最后加上web的編輯調(diào)試環(huán)境挽封，以及web任務(wù)監(jiān)控，即成為了這套框架臣镣。
- pyspider的設(shè)計(jì)基礎(chǔ)是：以python腳本驅(qū)動(dòng)的抓取環(huán)模型爬蟲
- 通過python腳本進(jìn)行結(jié)構(gòu)化信息的提取辅愿，follow鏈接調(diào)度抓取控制智亮，實(shí)現(xiàn)最大的靈活性
- 通過web化的腳本編寫、調(diào)試環(huán)境点待。web展現(xiàn)調(diào)度狀態(tài)
- 抓取環(huán)模型成熟穩(wěn)定阔蛉，模塊間相互獨(dú)立，通過消息隊(duì)列連接亦鳞，從單進(jìn)程到多機(jī)分布式靈活拓展
ubuntu安裝:
- 添加依賴
sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev
sudo apt-get install phantomjs
pip3 install pyspider
windows直接進(jìn)行pip安裝即可
運(yùn)行
pyspider all
打開瀏覽器馍忽，輸入：
http://127.0.0.1:5000
出現(xiàn)以下界面運(yùn)行成功
image.png
創(chuàng)建項(xiàng)目：點(diǎn)擊Create
image.png
- 填寫項(xiàng)目名稱和起始url
- Mode：Slime有些功能還沒有完善，選擇Script
- 點(diǎn)擊創(chuàng)建
進(jìn)去之后就可以寫你的代碼了
左邊這一欄可以簡單運(yùn)行一下你的代碼燕差。
右邊是寫你的代碼的遭笋，下面該介紹一下相關(guān)的參數(shù)和方法了
# pyspider爬蟲的主類，我們在這里進(jìn)行爬取徒探，解析和儲存信息
class Handler(BaseHandler):
# crawl_config：在這個(gè)參數(shù)中可以做全局的設(shè)置（UA瓦呼，Headers，proxy...）
# itags:做一個(gè)標(biāo)記测暗，如果頁面或版本號發(fā)生變化央串，會再請求一次
crawl_config = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0',
# 'itags':'v1'
}
# 創(chuàng)建mongodb數(shù)據(jù)庫連接
mongo_client = pymongo.MongoClient('127.0.0.1', 27017)
# 創(chuàng)建或指定數(shù)據(jù)庫
db = mongo_client['lianjia']
# 獲取數(shù)據(jù)庫下的集合
col = db['lianjiacol']
# 創(chuàng)建mysql數(shù)據(jù)庫連接
mysql_cli = pymysql.Connect(
'127.0.0.1','root','密碼','數(shù)據(jù)庫名稱',3306,charset='utf8'
)
# 創(chuàng)建游標(biāo)
cursor = mysql_cli.cursor()
- self.crawl中的參數(shù)
# 每隔一天進(jìn)行一次重復(fù)請求（重新執(zhí)行on_start方法）
@every(minutes=24 * 60)
def on_start(self):
crawl：根據(jù)crawl發(fā)起請求，
exetime：延時(shí)碗啄，
data：默認(rèn)get請求质和，當(dāng)發(fā)起一個(gè)post請求用data={}傳遞參數(shù)
忽略ssl證書，默認(rèn)不忽略：validate_cert=False
fetch_type=‘js’,加載動(dòng)態(tài)頁面稚字，也可以執(zhí)行js代碼：
js_script='''
function() {
window.scrollTo(0,document.body.scrollHeight);
return 123;
}
'''
save饲宿，對應(yīng)的是一個(gè)字典，傳遞參數(shù)
附加到url傳遞參數(shù)：parmars = {}
"""
例： self.crawl('http://www.baidu.com' callback=self.index_page,save={'a':'b'},parmars={'name':'zhangsan'})
def index_page(self,response):
print(response.url) --> 'http://www.baidu.com/?name=zhangsan'
response.save['a'] --> b
"""
self.crawl(url, callback=self.index_page, validate_cert=False)
- xpath胆描、css
# 同樣的url在十天之內(nèi)不會重復(fù)爬取
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
# response.doc:pyquery對象
# response.etree:返回lxml
# 提取每一個(gè)房源的詳情url地址
hourse_infos = response.doc(
'ul.sellListContent li.clear.LOGCLICKDATA'
) # css
hourse_infos = response.etree.xpath(
'ul[@class="sellListContent"]/ li[@class="clear LOGCLICKDATA"]'
) # xpath
for hourse in hourse_infos.items():
detail_url = hourse(
'div.title a'
).attr.href
detail_url = hourse.xpath(
'div[@class="title"]/a/@href'
)
self.crawl(detail_url, callback=self.detail_page, validate_cert=False)
# 提取下一頁發(fā)起請求
# 提取json方法：data = response.doc('.page-box.house-lst-page-box').attr.page-data
data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
json_data = json.loads(data)
print(json_data)
cur_page = int(json_data['curPage'])
total_page = int(json_data['totalPage'])
if cur_page < total_page:
# 發(fā)起下一頁
next_page = cur_page + 1
next_url = 'https://bj.lianjia.com/ershoufang/pg{}/'.format(str(next_page))
self.crawl(next_url, callback=self.index_page, validate_cert=False)
# for each in response.doc('a[href^="http"]').items():
# self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
print('二手房獲取成功')
# 獲取二手房詳情信息
info = {}
# 標(biāo)題
# info['title'] = response.doc('h1.main').attr.title
info['title'] = response.doc('h1.main').text()
# 其他信息
info['subTitle'] = response.doc('div.sub').text()
# 關(guān)注人數(shù)
info['attrnNum'] = response.doc('#favCount').text()
# 幾人看過
info['lookNum'] = response.doc('#cartCount').text()
# 總價(jià)
info['price '] = response.doc('span.total').text()
# 單價(jià)
info['unitPriceValue'] = response.doc('span.unitPriceValue').text() + response.doc(
'span.unitPriceValue i').text()
# 大小
info['size'] = response.doc('div.room div.mainInfo').text()
# 幾層
info['height'] = response.doc('div.room div.subInfo').text()
# 方向
info['diriction'] = response.doc('div.type div.mainInfo').text()
# 類型
info['type'] = response.doc('div.room div.subInfo').text()
# print(info)
return info
def on_result(self, result):
print('獲取到結(jié)果', result)
if result:
try:
# mongo
self.col.insert(result)
# mysql
sql = """
INSERT INTO lianjia(%s) VALUES (%S)
"""%(','.join(result.keys()),','.join(['%s']*len(result)))
data = list(result.values())
self.cursor.execute(sql,data)
self.mysql_cli.commit()
print('數(shù)據(jù)存儲成功')
except Exception as err:
print('數(shù)據(jù)庫插入失敗', err)
self.mysql_cli.rollback()
