scrapy適合一次性爬取全站船殉，如果我想多次爬取薪韩，主目錄頁面難免會出現(xiàn)重復(fù)，去重增量爬取就很有必要了丧凤。
我在網(wǎng)上搜到了這樣的文章scrapy+redis增量爬取,
邏輯是前一次存取每次爬過的url進數(shù)據(jù)庫募闲，這一次在pipeline中再把數(shù)據(jù)庫中已爬url讀取存進redis里，然后比對這次爬的item里的url息裸，一樣就不存蝇更。
看了這個邏輯，我覺得核心思想有道理呼盆，用redis鍵值比對年扩，不過，更優(yōu)化的邏輯應(yīng)該是我先比對url访圃，重復(fù)的url直接不request厨幻，而不是還去request-response-獲取到item到pipeline再來處理。
所以文章的邏輯都對腿时，只是篩選位置不對况脆，應(yīng)該放在spider里。
import scrapy
from pyquery import PyQuery as pq
from rscrapydouban.items import RscrapydoubanItem
import sqlite3
import redis
import pandas as pd
class JianshuCrawler(scrapy.Spider):
name = 'jianshu'
start_urls =['http://www.reibang.com/users/3a2f7a33a8cc/timeline']
def parse(self, response):
self.conn = sqlite3.connect('jianshu.sqlite')
self.cur = self.conn.cursor()
redis_db = redis.Redis(host='127.0.0.1', port='6379')
redis_data_dict = "dup_url"
redis_db.flushdb()
sql = 'select url from js'
df = pd.read_sql(sql, self.conn)
self.conn.commit()
self.conn.close()
if len(df['url']):
for url in df['url'].tolist():
redis_db.hset(redis_data_dict, url, 0)
res = pq(response.body)
for title in res('#list-container .title').items():
urlpa ='http://www.reibang.com'+title.attr('href')
if redis_db.hexists(redis_data_dict, urlpa):
pass
else:
yield scrapy.Request(urlpa,callback=self.parse_detai)
def parse_detail(self,response):
res = pq(response.body)
jsitems = RscrapydoubanItem()
jsitems['name'] = res('.article .title').text()
jsitems['url'] =response.url
return jsitems
Redis相關(guān)的有三條：
redis_db.flushdb()清空數(shù)據(jù)庫db批糟，這是粗暴的解決方案格了，可以保證每次都能把所有的url都放入，假如也是增量添加的話徽鼎，可以考慮在item中添加一項flag盛末，已表示這次新增的量，每次讀取數(shù)據(jù)庫得到flag只添加flag相同的項否淤，然后flag+1為這次的項悄但。但是數(shù)據(jù)io一個也是讀，一堆也是讀石抡，所以我倒覺得這樣url的增量無關(guān)緊要吧檐嚣。
redis_db.hset(redis_data_dict, url, 0)
這個是把url作為keys存入redis，至于values無所謂
redis_db.hexists(redis_data_dict, urlpa)
判斷url是否存在了
反思：
1.初始request的額外需求應(yīng)該可以放在spider中間件中的process_start_requests,但是然后剩查重還是要在spider里啰扛，這里又要再連接一次數(shù)據(jù)庫感覺有些麻煩嚎京，故全部放在spider。
2.增量我覺得有兩種侠讯，一種就是上面說的挖藏，每次爬的url不一樣，想從不同頁面繼續(xù)爬厢漩。比方說簡書里新增一篇文章就有一個新的url膜眠，比如什么值得買雖然page1的內(nèi)容永遠是新的，但是每個div里的內(nèi)容頁面確是獨一無二的。
一種是每次新增的內(nèi)容在相同的頁面里宵膨，比如文章的修改架谎，或者論壇的評論之類的，這種可能就要在pipeline里來去重了辟躏。
