通過閱讀 《learning scrapy》這本書提高自己的爬蟲知識水平垃你，記錄些覺得比較有意思的地方吧
1 xpath
xpath是查找元素節(jié)點(diǎn)的重要工具默终。入門的話自行百度徘钥，下面是幾個有意思的例子
- 任意div下面的a "http://div//a"
- 任意a的文本 "http://a/text()"
- 任意a的href "http://a/@href"
- 任意div下的子節(jié)點(diǎn) "http://div/*"
- 任意含有href屬性的a "http://a[@href]"
- 任意含有href屬性并且href含有qq的a "http://a[contains(@href,"qq")]
- 任意含有href屬性并且href以https開頭的a "http://a[starts-with(@href,"https)]"
- 任意含有href屬性并且href不以https開頭的a "http://a[not(starts-with(@href,"https))]"
- 獲得id為firstHeading的h1節(jié)點(diǎn)的子節(jié)點(diǎn)的span的文案 //h1[@id="firstHeading"]/span/text()
- 獲得任意class含有l(wèi)tr和skin-vector的節(jié)點(diǎn)下的任意子孫節(jié)點(diǎn)h1的文案 //*[contains(@class,"ltr") and contains(@class,"skin-vector")]//
h1//text() - 獲得文案為References 的節(jié)點(diǎn)的父節(jié)點(diǎn)之后的所有兄弟節(jié)點(diǎn)下的a標(biāo)簽 //*[text()="References"]/../following-sibling::div//a
xpath查找小提示：
- 避免用 @class=“xxx”的方式查找蝎困，因?yàn)閡i改版css class 變動的概率很大莫其，而用contains會好很多
- 用 有特定意義的class定位比通用的好用，例如用 “miaosha” 好過 用“green”
3.id通常不會變溜畅，而且通常有唯一性捏卓，所以能用id定位盡量使用id
2. settings
scrapy 的setting配置是非常重要的一部分，按照功能模塊劃分一下主要的設(shè)置項
2.1 Analysis 分析用
2.1.1 Logging
Scrapy 有不同等級的log： DEBUG (lowest level), INFO,
WARNING, ERROR, CRITICAL (highest level), SILENT(no logging). 可以設(shè)置log 文件只接受基本大于等于目標(biāo)level.通過LOG_LEVEL設(shè)置
LOG_STDOUT 是是否所有輸出 含print 寫入日志文件
其他的可自己去查文檔
2.1.2 Stats
STATS_DUMP ： 默認(rèn)為True ,是否在結(jié)束時將統(tǒng)計數(shù)據(jù)寫入log文件慈格，關(guān)于統(tǒng)計數(shù)據(jù)后面會寫
DOWNLOADER_STATS ： 默認(rèn) True怠晴，是否啟用下載統(tǒng)計收集
DEPTH_STATS : 默認(rèn)True，是否收集爬取深度統(tǒng)計信息
DEPTH_STATS_VERBOSE：默認(rèn)False浴捆，收集爬取深度的完整信息
STATSMAILER_RCPTS ： 爬取完成后發(fā)生統(tǒng)計信息的通知郵箱列表 如 ['my@mail.com']
2.1.3 telnet 是在爬取過程中能夠訪問爬取狀態(tài)的方式
scrapy 運(yùn)行過程中能夠通過 telnet 控制 pause continue 和 stop
TELNETCONSOLE_ENABLED 控制是否啟用telnet 蒜田，默認(rèn)為True
TELNETCONSOLE_PORT 是端口號，不用設(shè)置 程序會自己分配好
shell啟動scrapy后輸出
[scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023:6023
這樣的控制臺信息
然后可以通過
telnet localhost 6023
連接
通過
>>> engine.pause()
>>> engine.unpause()
>>> engine.stop()
控制
2.2 Performance性能相關(guān)
性能這塊后面會細(xì)講选泻，這里只是描述下設(shè)置項
CONCURRENT_REQUESTS ：并發(fā)數(shù)
CONCURRENT_REQUESTS_PER_DOMAIN 和CONCURRENT_REQUESTS_PER_IP 顧名思義是控制每個域名和ip的爬取并發(fā)數(shù)冲粤，
如果 CONCURRENT_REQUESTS_PER_IP不為0那么CONCURRENT_REQUESTS_PER_DOMAIN的配置會忽略
DOWNLOAD_TIMEOUT 是request發(fā)起后downloader的等待時間美莫，超時取消request，默認(rèn)180s
DOWNLOAD_DELAY 請求完成到下一次發(fā)起的間隔
RANDOMIZE_DOWNLOAD_DELAY Ture 表示對DOWNLOAD_DELAY進(jìn)行+-%50區(qū)間的隨機(jī)處理
DNSCACHE_ENABLED ：默認(rèn)Ture 使用內(nèi)存中的dns緩存
2.3 中斷和使用緩存
滿足設(shè)置好的條件后spider可以自己停止爬取如
CLOSESPIDER_ITEMCOUNT：itempipeline處理了超過xx個item后 spider處理完未處理的任務(wù)后停止
CLOSESPIDER_TIMEOUT ：爬取超時 xx秒后停止梯捕，0的話為不會因?yàn)槌瑫r停止
CLOSESPIDER_PAGECOUNT：處理了xx個response后停止
CLOSESPIDER_ERRORCOUNT：發(fā)生錯誤xx次停止 如http錯誤 404 500....厢呵，默認(rèn)不會因?yàn)殄e誤停止
如果使用了 HttpCacheMiddleware 的話 可以使用緩存設(shè)置
HTTPCACHE_ENABLED ： 是否使用緩存，默認(rèn)False
HTTPCACHE_DIR ：緩存路徑
HTTPCACHE_POLICY ：Cache策略的實(shí)現(xiàn)類傀顾，默認(rèn)是scrapy.extensions.httpcache.DummyPolicy
HTTPCACHE_STORAGE ：緩存的存儲方式襟铭，默認(rèn)是 scrapy.extensions.httpcache.FilesystemCacheStorage
HTTPCACHE_DBM_MODULE ：數(shù)據(jù)庫模塊 默認(rèn)是anydbm
這一塊如果用處大可以獨(dú)立搞一套
3 Twisted
Scrapy是基于Twisted開發(fā)的，了解Scrapy之前學(xué)習(xí)一下Twisted對于理解也會加強(qiáng)吧
需要記得Twisted是基于事件驅(qū)動的網(wǎng)絡(luò)框架短曾，細(xì)節(jié)可以自行百度
deferred 是基礎(chǔ)單位寒砖，可以用來構(gòu)成事件驅(qū)動
簡單的用法如下
from twisted.internet import defer
d=defer.Deferred()
print(d.called) #False
d.callback(3)
print(d.called) #True
print(d.result) #3
def addval(v):
print("inputval is"+str(v))
return v+1;
d=defer.Deferred()
d.addCallback(addval)
d.callback(3) # 驅(qū)動 addval(3)
print(d.result) #4
通過addCallback的方式可以改變回調(diào)事件鏈
from twisted.internet import defer
a=defer.Deferred()
b=defer.Deferred()
def a_callback(v):
print(v)
return {"value":v}
def b_callback(v):
print(v)
#返回deferred讓事件鏈改變
return b
def c_callback(v):
print("ccallback",end=" ")
print(v)
a.addCallback(a_callback).addCallback(b_callback).addCallback(c_callback)
a.callback(3)
#print 3 然后print {'value': 3}
b.callback(99)
# ccallback 99
DeferredList用來構(gòu)建事件鏈，只有參與構(gòu)建的Deferred 全部有了callback 才會回調(diào)callback 事件嫉拐，
import time
from twisted.internet import defer
from concurrent import futures
def done(v):
print("done with ",end="")
print(v)
deferreds=[defer.Deferred() for x in range(5)]
times=[1,2,2,1]
join=defer.DeferredList(deferreds)
join.addCallback(done)
def timesleep(sleepsecond,x):
print("sleep %s"%(sleepsecond))
time.sleep(sleepsecond)
deferreds[x].callback(x)
print("%s callbak %s"%(sleepsecond,x))
with futures.ThreadPoolExecutor(8) as pool:
for x in range(4):
append=pool.submit(timesleep,times[x],x)
deferreds[4].callback(99)
#全部完成后會打印
#done with [(True, 0), (True, 1), (True, 2), (True, 3), (True, 99)]
#如果使用了 errback 哩都，True會變?yōu)镕alse
通過inlineCallbacks 可以進(jìn)行事件調(diào)度，下面的流程就是
d1 callback完婉徘，調(diào) next 代碼繼續(xù)走 執(zhí)行 d2 callback next 然后執(zhí)行return 調(diào)用最外層的callback
from twisted.internet import reactor, defer
def loadRemoteData(callback):
import time
time.sleep(1)
callback(1)
def loadRemoteData2(callback):
import time
time.sleep(1)
callback(2)
@defer.inlineCallbacks
def getRemoteData():
d1 = defer.Deferred()
reactor.callInThread(loadRemoteData, d1.callback)
r1 = yield d1
d2 = defer.Deferred()
reactor.callInThread(loadRemoteData2, d2.callback)
r2 = yield d2
return r1 + r2
def getResult(v):
print("result=", v)
if __name__ == '__main__':
d = getRemoteData()
d.addCallback(getResult)
reactor.callLater(4, reactor.stop);
reactor.run()
4 scrapy 程序框架簡述
可以先看下scrapy的工作框架圖
我們寫的spiders是工作架構(gòu)的核心漠嵌，它們用于創(chuàng)建request 、解析response 并且產(chǎn)出items和更多的requests
itemPipeline 是我們用來處理的item的管道
process_item() 可以用來處理item判哥，我們處理完了item 可以return item献雅，讓下一個pipeline處理，也可以 raising DropItem exception 以結(jié)束這個item的后續(xù)處理流程
open_spider() 方法會在初始化spider的回調(diào)
close_spider() 方法會在spider結(jié)束的時候回調(diào)
downloader middlewares 是下載和請求的中間件塌计，默認(rèn)的下載中間件的源碼可以在github上查看 SPIDER_MIDDLEWARES_BASE setting in settings/default_settings.py
4.1 itemPipeline 示例
from datetime import datetime
class TidyUp(object):
def process_item(self, item, spider):
item['date'] = map(datetime.isoformat, item['date'])
return item
然后修改setting.py的內(nèi)容挺身，滿足
TEM_PIPELINES = {'properties.pipelines.tidyup.TidyUp': 100 }
properties.pipelines.tidyup.TidyUp為自定義的pipeline的完整類名
