crawlSpider
創(chuàng)建 CrawlSpider模板 的代碼：
scrapy genspider -t crawl 爬蟲文件 域名
rules
CrawlSpider使用rules屬性來(lái)決定爬蟲的爬取規(guī)則，并將匹配后的url請(qǐng)求提交給引擎,完成后續(xù)的爬取工作明肮。
在rules中包含一個(gè)或多個(gè)Rule對(duì)象装获，每個(gè)Rule對(duì)爬取網(wǎng)站的動(dòng)作定義了某種特定操作，比如提取當(dāng)前相應(yīng)內(nèi)容里的特定鏈接，是否對(duì)提取的鏈接跟進(jìn)爬取，對(duì)提交的請(qǐng)求設(shè)置回調(diào)函數(shù)等。
注意:
1.如果多個(gè)rule匹配了相同的鏈接，則根據(jù)規(guī)則在本集合中被定義的順序鲫咽，第一個(gè)會(huì)被使用。
2.當(dāng)編寫爬蟲規(guī)則時(shí)谷异，避免使用parse作為回調(diào)函數(shù)分尸。由于CrawlSpider使用parse方法來(lái)實(shí)現(xiàn)其邏輯，如果覆蓋了 parse方法歹嘹，crawl spider將會(huì)運(yùn)行失敗箩绍。
主要參數(shù)：
allow：滿足括號(hào)中“正則表達(dá)式”的URL會(huì)被提取，如果為空尺上，則全部匹配材蛛。
deny：滿足括號(hào)中“正則表達(dá)式”的URL一定不提取（優(yōu)先級(jí)高于allow）怎抛。
allow_domains：會(huì)提取的鏈接的domains卑吭。
deny_domains：一定不會(huì)被提取鏈接的domains。
restrict_xpaths：使用xpath表達(dá)式马绝，和allow共同作用過(guò)濾鏈接
分布式爬蟲
同樣的豆赏，RedisCrawlSpider類不需要寫start_urls：
scrapy-redis 一般直接寫allowd_domains來(lái)指定需要爬取的域，也可以從在構(gòu)造方法init()里動(dòng)態(tài)定義爬蟲爬取域范圍（一般不用）富稻。
必須指定redis_key河绽，即啟動(dòng)爬蟲的命令，參考格式：redis_key = 'myspider:start_urls'
根據(jù)指定的格式唉窃，start_urls將在 Master端的 redis-cli 里 lpush 到 Redis數(shù)據(jù)庫(kù)里，RedisSpider 將在數(shù)據(jù)庫(kù)里獲取start_urls
這個(gè)RedisCrawlSpider類爬蟲繼承了RedisCrawlSpider纹笼，能夠支持分布式的抓取纹份。因?yàn)椴捎玫氖莄rawlSpider，所以需要遵守Rule規(guī)則廷痘，以及callback不能寫parse()方法蔓涧。
這個(gè)爬蟲繼承了RedisSpider， 它能夠支持分布式的抓取笋额，采用的是basic spider元暴，需要寫parse函數(shù)。 其次就是不再有start_urls了兄猩，取而代之的是redis_key茉盏，scrapy-redis將key從Redis里pop出來(lái)鉴未，成為請(qǐng)求的url地址。
這里只是用到Redis的去重和保存功能,并沒(méi)有實(shí)現(xiàn)分布式
這個(gè)爬蟲繼承的是CrawlSpider鸠姨，它是用來(lái)說(shuō)明Redis的持續(xù)性铜秆，當(dāng)我們第一次運(yùn)行dmoz爬蟲，然后Ctrl + C停掉之后讶迁，再運(yùn)行dmoz爬蟲连茧，之前的爬取記錄是保留在Redis里的。
