一郊酒、方法
1遇绞、通過CrawlerProcess
"""
from scrapy.crawlerimport CrawlerProcess
from scrapy.utils.projectimport get_project_settings
def run_process_spiders(spider_list=None):
? ? process = CrawlerProcess(get_project_settings())
????for spider in spider_list:
? ? ????process.crawl(spider)
????process.start()
"""
二、參考資料
1燎窘、在同一個進(jìn)程中運(yùn)行多個蜘蛛（官方摹闽，使用中）
https://docs.scrapy.org/en/latest/topics/practices.html#run-from-script
2、scrapy啟動多爬蟲（簡書褐健，測試可用）
http://www.reibang.com/p/03a68cbacf92
三、思考
1蚜迅、不使用scrapy-redis的原因
a. 啟動后好像是按順序執(zhí)行的（即一個個執(zhí)行爬蟲舵匾，速度變慢）
b. redis內(nèi)存吃不消（兩個就滿了）
c. 服務(wù)器重啟后等一些意外情況，會導(dǎo)致redis重啟谁不，保存的request指紋丟失
d. 即便指紋不丟失坐梯，也可能會出現(xiàn)數(shù)據(jù)丟失的情況
