scrapy框架的幾大模塊：
Scrapy Engine(引擎): 負(fù)責(zé)Spider、ItemPipeline、Downloader豹障、Scheduler中間的通訊冯事，信號(hào)、數(shù)據(jù)傳遞等血公。
Scheduler(調(diào)度器): 它負(fù)責(zé)接受引擎發(fā)送過來的Request請(qǐng)求昵仅，并按照一定的方式進(jìn)行整理排列，入隊(duì)累魔，當(dāng)引擎需要時(shí)摔笤，交還給引擎。
Downloader（下載器）：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請(qǐng)求垦写，并將其獲取到的Responses交還給Scrapy Engine(引擎)吕世，由引擎交給Spider來處理，
Spider（爬蟲）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)梯投，獲取Item字段需要的數(shù)據(jù)命辖，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)分蓖，
Item Pipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item尔艇，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、過濾么鹤、存儲(chǔ)等）的地方.
創(chuàng)建爬蟲項(xiàng)目：
scrapy startproject 爬蟲項(xiàng)目名稱
生成項(xiàng)目文件：
scrapy genspider qidian qidian.com
scrapy genspider -t crawl ziru ziroom.com（通用爬蟲）
運(yùn)行項(xiàng)目：
在項(xiàng)目中spiders文件中 運(yùn)行scrapy crawl 項(xiàng)目名稱（不加后綴）
目前對(duì)于學(xué)習(xí)框架出現(xiàn)的問題：
對(duì)于框架的操作终娃，爬取數(shù)據(jù)基本上沒問題，可能對(duì)于復(fù)雜的接口尋找URL比較費(fèi)勁午磁，還有對(duì)mogdb數(shù)據(jù)庫操作不熟悉尝抖，數(shù)據(jù)存到mogdb數(shù)據(jù)庫不會(huì)使用，對(duì)于管道不是很理解寫法迅皇。
