Scrapy Engine(引擎): 負(fù)責(zé)Spider其掂、ItemPipeline缤底、Downloader、Scheduler中間的通訊自娩，信號(hào)刻伊、數(shù)據(jù)傳遞等。
Scheduler(調(diào)度器): 它負(fù)責(zé)接受引擎發(fā)送過來(lái)的Request請(qǐng)求椒功，并按照一定的方式進(jìn)行整理排列，入隊(duì)智什，當(dāng)引擎需要時(shí)动漾，交還給引擎。
Downloader（下載器）：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請(qǐng)求荠锭，并將其獲取到的Responses交還給Scrapy Engine(引擎)旱眯，由引擎交給Spider來(lái)處理，
Spider（爬蟲）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)删豺，并將需要跟進(jìn)的URL提交給引擎共虑，再次進(jìn)入Scheduler(調(diào)度器)，
Item Pipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item呀页，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析妈拌、過濾、存儲(chǔ)等）的地方.
Downloader Middlewares（下載中間件）：是一個(gè)可以自定義擴(kuò)展下載功能的組件蓬蝶。
Spider Middlewares（Spider中間件）：是一個(gè)可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件（比如進(jìn)入Spider的Responses;和從Spider出去的Requests）
scrapy startproject 爬蟲項(xiàng)目名稱
新建一個(gè)新的爬蟲
明確目標(biāo)
（編寫items.py）：明確你想要抓取的目標(biāo)
- 制作爬蟲
scrapy genspider 爬蟲文件名稱 域名:制作爬蟲開始爬取網(wǎng)頁(yè)
- 存儲(chǔ)內(nèi)容
（pipelines.py）：設(shè)計(jì)管道存儲(chǔ)爬取內(nèi)容
