本文參考：
1撮慨，知乎用戶@小小造數(shù)? 鏈接：https://www.zhihu.com/question/60280580/answer/174669168
2峡扩，崔慶才的個(gè)人博客：http://cuiqingcai.com/
一旅敷、什么是Python爬蟲框架
簡單來說茂契，Python的爬蟲框架就是一些爬蟲項(xiàng)目的半成品。比如我們可以將一些常見爬蟲功能的實(shí)現(xiàn)代碼寫好弛车，然后留下一些接口，在做不同的爬蟲項(xiàng)目時(shí)，我們只需要根據(jù)實(shí)際情況祈坠，手寫少量需要變動(dòng)的代碼部分，并按照需要調(diào)用這些接口矢劲，即可以實(shí)現(xiàn)一個(gè)爬蟲項(xiàng)目赦拘。（## 作者：小小造數(shù)君。鏈接：https://www.zhihu.com/question/60280580/answer/174669168 ? 來源：知乎）
框架可以幫我們處理一部分事情芬沉，比如下載模塊不用我們自己寫了躺同，我們只需專注于提取數(shù)據(jù)就好了阁猜。
框架使用了異步的模式;可以加快我們的下載速度，而不用自己去實(shí)現(xiàn)異步框架笋籽；畢竟實(shí)現(xiàn)異步爬蟲是一件比較麻煩的事情蹦漠。
二、什么是Scrapy
Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)车海，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架笛园。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中侍芝。
其最初是為了頁面抓取 (更確切來說, 網(wǎng)絡(luò)抓取 )所設(shè)計(jì)的研铆， 也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網(wǎng)絡(luò)爬蟲。Scrapy用途廣泛州叠，可以用于數(shù)據(jù)挖掘棵红、監(jiān)測(cè)和自動(dòng)化測(cè)試
三、Scrapy的架構(gòu)圖：
上圖是整個(gè)Scrapy的架構(gòu)圖咧栗，圖釋如下：
Scrapy Engine: 這是引擎逆甜，負(fù)責(zé)Spiders、ItemPipeline致板、Downloader交煞、Scheduler中間的通訊，信號(hào)斟或、數(shù)據(jù)傳遞等等Ｋ卣鳌（像不像人的身體？）
Scheduler(調(diào)度器): 它負(fù)責(zé)接受引擎發(fā)送過來的requests請(qǐng)求萝挤，并按照一定的方式進(jìn)行整理排列御毅，入隊(duì)、并等待Scrapy Engine(引擎)來請(qǐng)求時(shí)怜珍，交給引擎端蛆。
Downloader（下載器）：負(fù)責(zé)下載Scrapy Engine(引擎)發(fā)送的所有Requests請(qǐng)求，并將其獲取到的Responses交還給Scrapy Engine(引擎)酥泛，由引擎交給Spiders來處理欺税，
Spiders：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)揭璃，并將需要跟進(jìn)的URL提交給引擎晚凿，再次進(jìn)入Scheduler(調(diào)度器)，
Item Pipeline：它負(fù)責(zé)處理Spiders中獲取到的Item瘦馍，并進(jìn)行處理歼秽，比如去重，持久化存儲(chǔ)（存數(shù)據(jù)庫情组，寫入文件燥筷，總之就是保存數(shù)據(jù)用的）
Downloader Middlewares（下載中間件）：你可以當(dāng)作是一個(gè)可以自定義擴(kuò)展下載功能的組件
Spider Middlewares（Spider中間件）：你可以理解為是一個(gè)可以自定擴(kuò)展和操作引擎和Spiders中間‘通信‘的功能組件（比如進(jìn)入Spiders的Responses;和從Spiders出去的Requests）
四箩祥，數(shù)據(jù)在整個(gè)Scrapy的流向：
程序運(yùn)行的時(shí)候，
引擎：Hi肆氓！Spider, 你要處理哪一個(gè)網(wǎng)站袍祖？
Spiders：我要處理http://23wx.com
引擎：你把第一個(gè)需要的處理的URL給我吧。
Spiders：給你第一個(gè)URL是http://XXXXXXX.com
引擎：Hi谢揪！調(diào)度器蕉陋，我這有request你幫我排序入隊(duì)一下。
調(diào)度器：好的拨扶，正在處理你等一下凳鬓。
引擎：Hi！調(diào)度器患民，把你處理好的request給我缩举，
調(diào)度器：給你，這是我處理好的request
引擎：Hi匹颤！下載器仅孩，你按照下載中間件的設(shè)置幫我下載一下這個(gè)request
下載器：好的！給你印蓖，這是下載好的東西辽慕。（如果失敗：不好意思另伍，這個(gè)request下載失敗鼻百，然后引擎告訴調(diào)度器绞旅，這個(gè)request下載失敗了摆尝，你記錄一下，我們待會(huì)兒再下載因悲。）
引擎：Hi堕汞！Spiders，這是下載好的東西晃琳，并且已經(jīng)按照Spider中間件處理過了讯检，你處理一下（注意！這兒responses默認(rèn)是交給def parse這個(gè)函數(shù)處理的）
Spiders：（處理完畢數(shù)據(jù)之后對(duì)于需要跟進(jìn)的URL）卫旱，Hi人灼！引擎，這是我需要跟進(jìn)的URL顾翼，將它的responses交給函數(shù) def xxxx(self, responses)處理投放。還有這是我獲取到的Item。
引擎：Hi 适贸！Item Pipeline我這兒有個(gè)item你幫我處理一下灸芳！調(diào)度器涝桅！這是我需要的URL你幫我處理下。然后從第四步開始循環(huán)烙样，直到獲取到你需要的信息冯遂，
注意！只有當(dāng)調(diào)度器中不存在任何request了谒获，整個(gè)程序才會(huì)停止蛤肌，（也就是說，對(duì)于下載失敗的ＵＲＬ究反，Scrapy會(huì)重新下載寻定。）
以上就是Scrapy整個(gè)流程了。
