特點(diǎn)：爬取效率高算途、擴(kuò)展性強(qiáng)翘贮、Python編寫(xiě)跨平臺(tái)運(yùn)行
Scrapy中的數(shù)據(jù)流由執(zhí)行引擎控制，其過(guò)程如下:
1招狸、引擎打開(kāi)一個(gè)網(wǎng)站(open a domain)驾讲，找到處理該網(wǎng)站的Spider并向該spider請(qǐng)求第一個(gè)要爬取的URL(s)岔乔。
2瞻佛、引擎從Spider中獲取到第一個(gè)要爬取的URL并在調(diào)度器(Scheduler)以Request調(diào)度梅忌。
3、引擎向調(diào)度器請(qǐng)求下?個(gè)要爬取的URL僧鲁。
4虐呻、調(diào)度器返回下一個(gè)要爬取的URL給引擎象泵，引擎將URL通過(guò)下載中間件(請(qǐng)求(request)方向)轉(zhuǎn)發(fā)給下載器(Downloader)。
5铃慷、一旦頁(yè)面下載完畢单芜，下載器生成一個(gè)該頁(yè)面的Response蜕该，并將其通過(guò)下載中間件(返回(response)方向)發(fā)送給引擎犁柜。
6、引擎從下載器中接收到Response并通過(guò)Spider中間件(輸入方向)發(fā)送給Spider處理堂淡。
7馋缅、Spider處理Response并返回爬取到的Item及(跟進(jìn)的)新的Request給引擎。
8绢淀、引擎將(Spider返回的)爬取到的Item給Item Pipeline萤悴，將(Spider返回的)Request給調(diào)度器。
9皆的、(從第二步)重復(fù)直到調(diào)度器中沒(méi)有更多地request覆履，引擎關(guān)閉該網(wǎng)站。
安裝scrapy
mac费薄、linux安裝
pip install scrapy -i https://pypi.douban.com/simple
window安裝
1.scrapy依賴(lài)twiste硝全，進(jìn)入http://www.lfd.uci.edu/~gohlke/pythonlibs/，找到適合的版本楞抡，下載對(duì)應(yīng)python版本的Twisted?18.9.0?cp36?cp36m?win32.whl
2.在下載安裝存放的目錄下安裝
pip install Twisted?18.9.0?cp36?cp36m?win32.whl
3.如遇到需要下載pywin32伟众，請(qǐng)下載安裝
# Python for Windows Extensions - Browse /pywin32/Build 221 at SourceForge.net
pip install pypiwin32
4.安裝scrapy
pip install scrapy
項(xiàng)目創(chuàng)建
1.創(chuàng)建項(xiàng)目
scrapy startproject hupugear(項(xiàng)目名稱(chēng))
2.創(chuàng)建spiders，進(jìn)入項(xiàng)目名稱(chēng)下創(chuàng)建
scrapy genspider hupu(蜘蛛名) bbs.hupu.com/gear(訪(fǎng)問(wèn)網(wǎng)站域名)
3.配置文件
修改settings文件
# 防止被爬網(wǎng)站的robots.txt起作用
ROBOTSTXT_OBEY = False # True改為False
FEED_EXPORT_ENCODING = 'utf-8' # 添加編碼格式
4.蜘蛛執(zhí)行命令
scrapy crawl hupu（蜘蛛名）
5.保存到文件 (csv, xml, pickle, marshal)
scrapy crawl hupu（蜘蛛名） -o result.json(生成文件名及格式)
6.其他
Spider 屬性
name: Spider名字
allowed_domains: 允許爬取的域名
start_urls: Spider啟動(dòng)時(shí)爬取的url列表
parse: 負(fù)責(zé)解析返回的響應(yīng)召廷，提取數(shù)據(jù)或進(jìn)?步處理
創(chuàng)建Item
Item是保存爬取數(shù)據(jù)的容器
解析Response
使用Item
后續(xù)Request
scrapy使用
Selector 是 Scrapy的選擇器凳厢，基于lxml構(gòu)建，支持xpath, css, 正則表達(dá)式匹配
scrapy shell https://bbs.hupu.com/gear
result = response.selector.xpath("http://a[@class='truetit']/text()")
type(result)
result = response.selector.xpath("http://a[@class='truetit']/text()").extract()
result
SelectorList 和 Selector都可繼續(xù)調(diào)用xpath()和css() 方法
result = response.selector.xpath("http://div[contains(@class, 'author')]")
type(result)
result.xpath('./a[1]/text()').extract()
result.xpath('./a[1]/text()').extract_first()
result.xpath('./a[1]/text()')[0]
result.xpath('./a[3]/text()').extract()
result.xpath('./a[3]/text()').extract()[0]
result.xpath('./a[3]/text()').extract_first()
extract()[0] 與 extract_first()區(qū)別
result = response.css('.author.box').xpath('./a[2]/text()').extract()
result = response.css('.endreply.box a::text').extract()
result = response.css('.endreply.box a::attr(href)').extract()
result = response.css('.author.box').xpath('./a[2]/text()').re('(.*?)-.*?-')
項(xiàng)目文件
1.spider
1竞慢、name：爬蟲(chóng)的名字先紫。
2、allowed_domains：允許爬取的域名筹煮，不在此范圍的鏈接不會(huì)被跟進(jìn)爬取泡孩。
3、start_urls：起始URL列表寺谤，當(dāng)我們沒(méi)有重寫(xiě)start_requests()方法時(shí)仑鸥，就會(huì)從這個(gè)列表開(kāi)始爬取。
4变屁、custom_settings：用來(lái)存放蜘蛛專(zhuān)屬配置的字典眼俊，這里的設(shè)置會(huì)覆蓋全局的設(shè)置。
5粟关、crawler：由from_crawler()方法設(shè)置的和蜘蛛對(duì)應(yīng)的Crawler對(duì)象疮胖，Crawler對(duì)象包含了很多項(xiàng)目組件，利用它我們可以獲取項(xiàng)目的配置信息，如調(diào)用crawler.settings.get()方法澎灸。
6院塞、settings：用來(lái)獲取爬蟲(chóng)全局設(shè)置的變量。
7性昭、start_requests()：此方法用于生成初始請(qǐng)求拦止，它返回一個(gè)可迭代對(duì)象。該方法默認(rèn)是使用GET請(qǐng)求訪(fǎng)問(wèn)起始URL糜颠，如果起始URL需要使?POST請(qǐng)求來(lái)訪(fǎng)問(wèn)就必須重寫(xiě)這個(gè)方法汹族，發(fā)送POST請(qǐng)求使使用FormRequest方法。
8其兴、parse()：當(dāng)Response沒(méi)有指定回調(diào)函數(shù)時(shí)顶瞒，該方法就會(huì)被調(diào)用，它負(fù)責(zé)處理Response對(duì)象并返回結(jié)果元旬，從中提取出需要的數(shù)據(jù)和后續(xù)的請(qǐng)求榴徐，該方法需要返回類(lèi)型為Request或Item的可迭代對(duì)象（生成器當(dāng)前也包含在其中，因此根據(jù)實(shí)際需要可以用return或yield來(lái)產(chǎn)生返回值）匀归。
9坑资、closed()：當(dāng)蜘蛛關(guān)閉時(shí)，該方法會(huì)被調(diào)用朋譬，通常用來(lái)做一些釋放資源的善后操作盐茎。
2.Downloader Middleware
2.1 調(diào)度器將Request發(fā)給Downloader下載之前，可以對(duì)Request進(jìn)行修改process_request(request, spider)
2.2 下載后生成的Response發(fā)給Spider之前徙赢，可以對(duì)Response進(jìn)行修改process_response(request, response, spider)
2.3 Downloader或process_request()方法異常
process_exception(request, exception, spider)
3.Pipeline（管道）
圖片管道：Image pipeline
get_media_requests(self,item, info)：
## ImagePipeline根據(jù)image_urls中指定的url進(jìn)行爬取字柠，可以通過(guò)get_media_requests為每個(gè)url生成一個(gè)Request。
如：
for image_url in item[‘image_urls’]:
self.default_headers[‘referer’] = image_url
yield Request(image_url, headers=self.default_headers)
item_completed(self, results, item, info)：
## 圖片下載完畢后狡赐，處理結(jié)果會(huì)以二元組的方式返回給item_completed()函數(shù)窑业。
這個(gè)二元組定義如下：
(success, image_info_or_failure)
其中，第一個(gè)元素表示圖片是否下載成功枕屉；第二個(gè)元素是一個(gè)字典常柄。如：
def item_completed(self, results, item, info):
image_paths = [x[‘path’] for ok, x in results if ok]
if not image_paths:
raise DropItem(“Item contains no images”)
item[‘image_paths’] = image_paths
return item
