scrapy簡介：
scrapy是一個基于Twisted的異步處理框架，是純python實現(xiàn)的爬蟲框架井誉，其架構(gòu)清晰瘟判，模塊之間的耦合程度低怨绣，可擴展性極強】交瘢可以靈活的完成各種需求篮撑。我們只要定制開發(fā)幾個模塊就可以輕松的實現(xiàn)一個爬蟲！
!!!擴展:
Twisted是用Python實現(xiàn)的基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架匆瓜，Twisted支持許多常見的傳輸及應(yīng)用層協(xié)議赢笨，包括TCP、UDP驮吱、SSL/TLS茧妒、HTTP、IMAP左冬、SSH桐筏、IRC以及FTP。就像Python一樣拇砰，Twisted也具有“內(nèi)置電池”（batteries-included）的特點梅忌。Twisted對于其支持的所有協(xié)議都帶有客戶端和服務(wù)器實現(xiàn)绊袋，同時附帶有基于命令行的工具，使得配置和部署產(chǎn)品級的Twisted應(yīng)用變得非常方便铸鹰。
scrapy的架構(gòu)介紹：
engine：引擎，處理整個系統(tǒng)的數(shù)據(jù)流處理皂岔，觸發(fā)事務(wù)蹋笼、是整個框架的核心。
item：項目躁垛，它定義了爬取結(jié)果的數(shù)據(jù)結(jié)構(gòu)剖毯，爬取的數(shù)據(jù)結(jié)構(gòu)會被賦值成Item對象
Scheduler：調(diào)度器，接受引擎發(fā)過來的請求并將其加入隊列當中教馆，在引擎再次請求的時候?qū)⒄埱筇峁┙o引擎
Downloader：下載器, 下載網(wǎng)頁內(nèi)容返回給蜘蛛（spiders）逊谋。
Spider（爬蟲）：它負責處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)土铺，并將需要跟進的URL提交給引擎胶滋，再次進入Scheduler(調(diào)度器)，
Item Pipeline(管道)：它負責處理Spider中獲取到的Item悲敷，并進行進行后期處理（詳細分析究恤、過濾、存儲等）的地方.
Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件后德。
Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件（比如進入Spider的Responses;和從Spider出去的Requests）
scrapy框架的使用
#創(chuàng)建一個爬蟲項目
scrapy startproject 項目名稱
#在項目中創(chuàng)建爬蟲文件
scrapy genspider 爬蟲文件名稱 爬取網(wǎng)站域名
#例： scrapy genspider baidu baidu.com
1.scrapy中的解析方法
xpath選擇器和css選擇器:
在scrapy 中我們可以直接通過response.xpath('') 和 response.css('')直接調(diào)用,并通過extract（）方法部宿，將取到的selector對象轉(zhuǎn)換為字符串（在一個列表中）
2.scrapy shell
我們可以在終端scrapy shell http://xxxx.xxx.xxx 命令進入到scrapy shell 模式 進行調(diào)試
3.scrapy spider
Spider類定義了如何爬取某個(或某些)網(wǎng)站。包括了爬取的動作(例如:是否跟進鏈接)以及如何從網(wǎng)頁的內(nèi)容中提取結(jié)構(gòu)化數(shù)據(jù)(爬取item)瓢湃。 換句話說理张，Spider就是您定義爬取的動作及分析某個網(wǎng)頁(或者是有些網(wǎng)頁)的地方。
class scrapy.Spider是最基本的類绵患，所有編寫的爬蟲必須繼承這個類雾叭。
主要用到的函數(shù)及調(diào)用順序為：
init() : 初始化爬蟲名字和start_urls列表
start_requests() 調(diào)用make_requests_from url():生成Requests對象交給Scrapy下載并返回response
parse():解析response，并返回Item或Requests（需指定回調(diào)函數(shù)）藏雏。
Item傳給Item pipline(item管道)持久化 拷况， 而Requests交由Scrapy下載，并由指定的回調(diào)函數(shù)處理（默認parse())掘殴，一直進行循環(huán)赚瘦，直到處理完所有的數(shù)據(jù)為止。
Scrapy Settings.py文件配置
Scrapy設(shè)置(settings)提供了定制Scrapy組件的方法奏寨∑鹨猓可以控制包括核心(core)，插件(extension)病瞳，pipeline及spider組件揽咕。比如 設(shè)置 Pipeliine悲酷、LOG_LEVEL等。
BOT_NAME：(也是項目名稱)亲善。 使用 startproject 命令創(chuàng)建項目時會被自動賦值设易。
SPIDER_MODULES = ['ziruproject.spiders']
NEWSPIDER_MODULE = 'ziruproject.spiders' 爬蟲的文件路徑
USER_AGENT：用戶代理，一般設(shè)置這個參數(shù)用來偽裝瀏覽器請求
ROBOTSTXT_OBEY：是否遵守ROBOT協(xié)議蛹头，為False時顿肺，表示不遵守，為True時表示遵守（默認為True）
CONCURRENT_REQUESTS：默認: 16,Scrapy downloader(下載器) 處理的最大的并發(fā)請求數(shù)量渣蜗。
DOWNLOAD_DELAY：下載延遲的秒數(shù)屠尊，用來限制訪問的頻率
CONCURRENT_REQUESTS_PER_DOMAIN：每個域名下能夠被執(zhí)行的最大的并發(fā)請求數(shù)據(jù)量，默認為８
CONCURRENT_REQUESTS_PER_IP：默認: 0耕拷，對單個IP進行并發(fā)請求的最大值讼昆。
1.如果非0，則忽略CONCURRENT_REQUESTS_PER_DOMAIN 設(shè)定,使用該設(shè)定骚烧。
也就是說浸赫，并發(fā)限制將針對IP，而不是網(wǎng)站赃绊。
2.該設(shè)定也影響 DOWNLOAD_DELAY: 如果CONCURRENT_REQUESTS_PER_IP 非0掺炭，
下載延遲應(yīng)用在IP而不是網(wǎng)站上。
COOKIES_ENABLED：是否要攜帶cookies凭戴，一般情況下涧狮，不是必須要攜帶cookies的請求，我們將這個參數(shù)設(shè)置為False么夫，(默認為True)
TELNETCONSOLE_ENABLED：默認: True表明 telnet 終端 (及其插件)是否啟用的布爾值者冤。通過Telnet可以監(jiān)聽當前爬蟲的狀態(tài)、信息档痪，操作爬蟲等...涉枫。
DEFAULT_REQUEST_HEADERS：默認: 如下
{
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
}
用于Scrapy HTTP請求的默認標頭
EXTENSIONS：我們可以在這個參數(shù)下自定義擴展
ITEM_PIPELINES：設(shè)置并激活管道文件，為了存儲數(shù)據(jù)使用腐螟，
后面的數(shù)字表示優(yōu)先級愿汰，數(shù)字越小，優(yōu)先級越高
DOWNLOAD_TIMEOUT：默認: 180乐纸，下載器超時時間(單位: 秒)衬廷。自動限速（AutoThrottle）擴展，該擴展能根據(jù)Scrapy服務(wù)器及您爬取的網(wǎng)站的負載自動限制爬取速度汽绢。
設(shè)計目標
更友好的對待網(wǎng)站吗跋，而不使用默認的下載延遲0。 自動調(diào)整scrapy來優(yōu)化下載速度，使得用戶不用調(diào)節(jié)下載延遲及并發(fā)請求數(shù)來找到優(yōu)化的值跌宛。 用戶只需指定允許的最大并發(fā)請求數(shù)酗宋，剩下的都交給擴展來完成.
數(shù)據(jù)緩存：
目的：用來將已經(jīng)發(fā)送的請求緩存下來，一遍后續(xù)使用
是否啟用緩存策略
HTTPCACHE_ENABLED = True
緩存超時時間
HTTPCACHE_EXPIRATION_SECS = 0
緩存保存路徑
HTTPCACHE_DIR = 'httpcache'
緩存忽略的Http狀態(tài)碼
HTTPCACHE_IGNORE_HTTP_CODES = []
緩存存儲的插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
關(guān)于日志信息的設(shè)置
LOG_ENABLED
默認: True
是否啟用logging疆拘。
LOG_ENCODING
默認: 'utf-8'
logging使用的編碼蜕猫。
LOG_LEVEL
默認: 'DEBUG'
log的最低級別“テ可選的級別有: CRITICAL丹锹、 ERROR、WARNING芬失、INFO、DEBUG 匾灶。
- CRITICAL - 嚴重錯誤(critical)
- ERROR - 一般錯誤(regular errors)
- WARNING - 警告信息(warning messages)
- INFO - 一般信息(informational messages)
- DEBUG - 調(diào)試信息(debugging messages)
LOG_FILE
默認: None
logging輸出的文件名棱烂。如果為None，則使用標準錯誤輸出(standard error)阶女〖彰樱
Logging使用
Scrapy提供了log功能，可以通過 logging 模塊使用秃踩。
可以修改配置文件settings.py衬鱼，任意位置添加下面兩行，效果會清爽很多憔杨。
LOG_FILE = "TencentSpider.log"
LOG_LEVEL = "INFO"
Scrapy 的暫停和恢復
有些情況下鸟赫，例如爬取大的站點，我們希望能暫停爬取消别，之后再恢復運行抛蚤。
Scrapy通過如下工具支持這個功能:
一個把調(diào)度請求保存在磁盤的調(diào)度器
一個把訪問請求保存在磁盤的副本過濾器[duplicates filter]
一個能持續(xù)保持爬蟲狀態(tài)(鍵/值對)的擴展
Job 路徑:
要啟用持久化支持，你只需要通過 JOBDIR 設(shè)置 job directory 選項寻狂。
這個路徑將會存儲 所有的請求數(shù)據(jù)來保持一個單獨任務(wù)的狀態(tài)(例如：一次
spider爬取(a spider run))岁经。必須要注意的是，這個目錄不允許被不同的
spider 共享蛇券，甚至是同一個spider的不同jobs/runs也不行缀壤。也就是說，
這個目錄就是存儲一個 單獨 job的狀態(tài)信息纠亚。
怎么使用??? 要啟用一個爬蟲的持久化塘慕，運行以下命令:
scrapy crawl somespider -s JOBDIR=crawls/somespider-1
