1.scrapy概述
官方網(wǎng)站：http://scrapy.org [orginzation]
使用Python開(kāi)發(fā)的主要數(shù)據(jù)采集的一個(gè)應(yīng)用程序框架，核心使用它來(lái)進(jìn)行爬蟲(chóng)程序的快速開(kāi)發(fā)，底層使用了twisted異步模塊巢块，所以在進(jìn)行數(shù)據(jù)采集下載時(shí)效率非常高！
Windows下：安裝分兩步進(jìn)行
1.1 先安裝scrapy
#管理員身份運(yùn)行cmd窗口
pip install scrapy
or
easy install scrapy
注意：
安裝完scrapy之后易遣，可以正常的進(jìn)行scrapy項(xiàng)目的開(kāi)發(fā)，但是在windows上運(yùn)行項(xiàng)目會(huì)出現(xiàn)問(wèn)題，如果出現(xiàn)類似WinError這樣的問(wèn)題，請(qǐng)安裝下面的模塊
1.2安裝win32
#需要安裝一個(gè)pypiwin32模塊中跌，用于scrapy模塊可能調(diào)用win底層c庫(kù)進(jìn)行函數(shù)操作
pip install pypiwin32
2.項(xiàng)目開(kāi)發(fā)———?jiǎng)?chuàng)建scrapy項(xiàng)目
通過(guò)執(zhí)行如下命令，來(lái)創(chuàng)建scrapy項(xiàng)目
#通過(guò)scrapy命令菇篡，加上startproject選項(xiàng)漩符，創(chuàng)建一個(gè)名稱為spider_name的爬蟲(chóng)項(xiàng)目
scrapy startproject <spider_name>
在pycharm中直接運(yùn)行工具中的cmd終端窗口，執(zhí)行如下命令創(chuàng)建一個(gè)爬蟲(chóng)項(xiàng)目
scrapy startproject myspider
注意：關(guān)于終端窗口驱还、命令窗口嗜暴、shell窗口
windows系統(tǒng)中:終端窗口、命令窗口 => cmd窗口
win10:shell窗口：power shell 可以執(zhí)行常見(jiàn)的linux
命令议蟆。
終端窗口:Terminal
ubantu(like linux/unix)系統(tǒng)中：終端：shell>shell 命令窗口
Terminal > shell窗口
Mac OS:終端》shell窗口
創(chuàng)建好的項(xiàng)目文件結(jié)構(gòu)如下：
|--myspider/ 項(xiàng)目根目錄
|--scrapy.cfg 項(xiàng)目配置文件 [cfg:config]
|--myspider/ 爬蟲(chóng) 模塊->以后的爬蟲(chóng)程序開(kāi)發(fā)都在這個(gè)模塊中
|--spiders/ 爬蟲(chóng)程序所在的目錄
|--items.py 采集的數(shù)據(jù)->定義封裝模型類的模塊
|--pipelines.py 采集的數(shù)據(jù)->采集完成之后進(jìn)行數(shù)據(jù)驗(yàn)證闷沥、存儲(chǔ)的模塊
|--middlewares.py 中間鍵定義的模塊
|--settings.py 項(xiàng)目設(shè)置模塊
3.開(kāi)發(fā)爬蟲(chóng)程序
（1）分析爬蟲(chóng)要采集的url地址，分析采集的數(shù)據(jù)字段
[http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=1](http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=1)
[http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=2](http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=2)
招聘崗位： job
發(fā)布公司： company
薪水待遇： salary
(2).定義采集的字段封裝的Item類型咐容，在items.py模塊中舆逃，定義item類
我們通過(guò)scrapy項(xiàng)目中的items.py模塊定義封裝采集數(shù)據(jù)字段的類型
為了能使用scrapy提供的各種內(nèi)置功能，讓定義的類型繼承自scrapy.Item類型戳粒；類型中的字段屬性通過(guò)scrapy.Field()進(jìn)行定義路狮！
import scrapy
class ZhilianItem(scrapy.Item):
'''
自定義封裝智聯(lián)招聘的item類型，用于封裝采集到的智聯(lián)網(wǎng)站的數(shù)據(jù)
'''
# 定義屬性字段
job = scrapy.Field()
company = scrapy.Field()
salary = scrapy.Field()
(3) 在spiders/zhilianspider.py中開(kāi)發(fā)爬蟲(chóng)程序蔚约，采集初步數(shù)據(jù)
為了可以直接使用scrapy內(nèi)置的爬蟲(chóng)操作奄妨，讓scrapy自動(dòng)采集數(shù)據(jù)，我們需要定義一個(gè)爬蟲(chóng)處理類
? 在spiders/zhilianspider.py模塊中定義ZhilianSpider類型
? 繼承自scrapy.Spider
? 類型中的屬性：name屬性~爬蟲(chóng)名稱苹祟，用于在命令行啟動(dòng)爬蟲(chóng)時(shí)調(diào)用
? 類型中的屬性：start_urls屬性~采集數(shù)據(jù)的初始url地址[列表砸抛、元組]
? 類型中的屬性：allowed_domains屬性~采集數(shù)據(jù)的網(wǎng)站域名限制
? 類型中的方法：parse(self, response)采集完數(shù)據(jù)之后自動(dòng)執(zhí)行的函數(shù)
(4) 核心：在pipelines.py模塊中评雌，定義處理Item數(shù)據(jù)的piplelines，將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù)中給其他項(xiàng)目做數(shù)據(jù)準(zhǔn)備
備注：
引擎：engine->scrapy引擎模塊：engine.py
調(diào)度器：scheduler->scrapy調(diào)度模塊：scheduler.py
