開(kāi)頭
這兩天后臺(tái)收到了很多讀者發(fā)消息說(shuō)：“看了之前寫(xiě)的關(guān)于爬蟲(chóng)的文章之后，自己也想寫(xiě)一個(gè)爬蟲(chóng)但不知從何下手”哲身。那么我今天就分享一個(gè)簡(jiǎn)單的案例辩涝，和大家一起從零寫(xiě)一個(gè)簡(jiǎn)單的爬蟲(chóng)。
在開(kāi)始分享之前勘天，我想提一件事情怔揩。
我知道，爬蟲(chóng)其實(shí)在部分外行人心目中一直是一個(gè)低劣或者低俗的人才做的事误辑。那么沧踏，不管你是不是這么想，我只能說(shuō)一句：要是沒(méi)有爬蟲(chóng)我相信很多公司根本就沒(méi)法起來(lái)巾钉。
那么，今天我主要通過(guò)一個(gè)爬蟲(chóng)框架 Scrapy 來(lái)一步步實(shí)現(xiàn)爬取 V2EX 首頁(yè)所有的熱門文章秘案，旨在讓你掌握這個(gè)框架來(lái)爬取對(duì)自己有用的數(shù)據(jù)砰苍。
正文
** 一、Scrapy 是什么阱高？**
官網(wǎng)：
http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/overview.html
Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)赚导，提取結(jié)構(gòu)性數(shù)據(jù)而編寫(xiě)的應(yīng)用框架〕嗑可以應(yīng)用到數(shù)據(jù)挖掘吼旧，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一系列的程序中。
其最初是為了頁(yè)面爬任粗邸（更確切的來(lái)說(shuō)圈暗，網(wǎng)絡(luò)爬取）所設(shè)計(jì)的裕膀，也可以應(yīng)用在獲取API所返回的數(shù)據(jù)或者通用的網(wǎng)絡(luò)爬蟲(chóng)员串。
Scrapy是一個(gè)非常強(qiáng)大且好用的爬蟲(chóng)框架，它不僅提供了一些開(kāi)箱即用的基礎(chǔ)組件昼扛，還提供了強(qiáng)大的自定義功能寸齐。
框架的學(xué)習(xí)就是修改配置文件，填充代碼就可以了。
二渺鹦、安裝 Scrapy扰法？
由于我是用 Mac 來(lái)開(kāi)發(fā)的，所以安裝命令也是 Mac 下的毅厚，至于 Window 和 Linux 可以參考安裝迹恐。
pip install scrapy
當(dāng)然，一開(kāi)始你得有 Python 的開(kāi)發(fā)環(huán)境卧斟，這里就不安利 Python 的安裝方法了危纫。直接百度即可奄毡。
三、用 Scrapy 創(chuàng)建一個(gè)項(xiàng)目
Scrapy 中提供了 startproject 命令來(lái)創(chuàng)建爬蟲(chóng)項(xiàng)目。命令如下：
scrapy startproject V2EX
我們創(chuàng)建一個(gè)項(xiàng)目 V2EX 用來(lái)爬取 V2 首頁(yè)文章的所有信息麦箍。
其中：
spiders 文件夾下就是你要實(shí)現(xiàn)爬蟲(chóng)功能的核心代碼。在 spiders 文件夾下創(chuàng)建一個(gè) spider 漩勤，用來(lái)爬取 V2 首頁(yè)文章具篇。
scrapy.cfg 是項(xiàng)目的配置文件。
settings.py用于設(shè)置請(qǐng)求的參數(shù)募逞，使用代理蛋铆，爬蟲(chóng)數(shù)據(jù)后文件保存等等的。
四放接、Scrapy 爬取 V2 首頁(yè)文章
1刺啦、新建 v2exSpider
在 spiders 文件夾下新建一個(gè)文件， v2exSpider.py
如上圖纠脾，start_urls 中添加 v2ex 的首頁(yè)地址玛瘸，同時(shí)重寫(xiě) parse 方法。這樣 Spider 將基于 start_urls 中的地址進(jìn)行訪問(wèn)苟蹈，并將數(shù)據(jù)回調(diào)給 parse 方法糊渊。
其中，response 就是返回的網(wǎng)頁(yè)數(shù)據(jù)慧脱。
處理好的數(shù)據(jù)放在 items 中渺绒，在 items.py 設(shè)置好要處理哪些數(shù)據(jù)字段。這里我們來(lái)抓取 V2 首頁(yè)的：作者地址菱鸥、作者頭像宗兼、文章地址、所屬節(jié)點(diǎn)采缚、作者昵稱针炉、最后一次回復(fù)者昵稱、最后一次回復(fù)者地址扳抽、最后一次回復(fù)時(shí)間篡帕。
那么殖侵，要解析處理哪些數(shù)據(jù)在 items.py 中定義好，也就相當(dāng)于 java 中的實(shí)體類:
2镰烧、 分析 V2EX 首頁(yè)各元素的 xpath
xpath 的概念可以在 60行代碼拿到10G國(guó)外xx視頻... 中了解拢军，當(dāng)然你可以直接看這個(gè)教程：
http://www.w3school.com.cn/xpath/index.asp
通過(guò) Chrome 打開(kāi) v2ex.com ，同時(shí)在當(dāng)前頁(yè)面空白處點(diǎn)擊右鍵怔鳖，選中 inspect 茉唉，這樣就可以看到當(dāng)前頁(yè)面的 Elements 。
（圖片略大结执，耐心訪問(wèn)）
在這里我們可以分析出來(lái)每一篇文章的標(biāo)題度陆、地址等等的 xpath 路徑。
同時(shí)献幔，發(fā)現(xiàn)首頁(yè)的50篇文章都是屬于 div[@class='cell item'] 的數(shù)據(jù)懂傀，因此我們可以通過(guò)
selector.xpath('//div[@class="cell item"]')
拿到所有文章的數(shù)據(jù)，然后再分析出具體數(shù)據(jù)的 xpath 蜡感，從而拿到了所有需要的數(shù)據(jù)蹬蚁。
解析的數(shù)據(jù)保存：
這時(shí)數(shù)據(jù)分析處理好了，還有最重要的一步郑兴，提交：
yield v2Item
OK犀斋！ 萬(wàn)事俱備，數(shù)據(jù)保存在哪里情连，什么格式叽粹？
在 settings.py 中加入兩行代碼:
如何運(yùn)行這個(gè)爬蟲(chóng)？
scrapy crawl v2exSpider
這樣就可以把 V2EX 的首頁(yè)文章信息都爬取到了本地的 csv 文件中了蒙具。
最后球榆，你會(huì)發(fā)現(xiàn)當(dāng)前代碼只能爬取 V2 中首頁(yè)的文章，這時(shí)候你就需要分析到 v2ex 中下一頁(yè)的 xpath 禁筏，然后拿到這個(gè) url ，通過(guò) yield Request(next_link,callback=self.parse)衡招，這樣就可以一直爬取到 v2 最后一頁(yè)的數(shù)據(jù)篱昔。
來(lái)看看數(shù)據(jù)：
總結(jié)
爬蟲(chóng)需謹(jǐn)慎，爬蟲(chóng)需有度州刽。
本篇文章中項(xiàng)目的源代碼托管在 Github，點(diǎn)擊 【閱讀原文】 浪箭。
....end...
行為藝術(shù)要持之以恒穗椅，iOS專用贊賞通道。
長(zhǎng)摁‘識(shí)別二維碼’奶栖，一起進(jìn)步
生活不止眼前的茍且匹表，還有手下的代碼门坷、
和嘴上的扯淡
——
個(gè)人博客: http://xiyoumc.0x2048.com
Github:https://www.github.com/xiyouMc
