序言
第1章 Scrapy介紹
第2章 理解HTML和XPath
第3章 爬蟲基礎(chǔ)
第4章 從Scrapy到移動應(yīng)用
第5章 快速構(gòu)建爬蟲
第6章 Scrapinghub部署
第7章 配置和管理
第8章 Scrapy編程
第9章 使用Pipeline
第10章 理解Scrapy的性能
第11章（完） Scrapyd分布式抓取和實時分析

作者簡介

Dimitris Kouzis – Loukas有超過15年的軟件開發(fā)經(jīng)歷。同時他也參與到教學活動中埋市，受眾廣泛譬涡。

他精通數(shù)個領(lǐng)域遭笋，包括數(shù)學、物理和微電子。對這些學科的理解幫助使他得到了提高，超越了軟件的“實用方案”堪侯。他認為，好的解決方案應(yīng)該像物理學一樣確定荔仁，像糾錯內(nèi)存一樣擁有健壯性伍宦，并且像數(shù)學原理一樣具有通用性。

Dimitris現(xiàn)在正在使用最新的數(shù)據(jù)中心技術(shù)乏梁，著手開發(fā)分布式次洼、低延遲、高可用性的系統(tǒng)遇骑。他運用多個編程語言卖毁，但更偏愛Python、C++和Java落萎。作為開源軟硬件的堅定支持者亥啦，他希望對獨立開發(fā)群體和整個人類做出貢獻。

審稿人簡介

Lazar Telebak是一名網(wǎng)絡(luò)開發(fā)自由從業(yè)者练链，專精于網(wǎng)絡(luò)抓取和利用Python庫和框架進行網(wǎng)頁索引翔脱。

他的主要工作涉及自動化、網(wǎng)絡(luò)抓取和數(shù)據(jù)導出媒鼓，導出為CSV届吁、JSON、XML和TXT等多種格式绿鸣，或是導出到MongoDB疚沐、SQLAlchemy和Postgres等數(shù)據(jù)庫。

他還會使用網(wǎng)絡(luò)前端技術(shù)：HTML潮模、CSS亮蛔、JS和Jquery。

序言

讓我大膽猜一下再登，下面兩個故事肯定有一個說的是你。

你第一次碰到Scrapy是在搜索“Python網(wǎng)絡(luò)抓取”的時候晾剖。你瞟了一眼Scrapy想锉矢，“這個太復(fù)雜，我需要個簡單的齿尽」了穑”然后你就開始用requests寫Python代碼，在BeautifulSoup上碰到點麻煩循头，但最后成功了绵估。這個程序有點慢炎疆，所以你讓它晝夜不停的運行。重啟了幾次国裳、忽略了一些壞鏈和非英文字符形入，早上的時候，大部分網(wǎng)頁都存在你的硬盤里了缝左。但是亿遂，因為一些未知的技術(shù)原因，你再也不想看這段代碼了渺杉。下次你再抓取網(wǎng)絡(luò)的時候蛇数，你直接登錄scrapy.org，這次Scrapy文檔看起來合理多了是越，感覺不用費力就可以解決所有問題耳舅。并且，Scrapy還能解決你沒想到的問題倚评。你再也不用以前的方法了浦徊。

或者，你是在做網(wǎng)絡(luò)抓取調(diào)研時碰到的Scrapy蔓纠。你需要一個可靠快速的企業(yè)級工具辑畦，毫無疑問，就是只要輕輕一擊就能進行網(wǎng)絡(luò)抓取腿倚。這個工具不僅要簡單纯出，而且可以根據(jù)不同的數(shù)據(jù)源進行靈活的定制，提供多種的數(shù)據(jù)輸出方式敷燎，可以自動24/7的可靠運行暂筝。比起要價很高的提供網(wǎng)絡(luò)抓取服務(wù)的公司，你偏向于開源的解決方案硬贯。從一開始焕襟，Scrapy就是當然的選擇。

無論你是如何聽說Scrapy的饭豹，我都熱烈歡迎你翻開這本專門為Scrapy而寫的書鸵赖。Scrapy是全世界網(wǎng)絡(luò)抓取專家的秘密武器。在專家手中拄衰，Scrapy節(jié)省了大量時間它褪，表現(xiàn)出眾，花費最少翘悉。如果你缺少經(jīng)驗茫打，但想像這些專家一樣，很可惜，Google幫不上你什么忙老赤。網(wǎng)上關(guān)于Scrapy的大部分信息不是過于簡化無效轮洋，就是太過復(fù)雜。對每個想獲得準確抬旺、可用弊予、規(guī)范的Scrapy知識的人，這是本必備的書嚷狞。希望這本書可以擴大Scrapy社區(qū)块促，讓Scrapy被更多人采用。

本書的內(nèi)容

第1章床未，Scrapy介紹竭翠，向你介紹這本書和Scrapy，使你對Scrapy框架和后面章節(jié)有清醒的認識薇搁。

第2章斋扰，理解HTML和XPath，讓爬蟲初學者掌握基礎(chǔ)的網(wǎng)頁相關(guān)技術(shù)啃洋，以及后面會使用到的技術(shù)传货。

第3章，爬蟲基礎(chǔ)宏娄，我們會學習如何安裝Scrapy和抓取網(wǎng)站问裕。通過一步步搭建實例，讓讀者理解方法和背后的邏輯孵坚。學過這一章粮宛，你就可以抓取大部分簡單站點了。

第4章卖宠，從Scrapy到移動應(yīng)用巍杈，我們?nèi)绾问褂门老x生成數(shù)據(jù)庫和向移動應(yīng)用提供數(shù)據(jù)支持。通過這一章扛伍，你會明白如何用網(wǎng)絡(luò)抓取獲益筷畦。

第5章，快速構(gòu)建爬蟲刺洒，介紹更多關(guān)于爬蟲的特點鳖宾，模擬登陸、更快抓取逆航、使用APIs鼎文、爬URL的方法。

第6章纸泡，Scrapinghub部署漂问，如何將爬蟲部署到Scrapinghub云服務(wù)器，以嘗試更快的可用性女揭、簡易部署和操作蚤假。

第7章，配置和管理吧兔，詳細介紹利用Scrapy的配置文件對爬蟲進行改進磷仰。

第8章，Scrapy編程境蔼，使用底層Twisted引擎和Scrapy架構(gòu)擴展爬蟲功能灶平。

第9章，如何使用Pipelines箍土，在不明顯降低性能的條件下逢享，舉例實現(xiàn)Scrapy連接MySQL、Elasticsearch吴藻、Redis瞒爬、APIs和應(yīng)用。

第10章沟堡，理解Scrapy的性能侧但，Scrapy的工作機制，如何提高Scrapy的性能航罗。

第11章禀横，Scrapyd分布式抓取和實時分析，最后一章介紹如何在多臺服務(wù)器中使用Scrapyd以實現(xiàn)水平伸縮性粥血，并將數(shù)據(jù)傳送到Apache Spark進行實時分析柏锄。

序言
第1章 Scrapy介紹
第2章 理解HTML和XPath
第3章 爬蟲基礎(chǔ)
第4章 從Scrapy到移動應(yīng)用
第5章 快速構(gòu)建爬蟲
第6章 Scrapinghub部署
第7章 配置和管理
第8章 Scrapy編程
第9章 使用Pipeline
第10章 理解Scrapy的性能
第11章（完） Scrapyd分布式抓取和實時分析

本書第二版會在2018年三月份出版。第二版的目標是對應(yīng)Scrapy 1.4版本立莉。但那時绢彤，恐怕Scrapy又要升級了。