安裝向?qū)?a target="_blank" rel="nofollow">https://doc.scrapy.org/en/latest/intro/install.html
安裝Scrapy
Scrapy運(yùn)行在python2.7和python3.3或以上版本（Windows還不支持python3）矗漾。
如果你已經(jīng)熟悉python包的安裝抖韩，你可以安裝Scrapy使用它的PyPI依賴：
pip install Scrapy
我們強(qiáng)烈建議你把Scrapy安裝在一個(gè)專用的虛擬環(huán)境中，以避免和你的系統(tǒng)包沖突。
更多細(xì)節(jié)和平臺(tái)規(guī)范介紹嗦随，繼續(xù)往下讀。
Things that are good to know
Scrapy完全使用Python編寫(xiě)，依賴少量的關(guān)鍵Python包（包括）：
- lxml血筑，一個(gè)高效的XML和HTML解釋器
- parsel绘沉，基于lxml的HTML/XML數(shù)據(jù)提取包
- w3lib，處理url和web頁(yè)面編碼的多用途助手
- twisted豺总，異步網(wǎng)絡(luò)框架
- cryptography和pyOpenSSL车伞，處理各種網(wǎng)絡(luò)級(jí)需求
Scrapy測(cè)試所需最小版本：
- Twisted 14.0
- lxml 3.4
- pyOpenSSL 0.14
Scrapy可能使用更老的版本包也能工作但是不保證將來(lái)繼續(xù)有效畢竟沒(méi)有測(cè)試過(guò)。
這些包有些依賴非Python包喻喳，那可能需要根據(jù)你的平臺(tái)添加安裝步驟另玖。請(qǐng)檢查特定平臺(tái)下指南。
有任何相關(guān)依賴方面的麻煩表伦，請(qǐng)參閱各自的安裝介紹：
使用一個(gè)虛擬的環(huán)境（建議）
TL;DR: 我們建議在所有平臺(tái)上都是用虛擬環(huán)境安裝Scrapy谦去。
Python包既可以使用全局安裝（系統(tǒng)范圍）也可以個(gè)人安裝。我們不建議在系統(tǒng)范圍安裝蹦哼。
反而鳄哭，我們建議你使用稱為虛擬環(huán)境(virtualenv)安裝scrapy。虛擬環(huán)境使你不會(huì)和已安裝的python系統(tǒng)包（這些可能毀壞你的一些系統(tǒng)工具和腳本）沖突纲熏，可以直接正常使用pip（不需要sudo等）妆丘。
開(kāi)始使用虛擬環(huán)境，看(虛擬環(huán)境安裝介紹)局劲。
$ [sudo] pip install virtualenv
如果你使用linux或者OSX勺拣，virtualenvwrapper 是一個(gè)方便創(chuàng)建虛擬環(huán)境的工具。
一旦你創(chuàng)建了虛擬環(huán)境容握，你就可以使用它的pip安裝scrapy宣脉，就像安裝其他的Python包一樣。（查看特定平臺(tái)規(guī)范）下非Python包的安裝依賴剔氏，你可能需要先安裝這些塑猖。
Python虛擬環(huán)境可使用Python2或者Python3創(chuàng)建。
- 如果你想使用Python3安裝scrapy谈跛，那么使用Python3的虛擬環(huán)境安裝scrapy
- 如果你想使用Python2安裝scrapy羊苟，那么使用Python2的虛擬環(huán)境安裝scrapy
特定平臺(tái)安裝說(shuō)明
Windows
- 安裝Python2.7
你需要把Python的執(zhí)行路徑和腳本添加到PATH環(huán)境變量。下面的路徑需要添加到PATH:
C:\Python27\;C:\Python27\Scripts\;
更新PATH感憾，打開(kāi)命令函并運(yùn)行：
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
關(guān)閉命令行窗口并重新打開(kāi)運(yùn)行下面命令并檢查Python版本：
python --version - 安裝pywin32
確保你下載的架構(gòu)（win32或者amd64）匹配你的系統(tǒng)蜡励。 - （使用Python<2.7.9的需要）安裝pip
- 此時(shí)Python2.7和
pip包管理器都可使用，安裝Scrapy:
pip install Scrapy
Python3不在windows中支持阻桅，因?yàn)镾crapy內(nèi)核需要的Twisted在python3中不支持windows凉倚。
Ubuntu 12.04及以上版本
Scrapy已經(jīng)在最新的lxml，twisted和pyOpenSSL的幾個(gè)版本上做過(guò)測(cè)試嫂沉，并且兼容最新的Ubuntu發(fā)行版稽寒。但也支持Ubuntu的老版本，如Ubuntu 12.04趟章，雖然存在潛在的TLS連接問(wèn)題杏糙。
不要使用Ubuntu提供的python-scrapy安裝包慎王，他們太老了，趕上最新的Scrapy很慢宏侍。
在Ubuntu系統(tǒng)上安裝scrapy赖淤，你需要安裝以下依賴：
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
-
python-dev,zlib1g-dev,libxml2-dev和libxslt-dev是由于lxml需要。 -
libssl-dev和libffi-dev是由于cryptography需要谅河。
如果你想基于Python3安裝scrapy咱旱，還需要安裝Python3的開(kāi)發(fā)頭文件：
sudo apt-get install python3 python3-dev
之后在虛擬環(huán)境中，使用pip命令安裝Scrapy
pip install scrapy
