Scrapy的安裝--------Windows庐船、linux嗅虏、mac等操作平臺

閱讀目錄

• 一固歪、Anaconda
• 二、Windows
  • 1.安裝lxml
  • 2.安裝pyOpenSSL
  • 3.安裝Twisted
  • 4.安裝pywin32
  • 5.安裝Scrapy
• 三蜓洪、CentOS纤勒、RedHat、Fedora
• 四隆檀、Ubuntu摇天、Debian、Deepin
• 五恐仑、Mac OS
• 六泉坐、常見錯誤

正文

Scrapy安裝

Scrapy的安裝有多種方式，它支持Python2.7版本及以上或者是Python3.3版本及以上裳仆。下面來說py3環(huán)境下腕让，scrapy的安裝過程。

Scrapy依賴的庫比較多鉴逞，至少需要依賴庫Twisted 14.0记某，lxml 3.4司训，pyOpenSSL 0.14构捡。在不同平臺環(huán)境又不相同，所以在安裝前確保先把一些基本庫安裝好壳猜，尤其是Windows勾徽。

回到頂部

一、Anaconda

這種方法是一種比較簡單的安裝scrapy的方法（尤其對Windows來說）统扳，你可以使用該方法安裝喘帚。也可以選用下文中專用平臺的安裝方法。

Anaconda是包含了常用的數(shù)據(jù)科學(xué)庫的Python發(fā)行版本咒钟，如果沒有安裝吹由，可以到官網(wǎng)https://www.continuum.io/downloads下載對應(yīng)平臺的包安裝。

如果已經(jīng)安裝了朱嘴，可以通過conda命令安裝scrapy倾鲫。

安裝如下：

先打開Anaconda的 Anaconda Prompt 輸入

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;"> conda install Scrapy</pre>

如圖所示表示安裝成功：

image

image

回到頂部

二粗合、Windows

1.安裝lxml

最好的安裝方式是通過wheel文件來安裝，http://www.lfd.uci.edu/~gohlke/pythonlibs/乌昔，這個網(wǎng)站真的是windows用戶的福音隙疚，基本上python的庫里面都有，稱他為python萬能庫網(wǎng)站磕道。從該網(wǎng)站找到lxml的相關(guān)文件（ctrl+F）供屉，假如是python3.5版本，windows 64位系統(tǒng)溺蕉，那就找到 lxml?3.7.2?cp35?cp35m?win_amd64.whl 這個文件下載伶丐，通過pip安裝。

image

下載之后疯特，運(yùn)行如下命令安裝：

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">pip3 install wheel
pip3 install lxml?3.7.2?cp35?cp35m?win_amd64.whl #如果是python2版本撵割，pip3改為pip2</pre>

即可完成lxml的安裝，其他文件替換文件名即可辙芍。

2.安裝pyOpenSSL

官方網(wǎng)站下載wheel文件啡彬，https://pypi.python.org/pypi/pyOpenSSL#downloads，下載 .whl文件故硅，安裝即可庶灿。

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl</pre>

3.安裝Twisted

同理，從python萬能網(wǎng)站上下載 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 安裝即可吃衅。假如是python3.5版本往踢，windows 64位系統(tǒng)，那就找到 Twisted?17.1.0?cp35?cp35m?win_amd64.whl 這個文件下載徘层，通過pip安裝峻呕。

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">pip3 install Twisted?17.1.0?cp35?cp35m?win_amd64.whl </pre>

4.安裝pywin32

從官方網(wǎng)站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對應(yīng)版本的安裝包安裝即可。

5.安裝Scrapy

最后安裝Scrapy即可趣效，依然使用pip瘦癌，命令如下：

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">pip3 install Scrapy</pre>

回到頂部

三、CentOS跷敬、RedHat讯私、Fedora

依賴庫安裝，確保一些必須的類庫已經(jīng)安裝西傀，運(yùn)行如下命令：

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">sudo yum groupinstall development tools
sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssldevel
pip3 install Scrapy</pre>

回到頂部

四斤寇、Ubuntu、Debian拥褂、Deepin

依賴庫安裝娘锁，確保一些必須的類庫已經(jīng)安裝，運(yùn)行如下命令：

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev </pre>

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">pip3 install Scrapy</pre>

回到頂部

五饺鹃、Mac OS

依賴庫安裝莫秆，在Mac上構(gòu)建Scrapy的依賴庫需要C編譯器以及開發(fā)頭文件碎税，他一般由Xcode提供，運(yùn)行如下命令安裝即可：

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">xcode-select --install
pip3 install Scrapy</pre>

驗(yàn)證：

安裝之后馏锡，在命令行輸入scrapy雷蹂，如果出現(xiàn)類似下方的結(jié)果，那么久恭喜你安裝成功scrapy杯道。

image

回到頂部

六匪煌、常見錯誤

• pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages),Requirement.parse('six>=1.6.0'))
  six包版本過低，six包是一個提供兼容Python2和3的庫党巾，升級six包即可萎庭。

  <pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">sudo pip3 install -U six</pre>

• c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory 缺少Libffi這個庫，什么是libffi齿拂？“FFI”的全名是Foreign Function Interface驳规，通常指的是允許以一種語言編寫的代碼調(diào)用另一種語言的代碼。而Linffi庫只是提供了最底層的署海、與架構(gòu)相關(guān)的吗购、完整的“FFI”。
  安裝：
  　　Ubuntu砸狞、Debian： sudo apt-get install build-essential libssl-dev libffi-dev python3-dev CentOS捻勉、RedHat：sudo yum install gcc libffi-devel python-devel openssl-devel

• ImportError: No module named 'cryptography '
  這是缺少加密的相關(guān)組件，利用pip安裝即可刀森。

  <pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">sudo pip3 install cryptography</pre>

• ImportError: No module named 'packaging 缺少packaging這個包踱启，它提供了Python包的核心功能。利用pip安裝即可研底。

  <pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">sudo pip3 install packaging</pre>

• ImportError: No module named 'appdirs' 缺少appdirs這個包埠偿，它用來確定文件目錄，利用pip單獨(dú)安裝即可榜晦。

  <pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">sudo pip3 install appdirs</pre>
  原文鏈接：http://www.cnblogs.com/jinxiao-pu