Mac 等環(huán)境安裝scrapy工窍,先安裝各個環(huán)境需要的依賴包

各平臺安裝簡介

Anaconda

這種方法是一種比較簡單的安裝Scrapy的方法(尤其是對Windows來說)科乎,你可以使用該方法安裝壁畸,也可以選用下文中專用平臺的安裝方法。

Anaconda是包含了常用的數(shù)據(jù)科學庫的Python發(fā)行版本,如果沒有安裝捏萍,可以到https://www.continuum.io/downloads下載對應(yīng)平臺的包安裝太抓。

如果已經(jīng)安裝,那么可以輕松地通過conda命令安裝Scrapy照弥。

安裝命令如下:

conda install Scrapy

Windows

  • 安裝lxml

最好的安裝方式是通過wheel文件來安裝腻异,http://www.lfd.uci.edu/~gohlke/pythonlibs/,從該網(wǎng)站找到lxml的相關(guān)文件这揣。假如是Python3.5版本,WIndows 64位系統(tǒng)影斑,那就找到lxml?3.7.2?cp35?cp35m?win_amd64.whl 這個文件并下載给赞,然后通過pip安裝。

下載之后矫户,運行如下命令安裝:

pip3 install wheel
pip3 install lxml?3.7.2?cp35?cp35m?win_amd64.whl

即可完成lxml的安裝片迅,其他文件替換文件名即可。

  • 安裝zope.interface

到官方網(wǎng)站https://pypi.python.org/pypi/zope.interface#downloads下載對應(yīng)版本的wheel文件皆辽,然后pip安裝柑蛇。比如Python 3.5版本,Windows 64位系統(tǒng)驱闷,就下載zope.interface-4.3.3-cp35-cp35m-win_amd64.whl耻台。

然后安裝wheel文件即可,命令如下:

pip3 install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

其他版本替換文件名即可空另。

  • 安裝pyOpenSSL

官方網(wǎng)站下載wheel文件盆耽,https://pypi.python.org/pypi/pyOpenSSL#downloads,如當前最新版本名稱是pyOpenSSL-16.2.0-py2.py3-none-any.whl扼菠,下載后安裝即可摄杂。

pip3 install pyOpenSSL-16.2.0-py2.py3-none-any.whl

  • 安裝Twisted

同理,http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下載wheel文件循榆,利用pip安裝即可析恢。
如Python 3.5版本,Windows 64位系統(tǒng)秧饮,下載
Twisted?17.1.0?cp35?cp35m?win_amd64.whl映挂,然后pip安裝。

pip3 install Twisted?17.1.0?cp35?cp35m?win_amd64.whl

  • 安裝pywin32

從官方網(wǎng)站 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/ 下載對應(yīng)版本的安裝包安裝即可浦楣。

  • 安裝Scrapy

最后安裝Scrapy即可袖肥,依然使用pip,命令如下:

pip3 install Scrapy

CentOS振劳、RedHat椎组、Fedora

  • 依賴庫安裝

確保一些必須的類庫已經(jīng)安裝,運行如下命令:

sudo yum groupinstall development tools
sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssl-devel

  • 安裝Scrapy

利用pip安裝Scrapy即可历恐,運行如下命令:

pip3 install Scrapy

Ubuntu寸癌、Debian专筷、Deepin

  • 依賴庫安裝

首先確保一些必須的類庫已經(jīng)安裝,運行如下命令:

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev

  • 安裝Scrapy

利用pip安裝Scrapy即可蒸苇,運行如下命令:

pip3 install Scrapy

雖然騰訊云沒有Mac系統(tǒng)磷蛹,不過在這里還是加上MacOS的安裝。

Mac OS

  • 依賴庫安裝

在Mac上構(gòu)建Scrapy的依賴庫需要C編譯器以及開發(fā)頭文件溪烤,它一般由Xcode提供味咳,運行如下命令安裝即可:

xcode-select --install

  • 安裝Scrapy

利用pip安裝Scrapy即可,運行如下命令:

pip3 install Scrapy

驗證

安裝之后檬嘀,在命令行下輸入scrapy槽驶,如果出現(xiàn)類似下方的結(jié)果,就證明Scrapy安裝成功鸳兽。

常見錯誤

  • pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))

six包版本過低掂铐,six包是一個提供兼容Python2和Python3的庫,升級six包即可揍异。

sudo pip3 install -U six

  • c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory

缺少Libffi這個庫全陨。什么是libffi?“FFI” 的全名是 Foreign Function Interface衷掷,通常指的是允許以一種語言編寫的代碼調(diào)用另一種語言的代碼辱姨。而Libffi庫只提供了最底層的、與架構(gòu)相關(guān)的棍鳖、完整的”FFI”炮叶。

安裝相應(yīng)的庫即可。

Ubuntu渡处、Debian:

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

CentOS镜悉、RedHat:

sudo yum install gcc libffi-devel python-devel openssl-devel

  • ImportError: No module named 'cryptography'

這是缺少加密的相關(guān)組件,利用pip安裝即可医瘫。

sudo pip3 install cryptography

  • ImportError: No module named 'packaging'

缺少packaging這個包侣肄,它提供了Python包的核心功能,利用pip安裝即可醇份。

sudo pip3 install packaging

  • ImportError: No module named 'appdirs'

缺少appdirs這個包稼锅,它用來確定文件目錄,利用pip單獨安裝即可僚纷。

sudo pip3 install appdirs


原文鏈接:https://www.qcloud.com/community/article/556466001489422697
再次感謝原作者熱心分享矩距!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市怖竭,隨后出現(xiàn)的幾起案子锥债,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 217,542評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件哮肚,死亡現(xiàn)場離奇詭異登夫,居然都是意外死亡,警方通過查閱死者的電腦和手機允趟,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,822評論 3 394
  • 文/潘曉璐 我一進店門恼策,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人潮剪,你說我怎么就攤上這事涣楷。” “怎么了抗碰?”我有些...
    開封第一講書人閱讀 163,912評論 0 354
  • 文/不壞的土叔 我叫張陵总棵,是天一觀的道長。 經(jīng)常有香客問我改含,道長,這世上最難降的妖魔是什么迄汛? 我笑而不...
    開封第一講書人閱讀 58,449評論 1 293
  • 正文 為了忘掉前任捍壤,我火速辦了婚禮,結(jié)果婚禮上鞍爱,老公的妹妹穿的比我還像新娘鹃觉。我一直安慰自己,他們只是感情好睹逃,可當我...
    茶點故事閱讀 67,500評論 6 392
  • 文/花漫 我一把揭開白布盗扇。 她就那樣靜靜地躺著,像睡著了一般沉填。 火紅的嫁衣襯著肌膚如雪疗隶。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,370評論 1 302
  • 那天翼闹,我揣著相機與錄音斑鼻,去河邊找鬼。 笑死猎荠,一個胖子當著我的面吹牛坚弱,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播关摇,決...
    沈念sama閱讀 40,193評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼荒叶,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了输虱?” 一聲冷哼從身側(cè)響起些楣,我...
    開封第一講書人閱讀 39,074評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后戈毒,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體艰猬,經(jīng)...
    沈念sama閱讀 45,505評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,722評論 3 335
  • 正文 我和宋清朗相戀三年埋市,在試婚紗的時候發(fā)現(xiàn)自己被綠了冠桃。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 39,841評論 1 348
  • 序言:一個原本活蹦亂跳的男人離奇死亡道宅,死狀恐怖食听,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情污茵,我是刑警寧澤樱报,帶...
    沈念sama閱讀 35,569評論 5 345
  • 正文 年R本政府宣布,位于F島的核電站泞当,受9級特大地震影響迹蛤,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜襟士,卻給世界環(huán)境...
    茶點故事閱讀 41,168評論 3 328
  • 文/蒙蒙 一盗飒、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧陋桂,春花似錦逆趣、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,783評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至梨州,卻和暖如春痕囱,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背摊唇。 一陣腳步聲響...
    開封第一講書人閱讀 32,918評論 1 269
  • 我被黑心中介騙來泰國打工咐蝇, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人巷查。 一個月前我還...
    沈念sama閱讀 47,962評論 2 370
  • 正文 我出身青樓有序,卻偏偏與公主長得像,于是被迫代替她去往敵國和親岛请。 傳聞我的和親對象是個殘疾皇子旭寿,可洞房花燭夜當晚...
    茶點故事閱讀 44,781評論 2 354

推薦閱讀更多精彩內(nèi)容