Mac OS X安裝 Scrapy扭仁、PIL、BeautifulSoup

環(huán)境:Mac OS X Yosemite 10.10.3


安裝Scrapy

學(xué)習(xí)Python爬蟲必須要使用的框架Scrapy厅翔,話不多說。

打開終端執(zhí)行命令:

sudo easy_install pip

pip 和 easy_install 都是 Python 的框架管理命令搀突,pip 是對 easy_install的升級刀闷。

然后終端執(zhí)行命令安裝 Scrapy:

sudo pip install Scrapy

如果執(zhí)行成功,那么 Scrapy 就安裝成功了仰迁,但往往事與愿違甸昏,你很有可能遇到如下錯誤:

    /private/tmp/pip-build-9RYtLC/lxml/src/lxml/includes/etree_defs.h:14:10: fatal error: 'libxml/xmlversion.h' file not found
    #include "libxml/xmlversion.h"
    ^
    1 error generated.
    error: command 'cc' failed with exit status 1
    
    ----------------------------------------
    
    Command "/usr/bin/python -c "import setuptools,     tokenize;__file__='/private/tmp/pip-build-9RYtLC/lxml/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-544HZx-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/tmp/pip-build-9RYtLC/lxml
屏幕快照 2015-04-21 下午1.30.42.png

解決方法有如下幾種:

1、終端執(zhí)行命令安裝或更新命令行開發(fā)工具:

xcode-select --install

2徐许、配置路徑:C_INCLUDE_PATH

C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include

3施蜜、參照官網(wǎng)使用如下命令安裝Scrapy

STATIC_DEPS=true pip install lxml

一般此三個方法就可解決錯誤成功安裝Scrapy,如果還是失敗雌隅,參考 StackOverflow上的一個帖子


安裝PIL

PIL是Python的圖形處理庫翻默,在學(xué)習(xí)爬蟲的時候可以用來處理驗(yàn)證碼缸沃。
終端輸入命令:

sudo pip install pil

恩,出錯:

/Library/Python/2.7/site-packages/pip-6.1.1-py2.7.egg/pip/_vendor/requests/packages/urllib3/util/ssl_.py:79: InsecurePlatformWarning: A true SSLContext object is not available. This prevents urllib3 from configuring SSL appropriately and may cause certain SSL connections to fail. For more information, see https://urllib3.readthedocs.org/en/latest/security.html#insecureplatformwarning.
  InsecurePlatformWarning
  Could not find a version that satisfies the requirement pil (from versions: )
  Some externally hosted files were ignored as access to them may be unreliable (use --allow-external pil to allow).
  No matching distribution found for pil

不過提示了添加參數(shù) --allow-external pil
好修械,改一下命令重新執(zhí)行:

sudo pip install PIL --allow-external PIL

好的趾牧,開始安裝了,哎肯污?好像又出錯了G痰ァ!蹦渣!

_imagingft.c:73:10: fatal error: 'freetype/fterrors.h' file not found
#include <freetype/fterrors.h>
         ^
1 error generated.
error: Setup script exited with error: command 'cc' failed with exit status 1

提示沒找到 freetype/fterrors.h文件哄芜,百度怎么解決,很多文章的解決辦法是執(zhí)行命令:ln -s /usr/local/include/freetype2 /usr/local/include/freetype

然后柬唯,試了认臊,不行。

從Finder來到目錄 usr/local/include下权逗,咦美尸?好像有目錄freetype2,但是么有freetype斟薇,那么...可以復(fù)制一個freetype2的副本再改名freetype不行嗎师坎?恩,然后我就這樣干了堪滨。然后在終端重新執(zhí)行安裝PIL的命令:

sudo pip install PIL --allow-external PIL

然后就安裝成功了~~


安裝BeautifulSoup

首先胯陋,官網(wǎng)下載最新的包beautifulsoup4 4.3.2,然后解壓縮袱箱,從終端進(jìn)入該目錄遏乔。
終端執(zhí)行

sudo python setup.py install
屏幕快照 2015-05-23 下午5.26.37.png

好,安裝成功发笔。

Beautifulsoup的官方文檔


補(bǔ)充:
easy_install使用方法:

安裝:easy_install PackageName
刪除:easy_install -m PackageName
更新:easy_install -U PackageName

pip使用方法:

安裝:pip install PackageName
刪除:pip uninstall PackageName
更新:pip install -U PackageName
搜索:pip search PackageName

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末盟萨,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子了讨,更是在濱河造成了極大的恐慌捻激,老刑警劉巖,帶你破解...
    沈念sama閱讀 206,013評論 6 481
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件前计,死亡現(xiàn)場離奇詭異胞谭,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī)男杈,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 88,205評論 2 382
  • 文/潘曉璐 我一進(jìn)店門丈屹,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人伶棒,你說我怎么就攤上這事旺垒〔士猓” “怎么了?”我有些...
    開封第一講書人閱讀 152,370評論 0 342
  • 文/不壞的土叔 我叫張陵袖牙,是天一觀的道長侧巨。 經(jīng)常有香客問我,道長鞭达,這世上最難降的妖魔是什么司忱? 我笑而不...
    開封第一講書人閱讀 55,168評論 1 278
  • 正文 為了忘掉前任,我火速辦了婚禮畴蹭,結(jié)果婚禮上坦仍,老公的妹妹穿的比我還像新娘。我一直安慰自己叨襟,他們只是感情好繁扎,可當(dāng)我...
    茶點(diǎn)故事閱讀 64,153評論 5 371
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著糊闽,像睡著了一般梳玫。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上右犹,一...
    開封第一講書人閱讀 48,954評論 1 283
  • 那天提澎,我揣著相機(jī)與錄音,去河邊找鬼念链。 笑死盼忌,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的掂墓。 我是一名探鬼主播谦纱,決...
    沈念sama閱讀 38,271評論 3 399
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼君编!你這毒婦竟也來了跨嘉?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 36,916評論 0 259
  • 序言:老撾萬榮一對情侶失蹤吃嘿,失蹤者是張志新(化名)和其女友劉穎偿荷,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體唠椭,經(jīng)...
    沈念sama閱讀 43,382評論 1 300
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 35,877評論 2 323
  • 正文 我和宋清朗相戀三年忍饰,在試婚紗的時候發(fā)現(xiàn)自己被綠了贪嫂。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 37,989評論 1 333
  • 序言:一個原本活蹦亂跳的男人離奇死亡艾蓝,死狀恐怖力崇,靈堂內(nèi)的尸體忽然破棺而出斗塘,到底是詐尸還是另有隱情,我是刑警寧澤亮靴,帶...
    沈念sama閱讀 33,624評論 4 322
  • 正文 年R本政府宣布馍盟,位于F島的核電站,受9級特大地震影響茧吊,放射性物質(zhì)發(fā)生泄漏贞岭。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 39,209評論 3 307
  • 文/蒙蒙 一搓侄、第九天 我趴在偏房一處隱蔽的房頂上張望瞄桨。 院中可真熱鬧,春花似錦讶踪、人聲如沸芯侥。這莊子的主人今日做“春日...
    開封第一講書人閱讀 30,199評論 0 19
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽柱查。三九已至,卻和暖如春云石,著一層夾襖步出監(jiān)牢的瞬間唉工,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 31,418評論 1 260
  • 我被黑心中介騙來泰國打工留晚, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留酵紫,地道東北人。 一個月前我還...
    沈念sama閱讀 45,401評論 2 352
  • 正文 我出身青樓错维,卻偏偏與公主長得像奖地,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子赋焕,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 42,700評論 2 345

推薦閱讀更多精彩內(nèi)容