2俊扳、web爬蟲途蒋,scrapy模塊以及相關(guān)依賴模塊安裝

百度云搜索,搜各種資料:http://bdy.lqkweb.com

搜網(wǎng)盤馋记,搜各種資料:http://www.swpan.cn

當(dāng)前環(huán)境python3.5 号坡,windows10系統(tǒng)

Linux系統(tǒng)安裝

在線安裝,會自動安裝scrapy模塊以及相關(guān)依賴模塊

pip install Scrapy

手動源碼安裝梯醒,比較麻煩要自己手動安裝scrapy模塊以及依賴模塊

安裝以下模塊

1宽堆、lxml-3.8.0.tar.gz (XML處理庫)

2、Twisted-17.5.0.tar.bz2 (用Python編寫的異步網(wǎng)絡(luò)框架)

3茸习、Scrapy-1.4.0.tar.gz (高級web爬行和web抓取框架)

4畜隶、pyOpenSSL-17.2.0.tar.gz (OpenSSL庫)

5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盤的)隊列的集合)

6号胚、w3lib-1.17.0.tar.gz (與web相關(guān)的函數(shù)的Python庫)

7籽慢、cryptography-2.0.tar.gz (密碼學(xué)是一種包)

8、pyasn1-0.2.3.tar.gz (ASN類型和編解碼器)

9猫胁、pyasn1-modules-0.0.9.tar.gz (ASN的集合箱亿。基于協(xié)議模塊)

10弃秆、cffi-1.10.0.tar.gz (用于Python調(diào)用C代碼的外部函數(shù)接口)

11届惋、asn1crypto-0.22.0.tar.gz (快速的ASN一個解析器和序列化器)

12髓帽、idna-2.5.tar.gz (應(yīng)用程序中的國際化域名(IDNA))

13、pycparser-2.18.tar.gz (C解析器在Python中)

windows系統(tǒng)安裝

windows安裝脑豹,首先要安裝pywin32郑藏,根據(jù)自己的系統(tǒng)來安裝32位還是64位

pywin32-221.win32-py3.5.exe

pywin32-221.win-amd64-py3.5.exe

在線安裝

pip install scrapy

手動源碼安裝,比較麻煩要自己手動安裝scrapy模塊以及依賴模塊

安裝以下模塊

1瘩欺、lxml-3.8.0.tar.gz (XML處理庫)

2必盖、Twisted-17.5.0.tar.bz2 (用Python編寫的異步網(wǎng)絡(luò)框架)

3、Scrapy-1.4.0.tar.gz (高級web爬行和web抓取框架)

4击碗、pyOpenSSL-17.2.0.tar.gz (OpenSSL庫)

5筑悴、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盤的)隊列的集合)

6、w3lib-1.17.0.tar.gz (與web相關(guān)的函數(shù)的Python庫)

7稍途、cryptography-2.0.tar.gz (密碼學(xué)是一種包)

8、pyasn1-0.2.3.tar.gz (ASN類型和編解碼器)

9砚婆、pyasn1-modules-0.0.9.tar.gz (ASN的集合械拍。基于協(xié)議模塊)

10装盯、cffi-1.10.0.tar.gz (用于Python調(diào)用C代碼的外部函數(shù)接口)

11坷虑、asn1crypto-0.22.0.tar.gz (快速的ASN一個解析器和序列化器)

12、idna-2.5.tar.gz (應(yīng)用程序中的國際化域名(IDNA))

13埂奈、pycparser-2.18.tar.gz (C解析器在Python中)

測試是否安裝成功

在cmd終端迄损,運(yùn)行python

然后運(yùn)行:import scrapy ,沒有提示錯誤說明安裝成功

image

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
  • 序言:七十年代末账磺,一起剝皮案震驚了整個濱河市芹敌,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌垮抗,老刑警劉巖氏捞,帶你破解...
    沈念sama閱讀 217,509評論 6 504
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異冒版,居然都是意外死亡液茎,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 92,806評論 3 394
  • 文/潘曉璐 我一進(jìn)店門辞嗡,熙熙樓的掌柜王于貴愁眉苦臉地迎上來捆等,“玉大人,你說我怎么就攤上這事续室《翱荆” “怎么了?”我有些...
    開封第一講書人閱讀 163,875評論 0 354
  • 文/不壞的土叔 我叫張陵猎贴,是天一觀的道長班缎。 經(jīng)常有香客問我蝴光,道長,這世上最難降的妖魔是什么达址? 我笑而不...
    開封第一講書人閱讀 58,441評論 1 293
  • 正文 為了忘掉前任蔑祟,我火速辦了婚禮,結(jié)果婚禮上沉唠,老公的妹妹穿的比我還像新娘疆虚。我一直安慰自己,他們只是感情好满葛,可當(dāng)我...
    茶點故事閱讀 67,488評論 6 392
  • 文/花漫 我一把揭開白布径簿。 她就那樣靜靜地躺著,像睡著了一般嘀韧。 火紅的嫁衣襯著肌膚如雪篇亭。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 51,365評論 1 302
  • 那天锄贷,我揣著相機(jī)與錄音译蒂,去河邊找鬼。 笑死谊却,一個胖子當(dāng)著我的面吹牛柔昼,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播炎辨,決...
    沈念sama閱讀 40,190評論 3 418
  • 文/蒼蘭香墨 我猛地睜開眼捕透,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了碴萧?” 一聲冷哼從身側(cè)響起乙嘀,我...
    開封第一講書人閱讀 39,062評論 0 276
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎勿决,沒想到半個月后乒躺,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 45,500評論 1 314
  • 正文 獨居荒郊野嶺守林人離奇死亡低缩,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 37,706評論 3 335
  • 正文 我和宋清朗相戀三年嘉冒,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片咆繁。...
    茶點故事閱讀 39,834評論 1 347
  • 序言:一個原本活蹦亂跳的男人離奇死亡讳推,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出玩般,到底是詐尸還是另有隱情银觅,我是刑警寧澤,帶...
    沈念sama閱讀 35,559評論 5 345
  • 正文 年R本政府宣布坏为,位于F島的核電站究驴,受9級特大地震影響镊绪,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜洒忧,卻給世界環(huán)境...
    茶點故事閱讀 41,167評論 3 328
  • 文/蒙蒙 一蝴韭、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧熙侍,春花似錦榄鉴、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 31,779評論 0 22
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至巷送,卻和暖如春驶忌,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背笑跛。 一陣腳步聲響...
    開封第一講書人閱讀 32,912評論 1 269
  • 我被黑心中介騙來泰國打工位岔, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人堡牡。 一個月前我還...
    沈念sama閱讀 47,958評論 2 370
  • 正文 我出身青樓,卻偏偏與公主長得像杨刨,于是被迫代替她去往敵國和親晤柄。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 44,779評論 2 354