Scrapy框架官方網(wǎng)址:http://doc.scrapy.org/en/latest
Scrapy中文維護(hù)站點(diǎn):http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html
在windows10下的安裝流程:
Scrapy框架是基于python語(yǔ)言的,因此要先安裝python2或這python3
這里以python3為例:
1、去python官網(wǎng)下載python3莉御,安裝完成后配置下環(huán)境變量
2言疗、cmd打開(kāi)window控制臺(tái)晴圾,輸入pip install scrapy
好了,搞定噪奄!
天真的你不會(huì)真的以為到這一步就結(jié)束了吧勤篮?
當(dāng)然不是都毒!
由于環(huán)境問(wèn)題瀑焦,你可能會(huì)遇到各種問(wèn)題禀晓,比如下載緩慢等
首先我們需要更改下pip安裝源什黑,改用國(guó)內(nèi)鏡像崎淳,當(dāng)然如果你自備梯子當(dāng)我沒(méi)說(shuō)
windows下,直接在user目錄中創(chuàng)建一個(gè)pip目錄愕把,如:C:\Users\xx\pip嚣镜,新建文件pip.ini。
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=mirrors.aliyun.com
國(guó)內(nèi)常用的源有:
清華:https://pypi.tuna.tsinghua.edu.cn/simple
阿里云:http://mirrors.aliyun.com/pypi/simple/
中國(guó)科技大學(xué) https://pypi.mirrors.ustc.edu.cn/simple/
華中理工大學(xué):http://pypi.hustunique.com/
山東理工大學(xué):http://pypi.sdutlinux.org/
豆瓣:http://pypi.douban.com/simple/
當(dāng)然橘蜜,如果你想臨時(shí)使用的話只需在安裝時(shí)加上-i參數(shù):
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy
好了菊匿,環(huán)境配好了我們要開(kāi)始安裝了付呕,cmd輸入上面的pip指令,回車發(fā)現(xiàn)已經(jīng)開(kāi)始安裝了跌捆,并且速度很快徽职,
然后就報(bào)錯(cuò)了:
building 'twisted.test.raiser' extension
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cp
解決辦法是:
去http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下載twisted對(duì)應(yīng)版本的whl文件(如我的Twisted?17.5.0?cp36?cp36m?win_amd64.whl),cp后面是Python版本佩厚,amd64代表64位姆钉,下載后運(yùn)行命令:
pip install C:\Users\CR\Downloads\Twisted-17.5.0-cp36-cp36m-win_amd64.whl
然后再次執(zhí)行安裝scrapy的pip指令即可安裝成功
好了,over