安裝 Scrapy
參考自Scrapy的官方手冊(cè)：https://docs.scrapy.org/en/latest/intro/install.html
Scrapy在CPython（默認(rèn)Python實(shí)現(xiàn)）和PyPy（從PyPy 5.9開(kāi)始）下的Python 3.5或更高版本上運(yùn)行。
Anaconda下安裝
如果您使用的是Anaconda或Miniconda，則可以從conda-forge渠道安裝該軟件包，該渠道包含適用于Linux，Windows和macOS的最新軟件包稳摄。這應(yīng)該就是最簡(jiǎn)便的安裝辦法了延曙，但是可能需要安裝最新的anaconda版本险掀。這里我直接使用了最新的版本揖曾。
下載Anaconda有一些小方法加速下載，現(xiàn)在清華等鏡像源可能不太好使悯许∑袜拢可以將下載鏈接復(fù)制到百度網(wǎng)盤(pán)，新建下載任務(wù)先壕，將鏈接復(fù)制進(jìn)去瘩扼。將軟件下載到網(wǎng)盤(pán)中，再?gòu)木W(wǎng)盤(pán)中下載垃僚〖拢可以從直接網(wǎng)頁(yè)下載的1-2天縮減到1-2小時(shí)（沒(méi)有百度會(huì)員的情況下），速度還是可以的谆棺。
更新包->輸入y栽燕，確認(rèn)
下載出錯(cuò)，問(wèn)題在遠(yuǎn)程主機(jī)關(guān)閉了連接改淑，再試一次看看
出現(xiàn)下面提示碍岔，按照要求跟新一下conda吧
又出問(wèn)題，這個(gè)包真難下載啊朵夏，再嘗試一次
成功
從PyPI安裝
另外蔼啦，如果您已經(jīng)熟悉Python軟件包的安裝，則可以使用以下方法從PyPI安裝Scrapy及其依賴項(xiàng)：
請(qǐng)注意仰猖，有時(shí)這可能需要解決某些Scrapy依賴項(xiàng)的編譯問(wèn)題捏肢，具體取決于您的操作系統(tǒng)，因此請(qǐng)務(wù)必查看特定于平臺(tái)的安裝說(shuō)明饥侵。強(qiáng)烈建議您在專(zhuān)用的virtualenv中安裝Scrapy鸵赫，以避免與系統(tǒng)軟件包沖突。有關(guān)更多詳細(xì)信息和特定于平臺(tái)的說(shuō)明以及故障排除信息躏升，請(qǐng)繼續(xù)閱讀辩棒。
后面會(huì)寫(xiě)在redhat下從PyPI安裝的博客
Scrapy是用純Python編寫(xiě)的，并且依賴于一些關(guān)鍵的Python包（以及其他一些包）：
測(cè)試Scrapy的最低版本為：
Scrapy可以使用這些軟件包的較早版本煮甥，但不能保證將繼續(xù)使用盗温，因?yàn)樯形磳?duì)其進(jìn)行測(cè)試。其中一些軟件包本身依賴于非Python軟件包成肘，根據(jù)您的平臺(tái)，這些軟件包可能需要其他安裝步驟斧蜕。 請(qǐng)查看以下特定于平臺(tái)的指南双霍。如果與這些依賴項(xiàng)有關(guān)的任何麻煩，請(qǐng)參考它們各自的安裝說(shuō)明：lxml installation cryptography installation
使用虛擬環(huán)境（推薦）
我們建議在所有平臺(tái)上的虛擬環(huán)境中安裝Scrapy。 Python軟件包既可以全局安裝（也稱為系統(tǒng)范圍）洒闸，也可以安裝在用戶空間中染坯。 我們不建議在整個(gè)系統(tǒng)上安裝Scrapy。 相反丘逸，我們建議您在所謂的“虛擬環(huán)境”（venv）中安裝Scrapy单鹿。 虛擬環(huán)境允許您與已經(jīng)安裝的Python系統(tǒng)軟件包不沖突（這可能會(huì)破壞您的某些系統(tǒng)工具和腳本），并且仍然可以使用pip正常安裝軟件包（沒(méi)有sudo等）深纲。 有關(guān)如何創(chuàng)建虛擬環(huán)境的信息仲锄，請(qǐng)參見(jiàn)虛擬環(huán)境和軟件包。 創(chuàng)建虛擬環(huán)境后湃鹊，就可以像其他任何Python軟件包一樣儒喊，通過(guò)pip在其內(nèi)部安裝Scrapy。 （有關(guān)您可能需要事先安裝的非Python依賴項(xiàng)币呵，請(qǐng)參見(jiàn)下面的特定于平臺(tái)的指南）怀愧。
平臺(tái)特定的安裝說(shuō)明
Windows
盡管可以使用pip在Windows上安裝Scrapy，但是我們建議您安裝Anaconda或Miniconda并使用conda-forge渠道中的軟件包余赢，這樣可以避免大多數(shù)安裝問(wèn)題芯义。
安裝Anaconda或Miniconda后，請(qǐng)使用以下方法安裝Scrapy：conda install -c conda-forge scrapy
Ubuntu 14.04 or above
目前妻柒，Scrapy已使用最新版本的lxml毕贼，twisted和pyOpenSSL進(jìn)行了測(cè)試，并且與最新的Ubuntu發(fā)行版兼容蛤奢。 但是它也應(yīng)該支持Ubuntu的較早版本鬼癣，例如Ubuntu 14.04，盡管存在TLS連接的潛在問(wèn)題啤贩。不要使用Ubuntu提供的python-scrapy軟件包待秃，它們通常太舊且太慢，無(wú)法趕上最新的Scrapy痹屹。
要在Ubuntu（或基于Ubuntu的）系統(tǒng)上安裝Scrapy章郁，您需要安裝以下依賴項(xiàng)：
sudo apt-get install python3 python3-dev python3-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
在virtualenv內(nèi)，您可以使用pip安裝Scrapy之后：pip install scrapy
可以使用相同的非Python依賴項(xiàng)在Debian Jessie（8.0）及更高版本中安裝Scrapy志衍。
PyPy
我們建議使用最新的PyPy版本暖庄。 測(cè)試的版本是5.9.0。 對(duì)于PyPy3楼肪，僅測(cè)試了Linux安裝∨嗬現(xiàn)在，大多數(shù)Scrapy依賴項(xiàng)都具有用于CPython的二進(jìn)制輪子春叫，但沒(méi)有用于PyPy的二進(jìn)制輪子肩钠。 這意味著將在安裝過(guò)程中建立這些依賴關(guān)系泣港。 在macOS上，您可能會(huì)遇到構(gòu)建加密技術(shù)依賴項(xiàng)的問(wèn)題价匠，此處描述了此問(wèn)題的解決方案当纱，即釀造安裝openssl，然后導(dǎo)出此命令建議的標(biāo)志（僅在安裝Scrapy時(shí)需要）踩窖。 在Linux上安裝除了安裝構(gòu)建依賴項(xiàng)外沒(méi)有其他特殊問(wèn)題坡氯。 未測(cè)試在Windows上使用PyPy安裝Scrapy。
您可以通過(guò)運(yùn)行scrapy bench檢查Scrapy是否已正確安裝洋腮。 如果此命令給出諸如TypeError：…的錯(cuò)誤箫柳，則得到2個(gè)意外的關(guān)鍵字參數(shù)，這意味著setuptools無(wú)法獲取一個(gè)特定于PyPy的依賴項(xiàng)徐矩。 要解決此問(wèn)題滞时，請(qǐng)運(yùn)行pip install’PyPyDispatcher> = 2.1.0’。
We recommend using the latest PyPy version. The version tested is 5.9.0. For PyPy3, only Linux installation was tested. Most Scrapy dependencides now have binary wheels for CPython, but not for PyPy. This means that these dependecies will be built during installation. On macOS, you are likely to face an issue with building Cryptography dependency, solution to this problem is described here, that is to brew install openssl and then export the flags that this command recommends (only needed when installing Scrapy). Installing on Linux has no special issues besides installing build dependencies. Installing Scrapy with PyPy on Windows is not tested.
You can check that Scrapy is installed correctly by running scrapy bench. If this command gives errors such as TypeError: … got 2 unexpected keyword arguments, this means that setuptools was unable to pick up one PyPy-specific dependency. To fix this issue, run pip install ‘PyPyDispatcher>=2.1.0’.
驗(yàn)證
Fatal error in launcher: Unable to create process using '"d:\bld\scrapy_1584555997548_h_env\python.
驗(yàn)證滤灯，anconda終端輸入如下：scrapy
解決方法：scrapy 1.6 以后坪稽，這應(yīng)該是一個(gè)bug,也就是說(shuō)，你可能已經(jīng)安裝成功了鳞骤，換另一個(gè)驗(yàn)證方法窒百，如下：python -m scrapy
版權(quán)聲明：本文為CSDN博主「肥叔菌」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議豫尽，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明篙梢。歡迎關(guān)注博主的CSDN同名「肥叔菌」博客，更多學(xué)習(xí)筆記更新中...
原文鏈接：https://blog.csdn.net/asmartkiller/article/details/105530034
